apache 禁止爬虫

Apache
①、通过修改 .htaccess文件
修改网站目录下的.htaccess，添加如下代码即可

RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} (^$|FeedDemon|JikeSpider|Indy ) [NC]
RewriteRule ^(.*)$ - [F]

②、通过修改httpd.conf配置文件
找到如下类似位置，根据以下代码 新增 / 修改，然后重启Apache即可：
DocumentRoot /home/wwwroot/xxx

SetEnvIfNoCase User-Agent ".*(FeedDemon|JikeSpider|Indy )" BADBOT
Order allow,deny
Allow from all
deny from env=BADBOT