网络上的爬虫非常多，有对网站收录有益的，比如百度蜘蛛（Baiduspider），也有不但不遵守robots规则对服务器造成压力，还不能为网站带来流量的无用爬虫，比如宜搜蜘蛛（YisouSpider）。

下面介绍怎么禁止这些无用的user agent访问网站。

进入到nginx安装目录下的conf目录，将如下代码保存为 agent_deny.conf

cd /usr/local/nginx/conf

vim agent_deny.conf

#禁止Scrapy等工具的抓取if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) {     return 403;}#禁止指定UA及UA为空的访问if ($http_user_agent ~ "FeedDemon|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|YisouSpider|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms|^$" ) {     return 403;            }#禁止非GET|HEAD|POST方式的抓取if ($request_method !~ ^(GET|HEAD|POST)$) {    return 403;}

然后，在网站相关配置中的  location / {  之后插入如下代码：

include agent_deny.conf;

保存后，执行如下命令，平滑重启nginx即可：

/usr/local/nginx/sbin/nginx -s reload

模拟宜搜蜘蛛的抓取：

curl -I -A 'YisouSpider'  http://网站链接

结果返回403

模拟UA为空的抓取：

curl -I -A '' http://网站链接

结果返回403

模拟百度蜘蛛的抓取：

curl -I -A 'Baiduspider'  http://网站链接

结果返回200

下面是网络上常见的垃圾UA列表

FeedDemon             内容采集BOT/0.1 (BOT for JCE) sql注入CrawlDaddy            sql注入Java                  内容采集Jullo                 内容采集Feedly                内容采集UniversalFeedParser   内容采集ApacheBench           cc攻击器Swiftbot              无用爬虫YandexBot             无用爬虫AhrefsBot             无用爬虫YisouSpider           无用爬虫jikeSpider            无用爬虫MJ12bot               无用爬虫ZmEu phpmyadmin       漏洞扫描WinHttp               采集cc攻击EasouSpider           无用爬虫HttpClient            tcp攻击Microsoft URL Control 扫描YYSpider              无用爬虫jaunty                wordpress爆破扫描器oBot                  无用爬虫Python-urllib         内容采集Indy Library          扫描FlightDeckReports Bot 无用爬虫Linguee Bot           无用爬虫