这篇“Nginx中配置过滤爬虫的User-Agent方法”文章的知识点大部分人都不太理解，所以小编给大家总结了以下内容，内容详细，步骤清晰，具有一定的借鉴价值，希望大家阅读完这篇文章能有所收获，下面我们一起来看看这篇“Nginx中配置过滤爬虫的User-Agent方法”文章吧。
一看不得了，基本上都是被一个user agent叫"yisouspider"的东西给刷屏了，一看就不知道是哪的蜘蛛，太没节操了。
找到根目录配置区，增加user agent过滤判断语句，发现叫"yisouspider"的直接返回403
注1：如果需要增加多个过滤，这样做
($http_user_agent ~* "spider1|spider2|spider3|spider4")
，中间用|隔开就行了
注2：如果你是用的是子目录博客，像我的一样，那么要找到 "location /blog/" 这样的区段去修改
location / {
......其它配置
if ($http_user_agent ~* "yisouspider") {
return 403;
}
}配置完成wq保存后reload一下nginx，然后使用以下命令自我测试，地址自己改。没装curl的我就没办法了，自己apt或者yum装一个吧，神器来的。
curl -i -a "yisouspider" www.slyar.com/blog/
看到返回403就可以了，说明配置成功
以上就是关于“Nginx中配置过滤爬虫的User-Agent方法”这篇文章的内容，相信大家都有了一定的了解，希望小编分享的内容对大家有帮助，若想了解更多相关的知识内容，请关注亿速云行业资讯频道。
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
