本文给大家介绍Linux/Nginx如何查看搜索引擎蜘蛛爬虫的行为，清楚蜘蛛的爬行情况对做SEO优化有很大的帮助。需要的朋友通过本篇文章学习下吧
nginx封空user_agent实现封禁迅雷的方法，需要的朋友可以参考下。
Nginx中配置过滤爬虫的User-Agent的简单方法
