白石头博客

nginx禁止垃圾蜘蛛访问，把下列代码放到你的nginx配置文件里面。 #禁止Scrapy等工具的抓取 if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) { ret...