标签: 垃圾蜘蛛
thumbnail

nginx禁止垃圾蜘蛛访问

nginx禁止垃圾蜘蛛访问,把下列代码放到你的nginx配置文件里面。 #禁止Scrapy等工具的抓取 if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) { retu……