白石头博客

今天查询发现上午发布的一篇文章被收录了，但收录的地址却是动态的。 可以我的网站是伪静态的，所以就不想让它收录动态页面。robots里面加入了禁止抓取这些...

nginx禁止垃圾蜘蛛访问，把下列代码放到你的nginx配置文件里面。 #禁止Scrapy等工具的抓取 if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) { ret...