白石头博客

大家都知道robots.txt文件，能限制搜索引擎可以抓取哪些内容，不准抓取哪些内容。比如我们网站的后台就不希望被搜索抓取，那么robots文件需要这样写： User-a...

Robots之所以称之为协议就是因为它不是 “命令” 而是跟搜索引擎爬虫间的单方面协议。因而 robots 中的设置并不意味着100%的生效，但那些知名君子如 Google Yah...