白石头博客

大家都知道robots.txt文件，能限制搜索引擎可以抓取哪些内容，不准抓取哪些内容。比如我们网站的后台就不希望被搜索抓取，那么robots文件需要这样写： User-a...