Meta robots标签中noindex,follow的作用

今天在修改一个模板时发现。里面有<meta name='robots' content='noindex,follow' />的标签，百度了一下。终于明白是啥意思了，原来是告诉搜索引擎该怎么索引此页的,content中的值决定允许抓取的类型，必须同时包含两个值：是否允许索引（index）和是否跟踪链接（follow，也可以理解为是否允许沿着网页中的超级链接继续抓取）。

共有4个参数可选，组成4个组合：

1. index,follow：允许抓取本页，允许跟踪链接。
2. index,nofollow：允许抓取本页，但禁止跟踪链接。
3. noindex,follow：禁止抓取本页，但允许跟踪链接。
4. noindex,nofllow：禁止抓取本页，同时禁止跟踪本页中的链接。

以上1和4还有另一种写法：

<meta name="robots" content="all" />

index,follow可以写成all，如：noindex,nofollow可以写成none，如：

<meta name="robots" content="none" />

需要注意的是，robots Meta标签很多搜索引擎是不支持的，只有少数搜索引擎能够识别并按给定的值抓取。所以，尽可能的使用robots.txt文件来限制抓取。