SSR服务器搭建,VPS搭建SSR,SSR客户端配置,vultr搭建SSR,dedecms,织梦,科学上网,织梦伪静态规则,织梦全站伪静态,织梦手机版伪静态

Meta robots标签中noindex,follow的作用

网络技术 baishitou 54℃

今天在修改一个模板时发现。里面有<meta name=’robots’ content=’noindex,follow’ />的标签,百度了一下。终于明白是啥意思了,原来是告诉搜索引擎该怎么索引此页的,content中的值决定允许抓取的类型,必须同时包含两个值:是否允许索引(index)和是否跟踪链接(follow,也可以理解为是否允许沿着网页中的超级链接继续抓取)。

共有4个参数可选,组成4个组合:

  1. index,follow:允许抓取本页,允许跟踪链接。
  2. index,nofollow:允许抓取本页,但禁止跟踪链接。
  3. noindex,follow:禁止抓取本页,但允许跟踪链接。
  4. noindex,nofllow:禁止抓取本页,同时禁止跟踪本页中的链接。

以上1和4还有另一种写法:

<meta name="robots" content="all" />

index,follow可以写成all,如:noindex,nofollow可以写成none,如:

<meta name="robots" content="none" />

需要注意的是,robots Meta标签很多搜索引擎是不支持的,只有少数搜索引擎能够识别并按给定的值抓取。所以,尽可能的使用robots.txt文件来限制抓取。

转载请注明:白石头博客 » Meta robots标签中noindex,follow的作用

喜欢 (0)or分享 (0)