robots meta标签的写法及作用
robots.txt文件主要是限制整个站点或者目录的蜘蛛访问情况，而robots meta标签则主要是针对某个具体的页面
<meta name=“robots" content="index,follow">
robots meta标签语法
name=“robots”表示所有的搜索引擎，可以针对某个具体搜索引擎写为name=”Baiduspider”
content部分有四个指令，以英文逗号隔开
index指令告诉蜘蛛可以抓取该页面
follow指令表示蜘蛛可以爬行该页面上的链接
共有四种组合：
<meta name="robots" content="index,follow">
<meta name="robots" content="noindex,follow">
<meta name="robots" content="index,nofollow">
<meta name="robots" content="noindex,nofollow">
特殊写法：
<meta name="robots" content="index,follow">
可以写成<meta name="robots" content="all">
<meta name="robots" content="noindex,nofollow">
可以写成<meta name="robots" content="none">
上一篇：没有了
下一篇：什么是站群？站群的作用？站群的注意事项
