网站SEO优化Robots写法

robots协议是咱们的网站与各查找引擎的一个协议，假如你还不知道robots协议的重要性，那么本片文章你有必要认真学习了，由于robots协议对一个网站来说十分重要。那么接下来咱们一起来学习什么是robots.txt。

一、什么是robots.txt文件

1、它是咱们的网站与各查找引擎的一个协议，仅仅一个协议，查找引擎纷歧定会恪守。

2、查找引擎蜘蛛拜访咱们的网站时，榜首个检查的文件便是咱们网站根目录下的一个命名为robots.txt的文件。

3、robots协议不是今日写了，查找引擎今日就会恪守，以百度为例其收效时刻，需求两个月后才会恪守这个协议；

二、robots.txt文件编写规矩

1、User-agent: 界说查找引擎类型，常见的各查找引擎的姓名分别是：Baiduspider(百度蜘蛛)、Googlebot(谷歌蜘蛛)、360Spider(360蜘蛛)、Sosospider(SOSO蜘蛛)、Youdaobot（有道蜘蛛）等。小付SEO博客robots.txt文件榜首行写的是User-agent: *，其间“*”是通配符，代表小付的SEO博客，答应所以的查找引擎抓取。假如写成User-agent: Baiduspider，表明只要百度蜘蛛能够抓取我的网站内容。

2、Disallow:告知蜘蛛不要抓取某些文件或目录，以小付博客的robots.txt文件为例：

Disallow: /wp-admin/，表明一切 URL途径里彻底含有/wp-admin/这段字符的途径，查找引擎蜘蛛都不能抓取；比方：http://www.ncs查找引擎优化.com/wp-admin/post-new.php，这个链接查找引擎蜘蛛是不能抓取的；

3、Allow:告知查找引擎蜘蛛哪些文件是能够抓取的。由于不指定便是答应抓取的，Allow:独自写没有意义，Allow是需求和Disallow合作运用，能够告知查找引擎蜘蛛某个目录下大部分不答应抓取，只答应抓取一部分。例如：下面的代码将使蜘蛛不抓取/ab/目录下其他目录和文件，可是答应抓取其间/cd/目录下的内容：

User-agent: *

Disallow: /ab/

Allow: /ab/cd/

还需求阐明的是，留意编撰的先后顺序，有必要是这样。 4、其他契合意义阐明： 1)”*”通配符：告知蜘蛛匹配恣意一段字符，例如：下面一段代码将制止蜘蛛抓取一切htm文件：

User-agent: *

Disallow: /*.htm

2)”$”通配符：匹配URL结束的字符。例如：下面的代码将答应蜘蛛抓取以.htm为后缀的URL：

User-agent: *

Allow: .htm$

下面的代码将制止百度抓取一切.jpg文件：

User-agent: Baiduspider

Disallow: .jpg$

三、robots.txt的效果

1、告知某查找引擎 抓取或许不抓取咱们网站的某些内容；

2、告知查找引擎咱们网站优化的完善程度 ；

3、告知查找引擎应该经过哪个文件来索引咱们的网站（逻辑途径）

四、常见的哪些情况下是不需求蜘蛛抓取

1、网站的账户暗码、模板、网站的主程序、小图标；

2、一个页面有许多途径，只答应查找页抓取其间的1条，其他的不答应（一致途径）；

3、屏蔽tag中文途径，例如wordpress做了伪静态，就要屏蔽动态（tags.php?/%E%R）

4、标签链接、查找页、js文件；

五、robots.txt文件编写的留意事项

1、留意符号细节的运用：/、：、大小写、空格等。比方：下面的比如表明一切查找引擎不能抓取该网站；

User-agent: *

Disallow: /

2、一般robots.txt文件编写并提交后，需求几天到两个月以内才会收效；

3、不要随意屏蔽整站，会导致查找引擎蜘蛛好久都不会来抓取你的网站；

4、一切的句子有必要每个一行；不能这样写：

User-agent: *

Disallow: /wp-admin/ /wp-content/ /wp-includes/

正确写法参阅小付的robots.txt文件；

5、咱们能够把网站地图URL放在robots.txt文件里，由于该文件是蜘蛛榜首个抓取的文件，这样更 加便利蜘蛛快速抓取；以小付博客为例，讲一下URL写入该文件，如上图所示；