帝国CMS-robots.txt文件使用教程

robots协议（也称为爬虫协议、爬虫规矩、机器人协议等）也便是robots.txt，网站经过robots协议告知查找引擎哪些页面能够抓取，哪些页面不能抓取。Robots协议是网站国际互联网界通行的道德规范，其意图是维护网站数据和灵敏信息、保证用户个人信息和隐私不被侵略。因其不是指令，故需求查找引擎自觉遵守。一些病毒如malware（马威尔病毒）常常经过疏忽robots协议的方法，获取网站后台数据和个人信息。

robots.txt文件是一个文本文件，运用任何一个常见的文本修改器，比方Windows体系自带的Notepad，就能够创建和修改它。robots.txt是一个协议，而不是一个指令。robots.txt是查找引擎中拜访网站的时分要查看的第一个文件。robots.txt文件告知蜘蛛程序在服务器上什么文件是能够被查看的。
当一个查找蜘蛛拜访一个站点时，它会首要查看该站点根目录下是否存在robots.txt，假如存在，查找机器人就会依照该文件中的内容来确认拜访的规模；假如该文件不存在，一切的查找蜘蛛将能够拜访网站上一切没有被口令维护的页面。百度官方主张，仅当您的网站包括不期望被查找引擎录入的内容时，才需求运用robots.txt文件。假如您期望查找引擎录入网站上一切内容，请勿树立robots.txt文件。
假如将网站视为酒店里的一个房间，robots.txt便是主人在房间门口悬挂的“请勿打扰”或“欢迎清扫”的提示牌。这个文件告知来访的查找引擎哪些房间能够进入和观赏，哪些房间由于寄存贵重物品，或或许触及住户及访客的隐私而不对查找引擎敞开。但robots.txt不是指令，也不是防火墙，好像守门人无法阻挠窃贼等歹意闯入者。

User-agent: * *答应一切查找引擎抓取

Disallow: /d/ *制止一切查找引擎抓取D目录
Disallow: /e/class/ *制止一切查找引擎抓取/e/class/ 目录
Disallow: /e/data/ *制止一切查找引擎抓取/e/data/目录
Disallow: /e/enews/ *制止一切查找引擎抓取/e/enews/ 目录
Disallow: /e/update/ *制止一切查找引擎抓取/e/update/ 目录