1.什么是Robots?
robots文件的使用相信很多站长都会比较熟悉，但是在细节上会有所疏忽，不是特别的精通。因为robots优化的相关信息搜索引擎并没有给出比较详尽的声明及运用方法，以及每个站长对于robots的需求不同等特点，导致robot的优化方式更加灵活善变，那么robots到底是什么呢?我们可以简单的理解为通过这个robots位于网站根目录的文件协议来告诉蜘蛛哪些是可以访问收录哪些是不可以访问收录的!当蜘蛛访问您的网站的时候他首先会先检测您的网站是否设置的有robots文件协议，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在，那么搜索机器人就会沿着链接抓取。
2.Robots优化写作方法：
首先，我们来看一个robots.txt范例:
# robots .txt file from http://www.seozf.com
#All robots will spider the domain
User-agent:.
Disallow:
以上文本表达的意思是允许所有的搜索机器人访问www.seozf.com站点
下的所有文件。具体语法分析如下。
#后而文字为说明信息;
User-agent后面为搜索机器人的名称，如果是“。”，则泛指所有的搜索机器人;
Disallow后面是不允许访问的文件目录，如目录为空则不起任何禁止作用。
下而，列举一些robots.txt的具体用法。
允许所有的robot访问，格式如下:
User-agent:.
Disallow:
或者也可以建一个空robots.txt文件。
禁止所有搜索引擎访问网站的任何部分，格式如下:
User-agent:.
Disallow:/
禁止所有搜索引擎访问网站的某几个部分，比如下例中禁止访问01, 02, 03
目录:
User-agent
Disallow:/aa/
Disallow:/bb/
Disallow:/cc/
禁止某个搜索引擎的访问，比如下例中的BadBot:
User-agent:BadBot
Disallow:/
只允许某个搜索引擎的访问，比如下例中的Crawler:
User-agent:Crawler
联系我们 021-51093095
更多精彩来源：http://www.seoteacher.com.cn
QQ:3540497366 联系我时，请说是在易分网看到的，谢谢！
