robots.txt是用来告诉搜索引擎网站上哪些内容可以被访问、哪些不能被访问。当搜索引擎访问一个网站的时候，它首先会检查网站是否存在robots.txt，如果有则会根据文件命令访问有权限的文件。

1、定义搜索引擎
用User-agent：来定义搜索引擎，其中*表示所有，Baiduspider表示百度蜘蛛，Googlebot表示谷歌蜘蛛。
也就是说User-agent：*表示定义所有蜘蛛，User-agent：Baiduspider表示定义百度蜘蛛。
2、禁止与允许访问
Disallow: /表示禁止访问，Allow: /表示允许访问。
在写robots.txt时需特别注意的是，/前面有一个英文状态下的空格（必须是英文状态下的空格）。
3、禁止搜索引擎访问网站中的某几个文件夹，以a、b、c为例，写法分别如下：
Disallow: /a/
Disallow: /b/
Disallow: /c/
4、禁止搜索引擎访问文件夹中的某一类文件，以a文件夹中的js文件为例，写法如下：
Disallow: /a/*.js
5、只允许某个搜索引擎访问，以Baiduspider为例，写法如下：
User-agent: Baiduspider
Disallow:

robots.txt文件存放位置