robots.txt文件用法举例

　　1、禁止所有搜索引擎访问网站的任何部分

　　User-agent: *

　　Disallow: /

　　2、允许所有的robot访问(或者也可以建一个空文件 "/robots.txt")

　　第1种写法

　　User-agent: *

　　Allow: /

　　第2种写法

　　User-agent: *

　　Allow:

　　第3种写法

　　User-agent: *

　　Disallow:

　　3、仅禁止Baiduspider访问您的网站

　　User-agent: Baiduspider

　　Disallow: /

　　4、仅允许Baiduspider访问您的网站

　　User-agent: Baiduspider

　　Allow: /

　　5、禁止spider访问特定目录

　　在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即robot不会访问这三个目录。

　　需要注意的是对每一个目录必须分开声明，而不能写成 "Disallow: /cgi-bin/ /tmp/"。

　　User-agent: *

　　Disallow: /cgi-bin/

　　Disallow: /tmp/

　　Disallow: /~joe/

　　6、允许访问特定目录中的部分url

　　User-agent: *

　　Allow: /cgi-bin/see

　　Allow: /tmp/hi

　　Allow: /~joe/look

　　7、使用"*"限制访问url

　　禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)

　　User-agent: *

　　Disallow: /cgi-bin/*.htm

　　8、使用"$"限制访问url

　　仅允许访问以".htm"为后缀的URL。

　　User-agent: *

　　Allow: / .htm$

　　9、禁止访问网站中所有的动态页面

　　User-agent: *

　　Disallow: /*?*

　　10、禁止Baiduspider抓取网站上所有图片，仅允许抓取网页，禁止抓取任何图片。

　　User-agent: Baiduspider

　　Disallow: /*.jpg$

　　Disallow: /* .jpeg$

　　Disallow: /* .gif$

　　Disallow: /* .png$

　　Disallow: /*.bmp$

　　11、仅允许Baiduspider抓取网页和。gif格式图片允许抓取网页和gif格式图片，不允许抓取其他格式图片

　　User-agent: Baiduspider

　　Allow: .gif$

　　Disallow: /.jpg$

　　Disallow: / .jpeg$

　　Disallow: / .png$

　　Disallow: /.bmp$

　　12、仅禁止Baiduspider抓取，jpg格式图片。

　　User-agent: /Baiduspider

　　Disallow: /.jpg$

　　附件：百度各个产品使用不同的user-agent

　　无线搜索 Baiduspider-mobile

　　图片搜索 Baiduspider-image

　　视频搜索 Baiduspider-video

　　新闻搜索 Baiduspider-news

　　百度搜藏 Baiduspider-favo

　　百度联盟 Baiduspider-cpro

　　商务搜索 Baiduspider-ads

　　网页以及其他搜索 Baiduspider