网站建设
 
    收藏本站 
用户ID/邮箱: 密 码:
客户中心 Customer service 您目前的位置:首 页 > 客户中心 > 网站优化 



网站优化,网站建设网站优化:robots.txt文件用法举例

robots.txt文件用法举例

  1、禁止所有搜索引擎访问网站的任何部分

  User-agent: *

  Disallow: /

  2、允许所有的robot访问(或者也可以建一个空文件 "/robots.txt")

  第1种写法

  User-agent: *

  Allow: /

  第2种写法

  User-agent: *

  Allow:

  第3种写法

  User-agent: *

  Disallow:

  3、仅禁止Baiduspider访问您的网站

  User-agent: Baiduspider

  Disallow: /

  4、仅允许Baiduspider访问您的网站

  User-agent: Baiduspider

  Allow: /

  5、禁止spider访问特定目录

  在这个例子中,该网站有三个目录对搜索引擎的访问做了限制,即robot不会访问这三个目录。

  需要注意的是对每一个目录必须分开声明,而不能写成 "Disallow: /cgi-bin/ /tmp/"。

  User-agent: *

  Disallow: /cgi-bin/

  Disallow: /tmp/

  Disallow: /~joe/

  6、允许访问特定目录中的部分url

  User-agent: *

  Allow: /cgi-bin/see

  Allow: /tmp/hi

  Allow: /~joe/look

  7、使用"*"限制访问url

  禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)

  User-agent: *

  Disallow: /cgi-bin/*.htm

  8、使用"$"限制访问url

  仅允许访问以".htm"为后缀的URL。

  User-agent: *

  Allow: / .htm$

  9、禁止访问网站中所有的动态页面

  User-agent: *

  Disallow: /*?*

  10、禁止Baiduspider抓取网站上所有图片,仅允许抓取网页,禁止抓取任何图片。

  User-agent: Baiduspider

  Disallow: /*.jpg$

  Disallow: /* .jpeg$

  Disallow: /* .gif$

  Disallow: /* .png$

  Disallow: /*.bmp$

  11、仅允许Baiduspider抓取网页和。gif格式图片允许抓取网页和gif格式图片,不允许抓取其他格式图片

  User-agent: Baiduspider

  Allow: .gif$

  Disallow: /.jpg$

  Disallow: / .jpeg$

  Disallow: / .png$

  Disallow: /.bmp$

  12、仅禁止Baiduspider抓取,jpg格式图片。

  User-agent: /Baiduspider

  Disallow: /.jpg$

  附件:百度各个产品使用不同的user-agent

  无线搜索 Baiduspider-mobile

  图片搜索 Baiduspider-image

  视频搜索 Baiduspider-video

  新闻搜索 Baiduspider-news

  百度搜藏 Baiduspider-favo

  百度联盟 Baiduspider-cpro

  商务搜索 Baiduspider-ads

  网页以及其他搜索 Baiduspider


上一条: 谷歌浏览器默认样式的修改
下一条: 如何更好的做好网站URL的优化?
相关文章
URL怎么优化
URL优化方法
网站进入沙盒期的处理方法
推广经验分享
其它
网站建设资源
常见问题
网站知识
首页关于我们业务范围新闻资讯成功案例客服中心联系我们深圳网站建设网站优化付款帐户
COPYRIGHT(C) 2005-2019 亚网互联·中国 版权所有 ALL RIGHTS RESERVED (粤ICP备15005241号)
深圳网站建设公司地址:深圳市宝安区龙华民治大道东明大厦15楼 1529-1531 室   E-Mail:web@yanet.cn  
公司电话:0755-89812581(8线)  
深圳市亚网科技有限公司 深圳网站建设常年法律顾问:朱运德律师