网站建设
 
    收藏本站 
用户ID/邮箱: 密 码:
客户中心 Customer service 您目前的位置:首 页 > 客户中心 > 网站优化 



网站优化,网站建设网站优化:robots.txt使用时的注意事项

robots.txt使用时的注意事项

  robots.txt文件同时也有一定的风险,里面的隐私文档最好不要写在里面,否则的话容易给攻击者指明了网站的目录结构和私密数据所在的位置。设置访问权限,对您的隐私内容实施密码保护,这样,攻击者便无从进入。

  1)robots.txt必须放置在站点的根目录下,而且文件名必须全部小写。

  2)不要在robots.txt文件中设置所有的文件都可以被搜索蜘蛛抓取。

  3)为安全考虑,建议很重要的文件夹不要写在robots.txt文件中。

  常见搜索引擎蜘蛛Robots名字:

  百度Baiduspider :http://www.baidu.com

  360搜索360Spider:https://www.so.com/

  SOSOSosospider:https://www.sogou.com/

  有道YoudaoBot/YodaoBot:http://www.yodao.com/

  搜狗Sogou News Spider:https://www.sogou.com/

  MSNmsnbot/msnbot-media:http://www.msn.com/zh-cn

  谷歌Googlebot :http://www.google.com

  雅虎Inktomi Slurp :http://www.yahoo.com

  必应MSNBOT :http://search.msn.com


上一条: css命名(笔记)
下一条: 关于微信公众号技巧
相关文章
URL怎么优化
URL优化方法
网站进入沙盒期的处理方法
推广经验分享
其它
网站建设资源
常见问题
网站知识
首页关于我们业务范围新闻资讯成功案例客服中心联系我们深圳网站建设网站优化付款帐户
COPYRIGHT(C) 2005-2019 亚网互联·中国 版权所有 ALL RIGHTS RESERVED (粤ICP备15005241号)
深圳网站建设公司地址:深圳市宝安区龙华民治大道东明大厦15楼 1529-1531 室   E-Mail:web@yanet.cn  
公司电话:0755-89812581(8线)  
深圳市亚网科技有限公司 深圳网站建设常年法律顾问:朱运德律师