网站建设
 
设为首页 收藏本站 
用户ID/邮箱: 密 码:
客户中心 Customer service 您目前的位置:首 页 > 客户中心 > 网站优化 



网站优化,网站建设网站优化:robots.txt使用时的注意事项

robots.txt使用时的注意事项

  robots.txt文件同时也有一定的风险,里面的隐私文档最好不要写在里面,否则的话容易给攻击者指明了网站的目录结构和私密数据所在的位置。设置访问权限,对您的隐私内容实施密码保护,这样,攻击者便无从进入。

  1)robots.txt必须放置在站点的根目录下,而且文件名必须全部小写。

  2)不要在robots.txt文件中设置所有的文件都可以被搜索蜘蛛抓取。

  3)为安全考虑,建议很重要的文件夹不要写在robots.txt文件中。

  常见搜索引擎蜘蛛Robots名字:

  百度Baiduspider :http://www.baidu.com

  360搜索360Spider:https://www.so.com/

  SOSOSosospider:https://www.sogou.com/

  有道YoudaoBot/YodaoBot:http://www.yodao.com/

  搜狗Sogou News Spider:https://www.sogou.com/

  MSNmsnbot/msnbot-media:http://www.msn.com/zh-cn

  谷歌Googlebot :http://www.google.com

  雅虎Inktomi Slurp :http://www.yahoo.com

  必应MSNBOT :http://search.msn.com


上一条: css命名(笔记)
下一条: 关于微信公众号技巧
相关文章
css常用属性总结之 id和class的区别,使用类还是ID?
关于左边固定,右边自适应布局的响应式布局写法
html实现 页面禁止右键 禁止复制 禁止图片拖动 禁止复制和剪切
前端页面隐藏元素
URL怎么优化
URL优化方法
css中的三种基本定位机制
URL怎么优化
URL优化方法
网站进入沙盒期的处理方法
aaaa
推广经验分享
其它
网站建设资源
常见问题
网站知识
快速导航 Fast Navigation
网站建设投诉建议
投诉建议
网站建设客户服中心
客服中心
网站建设付款中心
付款方式
网站优化中心
网站优化
网站建设套餐
网站建设

网站价值

轻松一刻
站长工具
站长工具

积分兑换
网站首页关于我们业务范围新闻资讯成功案例客服中心联系我们深圳网站建设网站优化付款帐户
文档下载:网站建设服务协议 | 网站建设报价 | 网站备案资料 | 网页设计软件 | PhotoShop(图片处理) | FTP网页上传/下传软件
深圳网站建设公司专业提供各种营销型网页设计\网站优化服务... 【老字号】、重庆、广州、东莞、深圳网站建设
网页设计登陆 | 网站建设 | 网页设计 | 网站优化 | 网站地图 | 专业的深圳网站建设,深圳网站优化,网页设计,网站建设开发团队
COPYRIGHT(C) 2005-2018 亚网互联·中国 版权所有 ALL RIGHTS RESERVED  ( 粤ICP备15005241号 ) 来访IP:54.167.47.248
深圳网站建设公司地址:深圳市宝安区龙华民治大道东明大厦1529-1531 室     E-Mail:sales@yanet.cn   web@yanet.cn  
公司电话:0755-89812581(8线)   4006-800535
深圳市博士通科技有限公司