蜘蛛会不会抓取百度推广链接?今日发现百度统计的SEO建议要求修改百度推广链接后面的谷歌分析参数,说是“在静态页面上使用动态参数,会造成spider多次和重复抓取”。但是推广链接并不是24小时都存在的,百度蜘蛛是否真的会抓取推广链接?
自己解决了。查看了下百度首页的robots.txt,发现百度禁止了蜘蛛抓取百度……User-agent: BaiduspiderDisallow: /baiduDisallow: /s?
所以推广链接是不会被百度蜘蛛抓取到的。
上一篇 H标签如何合理运用
下一篇 百度蜘蛛抓取图片返回404,需要怎么处理?
【 微信扫一扫 】