当前位置:首页 » SEO技术 » 正文

百度spider不支持Crawl-delay设置的通知

作者:盖 继东 时间:2015-07-27 标签:
文章摘要:      尊敬的各位用户,亲爱的站长们,大家好:   近期,我们收到一些对Crawl-delay用法的询问,现明确百度对网站访问频率不再参考该设置,即不支持Crawl-delay配置,如果您希望配置网站针对百度spider的访问频率,建议您使用百度站长平台的抓取压力反馈工具,先查询网站在百度近一个月的天级抓取量趋势图,可调节百…

  

  尊敬的各位用户,亲爱的站长们,大家好:

  近期,我们收到一些对Crawl-delay用法的询问,现明确百度对网站访问频率不再参考该设置,即不支持Crawl-delay配置,如果您希望配置网站针对百度spider的访问频率,建议您使用百度站长平台的抓取压力反馈工具,先查询网站在百度近一个月的天级抓取量趋势图,可调节百度spider每天访问您网站的抓取压力上限,供百度参考,避免百度spider对站点抓取压力过大,造成网站服务器负载及抓取异常。

更多
没有评论

抱歉,评论被关闭


网站地图