18
2016
09

百度蜘蛛抓取流量暴增的原因

体彩超级大乐透走势图1浙江风采 www.eedwb.icu  

Spider對網站抓取數量突增往往給站點帶來很大煩惱,紛紛找平臺想要Baiduspider IP白名單,但實際上BaiduSpider IP會隨時變化,所以并不敢公布出來,擔心站長設置不及時影響抓取效果。百度是怎么計算分配抓取流量的呢?站點抓取流量暴增的原因有哪些呢?

總體來說,Baiduspider會根據站點規模、歷史上網站每天新產出的鏈接數量、已抓取網頁的綜合質量打分等等,來綜合計算抓取流量,同時兼顧站長在抓取頻次工具里設置的、網站可承受的最大抓取值。

從目前追查過的抓取流量突增的case中,原因可以分為以下幾種:

1,  Baiduspider發現站內JS代碼較多,調用大量資源針對JS代碼進行解析抓取

2,  百度其他部門(如商業、圖片等)的spider在抓取,但流量沒有控制好,sorry

3,  已抓取的鏈接,打分不夠好,垃圾過多,導致spider重新抓取

4,  站點被攻擊,有人仿冒百度爬蟲如果站長排除了自身問題、仿冒問題,確認BaiduSpider抓取流量過大的話,可以通過反饋中心來反饋,切記一定要提供詳細的抓取日志截圖。

? 上一篇下一篇 ?

評論列表:

pk10冷热预测软件免费 百人牛牛手机游戏下载 北京pk赛车10开奖纪录 幸运飞艇免费计划安卓软件 北京pk赛车基本走势图 好用的彩票平台 新时时历史号码 通比牛牛怎样看走势规律 近30期双色球走势 竞彩足球比分即时比分 双面盘平台 福彩3d组六全包划算吗 如何藏分出款 有人工精准计划软件彩票 筋斗云足球直播 幸运飞艇APP助手