Baiduspider(百度蜘蛛)抓取频次原则及调节办法
Baiduspider按照网站设置的协议对站点页面进行抓取,然则不可能做到对所有站点一视同仁,会综合思虑站点实质状况确定一个抓取配额,每日定量抓取站点内容,即咱们常说的抓取频次。那样百度搜索引擎是按照什么指标来确定对一个网站的抓取频次的呢,重点指标有四个:
1,网站更新频率:更新快多来,更新慢少来,直接影响Baiduspider的来访频率
2,网站更新质量:更新频率加强了,仅仅是吸引了Baiduspier的重视,Baiduspider对质量是有严格需求的,倘若网站每日更新出的海量内容都被Baiduspider判定为低质页面,依然无道理。
3,连通度:网站应该安全稳定、对Baiduspider保持畅通,经常给Baiduspider吃闭门羹可不是好事情
4,站点评估:百度搜索引擎对每一个站点都会有一个评估,且这个评估会按照站点状况持续变化,是百度搜索引擎对站点的一个基本打分(绝非外界所说的百度权重),是百度内部一个非常机密的数据。站点评级从不独立运用,会协同其它因子和阈值一块一起影响对网站的抓取和排序。
抓取频次间接决定着网站有多少页面有可能被建库收录,百度站长平台供给了抓取频次工具,并已完成多次升级。该工具除了供给抓取统计数据外,还供给“频次调节”功能,站长按照实质状况向百度站长平台提出期盼Baiduspider增多来访或减少来访的请求,工具会按照站长的意愿和实质状况进行调节。
|