码迷SEO独家内参(三)学会这四招爬虫抢着来-外链论坛

5ep9lzv 发表于 2024-8-25 21:36:36

码迷SEO独家内参(三)学会这四招爬虫抢着来

Hello，码迷上一篇文案：<a style="color: black;">码迷SEO独家内参(二)百度蜘蛛类型及蜘蛛抓取规律揭秘</a>
对百度蜘蛛的归类，元芳们，这件事你们怎么看？
在知乎、搜外问答，还有QQ群里面，非常多朋友有这般的问题：
百度爬虫多久爬一次？
百度爬虫多久收录？
百度爬虫多久更新？
本篇，码迷将带着大众探讨百度爬虫规则频率关联的问题，咱们的推导次序还是经过现象看规律，经过规律看本质，经过本质讲对策。
来吧，跟着码迷SEO，让咱们循序渐进解开影响百度爬虫频次的因子跟有效优化对策吧。
<img src="https://mmbiz.qpic.cn/mmbiz_jpg/dOWkCIibtenjo25YXwUHO2NR9Zq4aqL2o1CsxicibC2avcpxRjXO8kMNn0W7vgiaqpYV5AxD6skxC5nk5IP8ky9nicw/640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">
上一篇，码迷跟大众一起探讨了百度蜘蛛抓取规律以及蜘蛛类型。
百度蜘蛛重点由收录蜘蛛（123IP开头）、以及快照蜘蛛（220IP开头）两种蜘蛛形成，经过这两种蜘蛛的拜访日志状况，基本上能反映出一个网站在百度眼里是高富帅还是矮穷矬。
先看4组爬虫数据：
码迷从几个站里面挑选了比较典型的爬虫日志数据，记录了收录蜘蛛（蓝色）、快照蜘蛛（橙色）每日的拜访频次，生成可视化表格。咱们从这儿直观的分析出规律来。
<h2 style="color: black; text-align: left; margin-bottom: 10px;">第1组单站单页面</h2>
这个站仅有一个页面，做单页SEO，19年4月份上线，用的老域名。
- 爬虫每日抓取频次不超过5次。
- 上线后，有一波小拜访高峰（写1的地区），爬取老域名历史页面。
<img src="https://mmbiz.qpic.cn/mmbiz_jpg/dOWkCIibtenjo25YXwUHO2NR9Zq4aqL2oSmM14WRHc83kF5xsTnU6RAwqKvglyec0luHuJBwJD35WYLhibic9cicbA/640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">
第2组 优秀站连续原创
改站从1月份起始连续写文案，均为高质量原创内容，前期文案基本无快照，3月中旬上下，忽然释放海量快照。
日前日pv 1000+。
- 百度爬虫造访频率基本是增长趋势。
- 灰色暗影区间为海量内页忽然被收录的时间节点，与收录蜘蛛频率基本相符。
<img src="https://mmbiz.qpic.cn/mmbiz_jpg/dOWkCIibtenjo25YXwUHO2NR9Zq4aqL2orZVYCqVMncp4P7mKYK67YmPiappyglW6ENck6FGUNfEuXwLgiaPRRDPg/640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">
第3组垃圾站连续更新
淘的老域名，上线后采集文案做垃圾站实验，每日采集更新文案
- 灰色区域为两波小拜访高峰，应该是蜘蛛判断老页面检测老页面拜访是不是正常。
- 老页面正常后，百度爬虫频率趋于安稳。
- 采集更新文案后，吸引了一波收录蜘蛛拜访高峰（尤其高的几条蓝线），页面比较低劣，无快照蜘蛛造访。
- 还是连续更新采集文案，然而爬虫频率并未大涨。
<img src="https://mmbiz.qpic.cn/mmbiz_jpg/dOWkCIibtenjo25YXwUHO2NR9Zq4aqL2oJwcTpwBicP5hJyecicD6Oqow5LYHuFX9cCaUMsVQLrtr6TWg28wY4kIQ/640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">
<h2 style="color: black; text-align: left; margin-bottom: 10px;">第4组 www.mamioo.com改版上线前后</h2>
mamioo之前为母婴站点，收录1800上下，16年后无刚更新。19年7月改版上线，新增页面20个上下，之前老页面均保存。
同期首页布局变动，之前为问答列表页，日前为摩天楼介绍，亦便是首页导出链接数变少。
- 改版上线1星期上下，有一波蜘蛛拜访小高峰，能够理解为百度能觉出来你改版了。
- 改版上线后（绿色箭头节点），整体蜘蛛拜访呈下降拜访趋势。亦便是之前的老页面层级更深了，亦会影响蜘蛛拜访频率。
<img src="https://mmbiz.qpic.cn/mmbiz_jpg/dOWkCIibtenjo25YXwUHO2NR9Zq4aqL2oBkgnHaJQVC3QkWk0U2G6JNevqWEz3jLyj5cYHG9N5YOpCw1hjMeZvQ/640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">
百度爬虫规律总结
经过以上4组数据咱们基本上与咱们的经验总结是相符的：
1、网站页面数越多，并不表率蜘蛛拜访频率越高。
2、网站有快照的页面数越多，亦便是网站质量越好，被索引的页面越多，蜘蛛拜访频率越高。
3、网站链接层级越恰当，与首页距离较短的页面越多，蜘蛛拜访频率越高。
经过百度专利探讨本质
百度爬虫多久爬一次，百度爬虫多久更新，百度爬虫爬了之后到底多久收录，带着这些问题，码迷带你一探百度的关联专利。
<h3 style="color: black; text-align: left; margin-bottom: 10px;">百度爬虫关联专利1：资源平衡性策略</h3>
码迷觉得《201710240516.7资源平衡性的确定办法、安装、设备以及存储介质》足以解密以上非常多的问题，亦很能让SEOer们回味。
百度对网站的抓取策略很大程度上参考了经济学里面的基尼系数算法，来有效平衡爬虫资源分配。
百度专利是这样说的：
搜索资源是搜索引擎类制品的基石，一条资源(典型的，一个资源站点中更新的一个网页)从产生到展现给搜索用户要经历资源抓取、入库(亦即将资源收录于资源库中)、召回(亦即资源的分发)、排序、展现等一系列过程。其中资源的抓取、入库是召回的基本；请求召回的资源数量的多少是对资源抓取、入库质量优良的有效指标，亦是影响用户体验的重点原因。在现有技术中，无对资源库中资源的收录与分发的平衡性进行衡量的办法。
本发明实施例供给了一种资源平衡性的确定办法、安装、设备以及存储介质，经过应用衡量经济分配的公平程度的目的经济学参数的计算办法，运用设按时间区间内资源库针对各个资源站点的资源收录量以及资源分发量，计算用于衡量所述资源库的资源收录及分发的平衡性的资源平衡性参数的技术手段，创造性的给出了一种有效衡量资源库中资源的收录与分发平衡性的新办法，使得用户能够按照计算得到的资源平衡性参数，量化的感知出资源库中资源的收录与分发是不是平衡，并从而能够按照该资源平衡性参数的计算结果，适应性的调节针对所述资源库的资源抓取策略。
<img src="https://mmbiz.qpic.cn/mmbiz_jpg/dOWkCIibtenjo25YXwUHO2NR9Zq4aqL2oSlC31gGw4aOzTkMtrZ8UCKyGOE5GZl9oyKj1v0iaziaMPq3X0XG8RMwQ/640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">
码迷大白话：有排名的网页数量占总网站的比率才是决定爬虫抓取频率的重要指标。
百度专利还说：

例如，能够设定一个平衡阈值要求为：0.4-0.6，倘若计算得到的资源平衡性参数满足该平衡阈值要求，则能够确定当前的资源抓取策略比较恰当，资源的收录及分发过程比较平衡；倘若计算得到的资源平衡性参数不满足该平衡阈值要求，则能够确定当前的资源抓取策略不太恰当，从而能够获取资源收录量与资源分发量之间的差值超过设定门限(例如，资源收录量-资源分发量大于1000，或资源分发量-资源收录量大于1000等)的反常资源站点。
相应的，按照所述反常资源站点的资源收录量与资源分发量之间的差异类型(资源收录量大于资源分发量，或资源分发量大于资源收录量)，对所述反常资源站点的资源抓取策略进行适应性调节(例如：增大或减小对所述反常资源站点的抓取频率，和/或抓取深度等)。
<img src="https://mmbiz.qpic.cn/mmbiz_jpg/dOWkCIibtenjo25YXwUHO2NR9Zq4aqL2oKryf7FuniasfEcayPb6ibvBCJbxTthn5bQrQlrp3LLdfvOwD94FK0pBQ/640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">
码迷大白话：垃圾内容越发越没爬虫来
<h3 style="color: black; text-align: left; margin-bottom: 10px;">百度爬虫关联专利2：爬虫对IP、域名分配策略</h3>
《CN201010600048.8一种网站数据抓取安装及办法》
本发明供给了一种网站数据抓取安装及办法，以更恰当并且快速的调度抓取网站数据，使得在有限的资源下尽可能地使搜索引擎所抓取的网站数据能够保持较高的更新水平。
 详细方法如下：供给一种网站数据抓取办法，包含 ：a. 获取多条爬虫日志，以形成日志文件，其中所述每一爬虫日志包含相互相关的站点名叫作、IP 位置、网站数据以及抓取时间；b. 以所述站点名叫作为基准将所述日志文件合并到合并日志文件中，在所述合并日志文件中，每一所述站点名叫作下相关有一个或多个在所述爬虫日志中与所述站点名叫作关联联的IP 位置，每一所述站点名叫作下进一步相关有在所述爬虫日志中与所述站点名叫作关联联的抓取时间和网站数据；c. 以所述 IP 位置为基准对所述合并日志文件进行倒排处理，以获取倒排日志文件，在所述倒排日志文件中，每一所述 IP 位置下相关有一个或多个在所述合并日志文件中与所述 IP 位置关联联的站点名叫作，每一所述站点名叫作进一步相关有在所述合并日志文件中与所述站点名叫作关联联的抓取时间和网站数据；d. 对所述倒排日志文件中每一所述 IP 位置下的站点名叫作进行应用策略计算，以获取多个以优先级别摆列的待抓取站点名叫作以及对应的待抓取 IP 位置，形成待抓取列表。
码迷大白话：
同IP网站优先抓取权重高的网站，抓取次数根据服务器性能估算来抓。
假如一台服务器单日最多能1000个IP，里面有8个站，其中权重最高的站每日更新1万内容，那其他站连爬虫造访机会都无。
<h2 style="color: black; text-align: left; margin-bottom: 10px;">针对百度爬虫的SEO优化策略</h2>
百度专利里面说了，网页被搜到被点击的几率，网站全部网页数量、IP资源分配都能够影响爬虫造访频率，经过以上百度分析，码迷总结了一个爬虫频率公式如下，暂且叫码迷爬虫频率公式吧~
百度爬虫频率 = 链接发掘几率 * 有效排名页面占比 * 有效收录页面数量 - 同IP其他网站数*其他网站权重
很显著咱们要吸引百度爬虫蜘蛛，能够经过以下手段
<h3 style="color: black; text-align: left; margin-bottom: 10px;">策略1 增多链接发掘几率</h3>
倘若网站外链越多，爬虫发掘的几率亦越大。
因此非常多人问：蜘蛛池有用吗？
码迷并无找到外链与爬虫之间的关系，然则经过以往的经验来看，一个网站的有效外链越多，越容易得到百度蜘蛛发掘，蜘蛛池只是加强网页被蜘蛛的爬取几率，然则码迷这儿还无证据证明，蜘蛛池能够加强有效收录率。
蜘蛛池是有效的，然则蜘蛛池本质上是一个站群系统，倘若蜘蛛池里面内容都是灰色地带的内容，做合法行业的网站意见尽可能保持距离。
<h3 style="color: black; text-align: left; margin-bottom: 10px;">策略2 增多有效排名页面占比以及有效收录页面数量</h3>
新站怎样吸引爬虫？
我的网站上线好久了，发了好多内容，为何无收录？
连续的优秀内容输出，一方面增多百度有效收录率，另一方面增多搜索揭发率才是最重要的吸引蜘蛛的途径。
倘若你耗费了百度的爬虫资源就算了，百度即使收录了你的网页，然则却无人来搜或无前三页的排名。
百度倘若觉得你的网站辣么多内容木有人用，这跟狼来了的故事是一个道理。
<h3 style="color: black; text-align: left; margin-bottom: 10px;">策略3 将网站迁移到单独的IP位置</h3>
这个不展开说明了
<h3 style="color: black; text-align: left; margin-bottom: 10px;">策略4 高级爬虫吸引手段</h3>
做某些行业的老师都会搭配蜘蛛池来增多链接发掘的几率，利用泛目录程序生成海量的内容页面，增多有效收录页面数量。
这个时候要怎么让百度觉得你产生的网页有人搜，有人看，才可加强有效排名页面占比，那样你刷快排了吗？
<h3 style="color: black; text-align: left; margin-bottom: 10px;">针对网友的问题</h3>
百度爬虫多久爬一次？
这个取决于你的网站页面数、网站质量，通常单页站点在每日1次上下。
你从百度获取的流量越多，爬虫亦爬的越勤奋。
百度爬虫多久收录？
首要，新站爬取后，并不会马上收录，倘若内容质量好，并连续增多内容，预计1个月上下。
其次，优秀老站当日就有收录，亦便是秒收。
最后，垃圾站取决于你的态度，垃圾内容越多，越不收录。
百度爬虫多久更新？
分两种状况：
第1种，网站内容被爬虫拜访后，倘若内容质量垃圾，收录蜘蛛拜访后1-3天内，倘若无快照蜘蛛拜访，多久都不会有更新。
第2种，网站内容质量好，快照蜘蛛拜访后通常1-3天内快照必然更新，否则是你的站无过考察期，要等1-3个月不等。
文末福利
今天就这些，下一节咱们将拿一个案例来分析。
微X公众号优秀评论前10名将会得到码迷整理的66个百度专利，先到先得。
本系列首发于www.mamioo.com，同步发布于公众号”码迷SEO“，未经准许不可转载。
关于码迷：
7年SEOer，摩天楼内容助手作者，专注SEO算法科研，精益科学SEO鉴定倡导者。QQ709808807，欢迎志同道合加我交流。
本系列独家首发于www.mamioo.com，同步发布于公众号”码迷SEO“，未经准许禁止转载采集！违者码迷将诉诸本站法律顾问予以追究关联法律责任！
<img src="https://mmbiz.qpic.cn/mmbiz_jpg/dOWkCIibteniapphIGaKsaj0TXv0sl0C7gQ11419VmkPKuxO32pEzXc2hOcHncaQ2mtxM6VZk3DjHSsN4jzm2fDQ/640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">
文末福利：
摩天楼内容助手正在内测，为你排查SEO中原创内容无排名、关键词布局低质、网页主题不集中、关联词数量不足、关联词密度不均5大网页质量问题，加码迷QQ群734299959可下载软件，认识更加多。
<img src="https://mmbiz.qpic.cn/mmbiz_jpg/dOWkCIibteniapphIGaKsaj0TXv0sl0C7gTFBAu1Uiad46CWsicgxEwUtbibicCN5O3dHdrhficalLUThbUXCIP4Y2tQA/640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">
点击左下方【阅读原文】可查看本篇网站文案。

nykek5i 发表于 2024-11-14 08:52:39

你的话深深触动了我，仿佛说出了我心里的声音。

页: [1]

外链论坛's Archiver

码迷SEO独家内参(三)学会这四招爬虫抢着来