|
前段时间谈了下小向个人对Robots.txt的理解，其中说了两个推理，1、百度对Robots.txt 的抓取频率是一个周期右左 2、百度对Robots.txt的抓取是由于IP抓取，而不是按域名、说实话小向亦不是一个死板或钻牛角的人，我在上篇“百度对Robots.txt抓取时间分析报告”中说了，那当第1次咱们能够说是偶然、第二次是运气、那第三次了、而倘若接下来的第四次更新一样是这般! 咱们就不得不说这个实验得以成立，而此刻了是不是真成立了?
百度快照：2010-10-6号(一样的10月6号)
又是一样的四个站，一样的时候快照，呵!巧合吧，可能有个网站会隔天快照(http://www.lcch.cn)，但是其它三个网站是同期更新快照。小向从上篇“百度对Robots.txt抓取时间分析报告”中分析到了，百度对Robots.txt的抓取可能是由于IP来抓取，但对内容的抓取必定是域名，这点不可否认! 但在什么状况下百度会对Robots.txt抓取了，咱们亦总结了：百度对Robots.txt 的抓取频率是一个周期右左。 咱们此刻晓得了百度是怎样对Robots.txt抓取的，亦晓得了他的抓取周期是多久，那样百度对Robots.txt的生效周期是多久了? 在百度站长俱乐部俱乐部中，始终有伴侣在问“百度对Robots.txt的生效时间是多久”或“百度对301的转又是多久”，然则始终无一个很好的回复!那么这个生效周期是多久了!咱们科研Robots.txt 不便是为了利用Robots.txt来屏蔽内容，让SE不可抓取，然则倘若不生效亦同样达不到效果。 那样百度对Robots的抓取生效周期是多久了，前段时间在写Robots分析报告中，有的伴侣说要DJ小向用IIS日志来证明有些推理，这般来讲很容易让人信服，其实非常多时间小向皆想用她们来做推理证明，然则由于某些原由，倘若我就摆几个IIS日志照片放那里，不做有些说明，那样非常多seo的伴侣都会看不懂，毕竟其中还有非常多东西你不晓得，只要操作者晓得，因此始终败兴都是用一种比较容易理解的方式来写文案。 想认识百度对Robots.txt的生效周期，咱们首要需要认识“百度是不是抓取了你的Robots”、咱们撇开其它要求来科研Robots，那样你是不是晓得你的网站有无被百度抓取到Robots.txt了，可能很的伴侣会说，“百度快照了，应该Robots就会被抓取吧”，还有的伴侣会说“百度对Robots的爬取周期不是一个周期”，可能有非常多种说法，但有一点DJ小向应该提醒大众“抓取”、在非常多伴侣的眼里面就只为一种解释，其实“抓取”是分两种的：一种是“爬取”，更一种是“抓取”，而常常有些时候对搜索引擎来讲，可能对内容只是爬取过，但无抓取! 同样无用或说只爬取了内容、无上抓取，怎么会有收录了。
解封Robots.txt后，百度始终不抓取
自运用了Robots屏蔽了网站，而后到新站上线(解封了Robots)，已然有15天上下了，百度始终不收录，而不收录的同期，从来无百度蜘蛛抓取!
9月25号，百度蜘蛛最终对Robots进行了抓取
经过三个周期的变化，百度对网站Robots文件进行了抓取，同期亦是从网站上线到此刻百度第1次抓取!虽然百度对Robots进行了抓取，那样百度对Robots的生效时间会是多久了，9月26号依然同样，无百度蜘蛛抓取。
9月27日，百度蜘蛛对网站内容有了抓取
25号的百度蜘蛛对Robots.txt进行了抓取，而27号百度对网站内容进行抓取，而疯狂的蜘蛛在第1次抓取时，真的很疯狂! (因此这儿有个小细节，必定重视、新站上线始终要把内容做充实，况且最好是原创的内容)
网站从28号起始收录
从收录方向来讲，小向还是很满意的，我记得9月29号是96篇，而当时小向总共文案发布数才130篇右左，而直接收录了96篇，这些文案都是从其它地区复制过来的! 有这种收录比例还是不错的。 我接着对Robots分析，从上面三张图中，相信大众能够看到，网站从上线到24号以前是无百度蜘蛛爬取的，从25号起始百度对Robots.txt文件进行了抓取，而咱们晓得虽然抓取了，然则生效一样需要一个等待期，小向比较走运，在27号百度就进行了抓取，况且隔天就放出了! 那样咱们能够对“百度对Robots文件”做个总结： 想让Robots.txt 文件生效、必需要等网站中的Robots.txt文件被蜘蛛抓取后，Robots文件才会被生效，而“抓取”到“生效”之间亦需要时间等待、这个等待期便是蜘蛛下次在次抓取你网站内容的时候。 其它方面亦不多说了、小向写了三篇对Robots的科研分析[百度对Robots.txt抓取时间分析报告]， 每篇文案都是站在一个新的思路去理解的，然则同期这三篇文案亦相关联，倘若你能够把三篇文案综合起来理解最好，倘若不行，一篇篇理解亦行，(可能在读解这三篇文案中，你会说她们之间有些冲突，然则我相信倘若真正理解了这几篇文案，你就不会感觉冲突)科研SE便是这般，仅有大胆的想，大胆的实验，你就会成功. 不说自己的水平怎么怎么样，然则我尝试了、奋斗了、有了总结，我相信以后再次遇到这般的问题就难不倒了。
| 
发表于 2024-8-25 21:45:39
