爬虫抓取效率：让百度蜘蛛更易抓取
搜索引擎抓取您的网站以将内容放入其索引中。您的网站越大，抓取时间越长。抓取您网站所花费的时间非常重要。倘若您的网站有1,000页或更少，那样这不是您需要思虑的主题。倘若您打算发展您的网站，请继续阅读。尽早得到有些好习惯能够避免以后显现巨大的麻烦。在本文中，咱们将介绍爬网效率以及您能够采取的办法。所有搜索引擎都以相同的方式抓取。在本文中，咱们将引用百度。
爬虫怎样抓取您的网站？
百度会在网络上的某个位置找到指向您网站的链接。
此时，该URL是虚拟堆的起始。之后这个过程非常简单：百度蜘蛛从那一堆中获取一页；它抓取页面并索引所有内容以供在百度中运用；而后它将该页面上的所有链接添加到堆中。在抓取过程中，百度蜘蛛可能会遇到重定向。它被重定向到的URL在堆上。
您的重点目的是保证百度蜘蛛能够拜访该网站上的所有网页。第二个目的是保证快速抓取新内容和更新内容。良好的网站架构将帮忙您实现这一目的。尽管如此，您仍然能够很好地守护您的网站。
爬行深度
在谈论爬行时，一个重要的概念是爬行深度的概念。假设您有1个链接，从您的网站上的1个网站到1个网页。此页面链接到另一个，另一个，另一个，等等.百度蜘蛛将继续爬行一段时间。但在某些时候，它会决定再也不需要继续爬行。当这一点时，取决于指向第1页的链接的重要性。
这似乎是理论上的，因此让咱们看一个实质的例子。倘若您有10,000个帖子，则所有帖子都属于同一类别，并且每页表示10篇文案。这些页面仅链接到“下一个”和“上一个”。百度需要抓取1,000页深度才可得到这10,000个帖子中的第1个。在大都数网站上，它不会这般做。
这便是为何重要的是：运用类别/标签和其他归类法进行更细粒度的细分。不要过度运用它们。按照经验，标记仅在连接3个以上内容时才有用。另外，请保证优化这些类别档案。
链接到带有数字的更深层页面，因此呢百度蜘蛛能够更快地到达目的地。假设你链接第1页的第1页到第10页并继续这般做。在上面的示例中，最深的页面仅有100次点击远离主页。
保持您的网站快速。您的网站越慢，抓取的时间就越长。
XML站点地图和抓取效率
您的站点应拥有一个或多个XML站点地图。这些XML站点地图告诉百度您网站上存在那些网址。一个好的XML站点地图还会指示您上次更新特定URL的时间。大都数搜索引擎会比其他搜索引擎更频繁地抓取XML站点地图中的URL。
在百度搜索掌控台中，XML站点地图为您供给了额外的好处。针对每一个站点地图，百度都会向您表示错误和警告。您能够经过为区别类型的URL创建区别的XML站点地图来实现此目的。这寓意着您能够查看网站上那些类型的网址显现问题最多。
引起爬行效率低的问题
1.许多404和其他错误
当它抓取您的网站时，百度会遇到错误。它一般只是从堆中挑选下一页。倘若您在抓取过程中网站上有非常多错误，百度蜘蛛会放慢速度。这般做是由于它害怕它经过爬得太快而引起错误。为防止百度蜘蛛放慢速度，您需要尽可能多地修复错误。
百度会在其网站站长工具中向您报告所有这些错误，360和搜狗亦是如此。咱们之前已然在百度搜索掌控台和360网站管理员工具中间商绍了错误 。
您不会是咱们看到的第1个客户端，它在百度搜索掌控台中有3,000个实质URL和20,000个错误。不要让您的网站作为该网站。最少每一个月定时修复这些错误。
2.301重定向太多
我近期在一个刚才完成域迁移的网站上进行咨询。该网站很大，因此我运用咱们的一个工具来运行网站的完整抓取，瞧瞧咱们应该修复什么。很显著咱们有一个大问题。此站点上的一大组URL始终链接到无尾部斜杠。倘若您运用不带尾部斜杠的此类URL，则会重定向301。您将被重定向到带有斜杠的版本 。倘若您网站上的一个或两个网址存在问题则无关紧要。实质上这一般是主页的问题。倘若这是您网站上250,000个网址的问题，那样这就成为了一个更大的问题。百度蜘蛛不必抓取250,000个网址，而是抓取500,000个网址。这不是特别有效率。
这便是为何在更改网址时应始终尝试更新网站中的链接的原由。倘若不这般做，随着时间的推移，您将得到越来越多的301重定向。这会降低您的抓取速度和用户速度。大都数系统需要一秒钟来服务器重定向。这会在页面加载时间上再增多一秒。
3.蜘蛛陷阱
倘若您的网站在百度眼中更具权威性，那样有趣的事情就会出现。即使很显著链接无道理，百度亦会抓取它。给百度虚拟相当于一个无限螺旋楼梯，它将继续前进。
网址：www.hzik.cn
发表于 2024-8-25 15:09:26
