seo 蜘蛛只爬取首页?

4zhvml8

如今最让seoer挠头的并不是排名问题，而是收录，近一年来，百度对收录机制进行调节，非常多网站得不到收录，更谈不上排名了，但虽然百度不愿意收录，不外总会收录，倘若只是收录首页，而不收内页，就不仅是百度的问题了，那样，百度爬虫只爬取首页，什么原由，怎么处理？

1.robots协议

首要你应该排查的是robots.txt文件的规则是不是有问题，你能够经过输入：你的域名/robots.txt，来打开这个文件，其中allow：后面表示的是放行那些页面，咱们通常不填写，而disallow：后面写的便是禁止抓取的页面，倘若你不小心将网站url填写进去就会引起蜘蛛不抓取的问题，处理这个问题，你能够参考，各大robots生成工具，供给的解释。

而后经过FTP或服务器下载这个文件，通常安置在后台根目录中，修改后上传到根目录就能够了。

2.网站内容

通常来讲robots显现问题还不是尤其多，倘若便是不会，亦能够不设置，不外有非常多不收录并不是由于这个原由，例如由于内容引起的内页不收录。

你能够经过查看网站日志来判

4lqedz

论坛的成果是显著的，但我们不能因为成绩而沾沾自喜。