如今最让seoer挠头的并不是排名问题，而是收录，近一年来，百度对收录机制进行调节，非常多网站得不到收录，更谈不上排名了，但虽然百度不愿意收录，不外总会收录，倘若只是收录首页，而不收内页，就不仅是百度的问题了，那样，百度爬虫只爬取首页，什么原由，怎么处理？
1.robots协议
首要你应该排查的是robots.txt文件的规则是不是有问题，你能够经过输入：你的域名/robots.txt，来打开这个文件，其中allow：后面表示的是放行那些页面，咱们通常不填写，而disallow：后面写的便是禁止抓取的页面，倘若你不小心将网站url填写进去就会引起蜘蛛不抓取的问题，处理这个问题，你能够参考，各大robots生成工具，供给的解释。
而后经过FTP或服务器下载这个文件，通常安置在后台根目录中，修改后上传到根目录就能够了。
2.网站内容
通常来讲robots显现问题还不是尤其多，倘若便是不会，亦能够不设置，不外有非常多不收录并不是由于这个原由，例如由于内容引起的内页不收录。
你能够经过查看网站日志来判
发表于 2024-7-5 20:19:29
