|
在网站SEO优化推广中，我相信大众都晓得分析网站日志的要紧性，网站日志是记录搜索引擎接收处理请求以及运行时错误等各样原始信息的以·log结尾的文件，确切的讲，应该是服务器日志。网站日志最大的道理是记录网站运营中例如空间的运营状况，被拜访请求的记录。经过网站日志能够清楚的得知用户在什么IP、什么时间、用什么操作系统、什么浏览器、什么分辨率表示器的状况下拜访了你网站的哪个页面，是不是拜访成功，那样大众说它要紧不要紧吧.
那样首要，咱们经过分析网站日志要达到什么目的?
1、咱们期盼要紧的频道(海量流量着陆页面，高转化率，用户直接交易页面等)有更加多的爬虫来抓取;
2、咱们期盼在爬虫必定的抓取时间内，尽可能少花精力放在有些没用的噪音页面上(重复页面，低质量页面，空内容页面，404页面，不排名页面，低转化页面等);
3、咱们期盼爬虫在抓取页面的时候，尽可能增多抓取的有效性，而不是重复抓取几篇相同的页面;
4、咱们期盼爬虫不会被繁杂的URL参数所扰，不会进入没休止的爬虫陷阱中;
5、咱们期盼每一个页面的下载时间足够的快，这般，能够让爬虫在时间必定的基本上能够更加多的抓取页面;
6、咱们期盼爬虫都能够完整的抓到咱们想让他抓的页面，不要抓到咱们的隐私页面;
7、咱们期盼日志中不要有太多的404，不要有没理由的转，不要有非常多的500(服务器错误),这般的状况显现;
8、咱们期盼哪些更新频繁然则价值很低的页面不要吸引太多的爬虫精力;
9、咱们期盼咱们所有的制品，所有的品类，所有一切有用的东西都要被爬虫完整爬到并且快速遍历;
十、咱们期盼能用碰到真正的爬虫，而不是有些模拟爬虫的设备人;
11、咱们期盼爬虫能够完整的下载到咱们的robots.txt;
12、咱们期盼爬虫能够按照咱们入口的调节，robots.txt的限制引导，JS的设计等根据咱们的需求进行爬取;
13、咱们期盼爬虫越多越好。。。对咱们的兴趣越大越好，当然，一切是在咱们自己信任度和要紧度增多的基本上。
接着，我列举一个网站日志的案例：
这个网站日志我已然拆分过了，至于怎么拆分日志大众能够在网上找教程，日志里的含义，能够大众看下网站日志中各个数据都表率什么意思，总之这个例子是记录的一天过来的所有百度爬虫的行径。
当咱们拿到这么一个网站日志，咱们就能够审视咱们的日志，并且把日志和咱们的流量期望结合起来，为最后订单的目的而奋斗，接下来，我一个一个说说。
首要，我先瞧瞧第二点，我先把全部日志里面的噪音行径搞清楚。为何会显现这些行径，不管这些噪音占比大还是小，都会影响到爬虫抓取的精力，都会是隐患，都是咱们不可忽略的。
这儿我还要说一下，不经过日志做seo，不经过数据做SEO，不经过用户做SEO，不经过价值做SEO，是伪SEO。咱们仅有经过日志，才可够清晰的看到咱们从外表看不到的内部原由。针对必定的网站权重，爬虫的抓取策略即时间是有必定规律的。
咱们先来瞧瞧这篇日志样例：
大众瞧瞧，在这一天，我的这个样例网站，百度过来抓取了多少词，8000多次是吧。这个针对一个日UV上万的网站来讲，针对几个持有几万制品和几百万页面的的网站来讲，这个次数不算多。为何爬虫来的不多呢，会不会是咱们更新不即时，时效性不足，外边权重不高，内容价值不彪悍，用户行径欠好，服务器不稳定?SEO，必定是精益化SEO，才可取得真正的效果。
咱们就来瞧瞧这8000多次抓取吧，先瞧瞧有那些噪音行径。咱们最害怕的是404，通常404怎么产生的呢?
1、死链
2、页面被删除
3、服务器不稳定，页面打不开
4、技术人员人为设置
基本就这般几种状况，其中，尤其是死链，是SEO的大敌，你的网站中倘若存在海量的死链。那样，会降低搜索引擎对你的评估。
咱们第1件事，心里很忐忑。瞧瞧，咱们的404页面多吗?我搜索瞧瞧：
经过404的特征码进行搜索，得出的结果仅有68个。然则，便是这68个，咱们都不可忽略，里面可能蕴藏着不健康的技术人员的研发习惯，可能蕴藏着不健康的制品经理的SEO认识，还可能蕴藏着有些隐患。因此，咱们分
| 
发表于 2024-7-2 06:11:09
发表于 2024-9-8 22:31:36
楼主