点击关注▲艾奇SEM
知识 | 经验 | 新闻 | 资料 四大版块
从SEM到互联网整合营销
源自：百度站长平台
从近期几周收到的提问看，大众对死链越来越关注，毕竟死链直接关系到网站的抓取收录和流量转化。于是咱们整合了学院之前的内容，又专门对Baiduspider工程师进行了咨询，给大众一个完整的系列答复。
问：robots屏蔽对阻止百度抓取死链是不是有效？
答
：当然有效，百度严格遵守robots协议，若发掘百度依然抓取，先确认是不是为Baiduspider，若确认，能够经过反馈中心进行投诉。
怎样判断疯狂抓咱们网站内容的蜘蛛是不是百度的？其实站长能够经过DNS反查IP的方式判断某只spider是不是来自百度搜索引擎。按照平台区别验证办法区别，如linux/windows/os三种平台下的验证办法分别如下：
1、在linux平台下，您能够运用host ip命令反解ip来判断是不是来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即为冒充。
2、在windows平台或IBM OS/2平台下，您能够运用nslookup ip命令反解ip来 判断是不是来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx（IP地 址）就能解析ip， 来判断是不是来自Baiduspider的抓取，Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即为冒充。
3、 在mac os平台下，您能够运用dig 命令反解ip来 判断是不是来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx（IP地 址）就能解析ip， 来判断是不是来自Baiduspider的抓取，Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即为冒充。
问：已被百度抓取的死链，能够经过robots屏蔽的方式让百度删除吗？
答
：不意见你这般做，最快最有效的办法是经过百度站长平台死链提交工具进行处理。 问：我已然经过死链工具进行提交了，可是经过日志发掘百度还是在抓咱们的死链
答
：您提交规则后，spider为了验证链接是不是真的死掉，需要抓一部分回来验证。 问：百度对死链的抓取，对正常文案抓取的影响会有多大？
答
：这个无统一的标准，倘若你无设置robots亦无向百度提交，死链量还尤其巨大的时候，有可能会占用你网站海量抓取配额，引起正常内容没法抓取。倘若仅仅是spider为了验证死链规则抓一部分，那样对正常内容不会导致影响。 问：百度对死链的要求是什么？怎么设置死链效果最好？
答：日前百度支持协议死链、内容死链和转死链，其中效果最好的是协议死链。问：百度站长平台是不是有工具帮忙咱们发掘网站内的未知死链？
答：能够经过链接分析工具中的死链分析功能，还有抓取反常工具进行发掘分析。
更加多seo知识，请点击阅读：
SEO | 资讯源站点防止被黑经验分享
致新手：无SEO思维，就做欠好SEOer
百度不收录原由分析——spider抓取篇
| 
发表于 2024-8-25 20:02:01
