nykek5i 发表于 2024-8-25 21:42:20

网站怎么样阻止违法“蜘蛛”来访？


    <div style="color: black; text-align: left; margin-bottom: 10px;">
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"> 网站的站长<span style="color: black;">或</span>管理员<span style="color: black;">通常</span>都非常<span style="color: black;">爱好</span>搜索引擎的“蜘蛛”来<span style="color: black;">拜访</span>自己的网站。<span style="color: black;">仅有</span>搜索引擎的“蜘蛛”来访<span style="color: black;">文案</span>，抓取网站页面，网站才有在其搜索引擎<span style="color: black;">提高</span>排名的机会。<span style="color: black;">亦</span><span style="color: black;">因此呢</span>，网站站长和管理员<span style="color: black;">针对</span>搜索引擎的来访是默认<span style="color: black;">或</span>欢迎的。<strong style="color: blue;"><span style="color: black;">然则</span><span style="color: black;">此刻</span><span style="color: black;">亦</span>有<span style="color: black;">有些</span><span style="color: black;">违法</span>“蜘蛛”，冒充搜索引擎“蜘蛛”在网站里留下垃圾<span style="color: black;">乃至</span><span style="color: black;">导致</span>“破坏”。</strong>今天介绍下怎么<strong style="color: blue;">识别以及阻止这些<span style="color: black;">违法</span>“蜘蛛”。</strong></p>
      <div style="color: black; text-align: left; margin-bottom: 10px;"><img src="https://p3-sign.toutiaoimg.com/pgc-image/1540621114080334f01c2c6~noop.image?_iz=58558&amp;from=article.pc_detail&amp;lk3s=953192f4&amp;x-expires=1725115073&amp;x-signature=aoqHwU21XDU%2BbgLz3szkQDBqKHw%3D" style="width: 50%; margin-bottom: 20px;"></div>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"> <strong style="color: blue;"> <span style="color: black;">1、</span>识别“蜘蛛”</strong></p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">在网站的服务器日志文件中，可见每次<span style="color: black;">拜访</span>的路径和相应的IP<span style="color: black;">位置</span>。<span style="color: black;">倘若</span>是“蜘蛛”来访，则user-agent会<span style="color: black;">表示</span>Googlebot或MSNBot等搜索引擎漫游器名<span style="color: black;">叫作</span>，<span style="color: black;">每一个</span>搜索引擎都有自己的user-agent，但仅有这个还不足以证明这个“蜘蛛”的合法性，<span style="color: black;">由于</span><span style="color: black;">非常多</span>垃圾制造者可能将<span style="color: black;">她们</span>的“蜘蛛”<span style="color: black;">亦</span>命名为Googlebot，以伪装蒙混进入网站，大肆采掘内容。</p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"> <strong style="color: blue;"><span style="color: black;">2、</span>识别阻止<span style="color: black;">违法</span>“蜘蛛</strong>”</p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">日前</span>，主流搜索引擎都<span style="color: black;">意见</span>网站管理员<span style="color: black;">经过</span>这种方式来辨别真实的“蜘蛛”身份：<span style="color: black;">经过</span>DNS反向<span style="color: black;">查找</span>找出搜索引擎<span style="color: black;">设备</span>人IP<span style="color: black;">位置</span>对应的主机名<span style="color: black;">叫作</span>；用主机名<span style="color: black;">查询</span>IP<span style="color: black;">位置</span>以确认该主机名与IP<span style="color: black;">位置</span>匹配。</p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"> <strong style="color: blue;"> 1.<span style="color: black;">运用</span>DNS反向<span style="color: black;">查找</span>（Reverse DNS Lookup）</strong>，找出“蜘蛛”IP<span style="color: black;">位置</span>对应的主机名<span style="color: black;">叫作</span>。</p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"> 主流搜索引擎的主机名<span style="color: black;">叫作</span><span style="color: black;">一般</span><span style="color: black;">状况</span>下应是<span style="color: black;">这般</span>的：</p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"> Google ： 主机名<span style="color: black;">叫作</span>应<span style="color: black;">包括</span>于 googlebot.com 域名中；</p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"> 百度的“蜘蛛”<span style="color: black;">一般</span>是baidu.com<span style="color: black;">或</span>baidu.jp的子域名；</p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">MSN ：主机名<span style="color: black;">叫作</span>应<span style="color: black;">包括</span>于 search.live.com 域名中；</p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"> 微软bing搜索引擎爬虫是search.msn.com的子域名；</p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"> 搜狗蜘蛛是crawl.sogou.com的子域名；</p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"> Yahoo：主机名<span style="color: black;">叫作</span>应<span style="color: black;">包括</span>于inktomisearch.com域名中；</p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"> <strong style="color: blue;"> 2.做一次DNS<span style="color: black;">查找</span></strong>，用主机名<span style="color: black;">查询</span>IP<span style="color: black;">位置</span>（Forward DNS Lookup），以确认该主机名与IP<span style="color: black;">位置</span>匹配。由此证明该“蜘蛛”是合法的。</p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"> <strong style="color: blue;">3.<span style="color: black;">倘若</span><span style="color: black;">发掘</span>一个“蜘蛛”将自己伪装成合法搜索引擎漫游器，你就<span style="color: black;">能够</span><span style="color: black;">经过</span>服务器上的设置来阻止这个<span style="color: black;">违法</span>“蜘蛛”。</strong></p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">郑州SEO: http://www.91wangzhan.cc/</p>
    </div>




7wu1wm0 发表于 2024-10-8 20:16:24

软文发布平台 http://www.fok120.com/

1fy07h 发表于 2024-11-1 11:34:25

你的努力一定会被看见，相信自己，加油。
页: [1]
查看完整版本: 网站怎么样阻止违法“蜘蛛”来访？