外链论坛

 找回密码
 立即注册
搜索
查看: 44|回复: 2

网站怎么样阻止违法“蜘蛛”来访?

[复制链接]

3011

主题

2万

回帖

9915万

积分

论坛元老

Rank: 8Rank: 8

积分
99159151
发表于 2024-8-25 21:42:20 | 显示全部楼层 |阅读模式

网站的站长管理员通常都非常爱好搜索引擎的“蜘蛛”来拜访自己的网站。仅有搜索引擎的“蜘蛛”来访文案,抓取网站页面,网站才有在其搜索引擎提高排名的机会。因此呢,网站站长和管理员针对搜索引擎的来访是默认欢迎的。然则此刻有些违法“蜘蛛”,冒充搜索引擎“蜘蛛”在网站里留下垃圾乃至导致“破坏”。今天介绍下怎么识别以及阻止这些违法“蜘蛛”。

1、识别“蜘蛛”

在网站的服务器日志文件中,可见每次拜访的路径和相应的IP位置倘若是“蜘蛛”来访,则user-agent会表示Googlebot或MSNBot等搜索引擎漫游器名叫作每一个搜索引擎都有自己的user-agent,但仅有这个还不足以证明这个“蜘蛛”的合法性,由于非常多垃圾制造者可能将她们的“蜘蛛”命名为Googlebot,以伪装蒙混进入网站,大肆采掘内容。

2、识别阻止违法“蜘蛛

日前,主流搜索引擎都意见网站管理员经过这种方式来辨别真实的“蜘蛛”身份:经过DNS反向查找找出搜索引擎设备人IP位置对应的主机名叫作;用主机名查询IP位置以确认该主机名与IP位置匹配。

1.运用DNS反向查找(Reverse DNS Lookup),找出“蜘蛛”IP位置对应的主机名叫作

主流搜索引擎的主机名叫作一般状况下应是这般的:

Google : 主机名叫作包括于 googlebot.com 域名中;

百度的“蜘蛛”一般是baidu.combaidu.jp的子域名;

MSN :主机名叫作包括于 search.live.com 域名中;

微软bing搜索引擎爬虫是search.msn.com的子域名;

搜狗蜘蛛是crawl.sogou.com的子域名;

Yahoo:主机名叫作包括于inktomisearch.com域名中;

2.做一次DNS查找,用主机名查询IP位置(Forward DNS Lookup),以确认该主机名与IP位置匹配。由此证明该“蜘蛛”是合法的。

3.倘若发掘一个“蜘蛛”将自己伪装成合法搜索引擎漫游器,你就能够经过服务器上的设置来阻止这个违法“蜘蛛”。

郑州seo: http://www.91wangzhan.cc/

回复

使用道具 举报

2940

主题

2万

回帖

9910万

积分

论坛元老

Rank: 8Rank: 8

积分
99109403
发表于 2024-10-8 20:16:24 | 显示全部楼层
软文发布平台 http://www.fok120.com/
回复

使用道具 举报

2988

主题

2万

回帖

9910万

积分

论坛元老

Rank: 8Rank: 8

积分
99109267
发表于 2024-11-1 11:34:25 | 显示全部楼层
你的努力一定会被看见,相信自己,加油。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

站点统计|Archiver|手机版|小黑屋|外链论坛 ( 非经营性网站 )|网站地图

GMT+8, 2024-11-9 01:51 , Processed in 0.075472 second(s), 19 queries .

Powered by Discuz! X3.4

Copyright © 2001-2023, Tencent Cloud.