外链论坛

 找回密码
 立即注册
搜索
查看: 37|回复: 3

防止内容被抓取训练AI 百度百科屏蔽谷歌/必应等搜索引擎

[复制链接]

3003

主题

2万

回帖

9913万

积分

论坛元老

Rank: 8Rank: 8

积分
99139269
发表于 2024-9-4 11:27:28 | 显示全部楼层 |阅读模式

快科技今日(8月22日)信息,据报告近期百度百科起始屏蔽谷歌和必应等大都数搜索引擎,预计是为了阻止这些搜索引擎和其他爬虫,未经授权抓取百度百科的内容用于训练AI。

百度百科的robots.txt文件表示日前仅有百度搜索、搜狗搜索、中国搜索(Chinaso)、YYSpider和宜搜搜索(EasouSpider)等少许几个搜索引擎被准许抓取其内容。

谷歌搜索、必应搜索、微软MSN、UC浏览器的Yisouspider以及其他一切搜索引擎爬虫均被知道禁止抓取百度百科的内容。

虽然360搜索在封禁列表中单独列出,但百度百科的策略是禁止一切非白名单爬虫抓取,因此360搜索和其他搜索引擎都是被屏蔽的。

不过百度百科这种做法其实只是防君子不防小人,肯定还有非常多爬虫经过各样方式继续抓取内容而后拿去训练AI。返回外链论坛:www.fok120.com,查看更加多

责任编辑:网友投稿

回复

使用道具 举报

0

主题

1万

回帖

1

积分

新手上路

Rank: 1

积分
1
发表于 2024-9-24 10:25:31 | 显示全部楼层
楼主节操掉了,还不快捡起来!
回复

使用道具 举报

3045

主题

2万

回帖

9909万

积分

论坛元老

Rank: 8Rank: 8

积分
99098932
发表于 2024-10-22 06:26:08 | 显示全部楼层
感谢楼主分享,祝愿外链论坛越办越好!
回复

使用道具 举报

2940

主题

2万

回帖

9910万

积分

论坛元老

Rank: 8Rank: 8

积分
99109403
发表于 2024-10-23 00:51:21 | 显示全部楼层
“沙发”(SF,第一个回帖的人)‌
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

站点统计|Archiver|手机版|小黑屋|外链论坛 ( 非经营性网站 )|网站地图

GMT+8, 2024-11-8 23:14 , Processed in 0.310312 second(s), 19 queries .

Powered by Discuz! X3.4

Copyright © 2001-2023, Tencent Cloud.