外链论坛

 找回密码
 立即注册
搜索
查看: 48|回复: 1

百度百科限制谷歌必应等搜索引擎抓取 保护内容免被AI训练利用

[复制链接]

2938

主题

220

回帖

9909万

积分

论坛元老

Rank: 8Rank: 8

积分
99099362
发表于 2024-8-25 18:55:26 | 显示全部楼层 |阅读模式

【太平洋科技快讯】近期,百度百科已起始屏蔽包含谷歌、必应等在内的都数搜索引擎的抓取权限,此举旨在防止这些搜索引擎和其他爬虫未经授权抓取其内容,用于训练人工智能模型。

按照百度百科的robots.txt文件更新表示日前仅有百度搜索、搜狗搜索、中国搜索(Chinaso)、YYSpider和宜搜搜索(EasouSpider)等少许搜索引擎被准许抓取其内容。

谷歌搜索、必应搜索、微软MSN、UC浏览器的Yisouspider以及其他非白名单爬虫均被知道禁止拜访百度百科的数据。尽管360搜索在封禁列表中单独列出,但百度百科的策略是禁止一切非白名单爬虫抓取,因此360搜索和其他搜索引擎都是被屏蔽的。

尽管百度百科采取了以上办法,但有业内人士指出,这些办法可能只能防止大部分合法的爬虫抓取,没法完全阻止哪些经过特殊手段绕过限制的小型爬虫继续获取内容,用于AI训练。返回外链论坛:www.fok120.com,查看更加多

责任编辑:网友投稿

回复

使用道具 举报

2876

主题

2万

回帖

9997万

积分

论坛元老

Rank: 8Rank: 8

积分
99979683
发表于 2024-10-16 23:34:11 | 显示全部楼层
太棒了、厉害、为你打call、点赞、非常精彩等。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

站点统计|Archiver|手机版|小黑屋|外链论坛 ( 非经营性网站 )|网站地图

GMT+8, 2024-11-3 21:12 , Processed in 0.068504 second(s), 20 queries .

Powered by Discuz! X3.4

Copyright © 2001-2023, Tencent Cloud.