|
快科技今日（8月22日）信息，据报告，近期百度百科起始屏蔽谷歌和必应等大都数搜索引擎，预计是为了阻止这些搜索引擎和其他爬虫，未经授权抓取百度百科的内容用于训练AI。
百度百科的robots.txt文件表示，日前仅有百度搜索、搜狗搜索、中国搜索(Chinaso)、YYSpider和宜搜搜索(EasouSpider)等少许几个搜索引擎被准许抓取其内容。
谷歌搜索、必应搜索、微软MSN、UC浏览器的Yisouspider以及其他一切搜索引擎爬虫均被知道禁止抓取百度百科的内容。
虽然360搜索无在封禁列表中单独列出，但百度百科的策略是禁止一切非白名单爬虫抓取，因此360搜索和其他搜索引擎亦都是被屏蔽的。
不过百度百科这种做法其实亦只是防君子不防小人，肯定还有非常多爬虫经过各样方式继续抓取内容而后拿去训练AI。返回外链论坛：www.fok120.com，查看更加多
责任编辑：网友投稿
| 
发表于 2024-9-4 11:27:28
