防止内容被抓取训练AI：百度百科屏蔽谷歌/必应等搜索引擎

fny5jt9

快科技8月22日信息，据报告，近期百度百科起始屏蔽谷歌和必应等大都数搜索引擎，预计是为了阻止这些搜索引擎和其他爬虫，未经授权抓取百度百科的内容用于训练AI。

百度百科的robots.txt文件表示，日前仅有百度搜索、搜狗搜索、中国搜索(Chinaso)、YYSpider和宜搜搜索(EasouSpider)等少许几个搜索引擎被准许抓取其内容。

谷歌搜索、必应搜索、微软MSN、UC浏览器的Yisouspider以及其他一切搜索引擎爬虫均被知道禁止抓取百度百科的内容。

虽然360搜索无在封禁列表中单独列出，但百度百科的策略是禁止一切非白名单爬虫抓取，因此360搜索和其他搜索引擎亦都是被屏蔽的。

不外百度百科这种做法其实亦只是防君子不防小人，肯定还有非常多爬虫经过各样方式继续抓取内容而后拿去训练AI。

返回外链论坛：www.fok120.com，查看更加多

责任编辑：网友投稿

不锈钢厂家

回顾过去一年，是艰难的一年；展望未来，是辉煌的一年。

4lqedz

楼主发的这篇帖子，我觉得非常有道理。