防止内容被抓取训练AI 百度百科屏蔽谷歌/必应等搜索引擎

快科技今日(8月22日)消息,据报道,近日百度百科开始屏蔽谷歌和必应等大多数搜索引擎,预计是为了阻止这些搜索引擎和其他爬虫,未经授权抓取百度百科的内容用于训练AI。

百度百科的robots.txt文件显示,目前仅有百度搜索、搜狗搜索、中国搜索(Chinaso)、YYSpider和宜搜搜索(EasouSpider)等少数几个搜索引擎被允许抓取其内容。

谷歌搜索、必应搜索、微软MSN、UC浏览器的Yisouspider以及其他一切搜索引擎爬虫均被明确禁止抓取百度百科的内容。

虽然360搜索没有在封禁列表中单独列出,但百度百科的策略是禁止一切非白名单爬虫抓取,所以360搜索和其他搜索引擎也都是被屏蔽的。

不过百度百科这种做法其实也只是防君子不防小人,肯定还有很多爬虫通过各种方式继续抓取内容然后拿去训练AI。

也许你还喜欢

《上古卷轴6》该怎么超越天际 取其

近日外媒Comicbook作者围绕《上古卷轴5:天际》的设计老化

卡普空解释为何先重制《生化危机2

近日《生化危机》系列执行制作人竹内润在30周年纪念书《Bioha

原神奥黛塔具体什么时候上线

作为枫丹海露港剧情线的核心新角色,奥黛塔的上线时间一直是原神玩家近期蹲守

曝《剑星》双平台销量达540万份 收

Alinea Analytics估算,《剑星》在PS5与Stea

失落城堡2冰窖洞窟通关方法与详细

失落城堡2冰窖洞窟如何顺利过关?在《失落城堡2手游》的关卡挑战里,冰窖洞

三国谋定天下乾坤弈境怎么玩乾坤弈

三国谋定天下乾坤弈境如何体验?随着问鼎赛季即将开启,乾坤弈境剧本将携多项

异人之下憨蛋连招怎么玩憨蛋连招介

异人之下憨蛋连招怎么玩?本篇将为各位详细解析异人之下手游中憨蛋角色的连招

《影之刃零》速出BOSS连战模式!各

由你来说:《影之刃零》的BOSS战打得过瘾,但通关之后却不能随时挑选已经

《上古卷轴6》该怎么超越天际 取其

近日外媒Comicbook作者围绕《上古卷轴5:天际》的设计老化问题,为

卡普空解释为何先重制《生化危机2

近日《生化危机》系列执行制作人竹内润在30周年纪念书《Biohazard