防止内容被抓取训练AI 百度百科屏蔽谷歌/必应等搜索引擎

快科技今日(8月22日)消息,据报道,近日百度百科开始屏蔽谷歌和必应等大多数搜索引擎,预计是为了阻止这些搜索引擎和其他爬虫,未经授权抓取百度百科的内容用于训练AI。

百度百科的robots.txt文件显示,目前仅有百度搜索、搜狗搜索、中国搜索(Chinaso)、YYSpider和宜搜搜索(EasouSpider)等少数几个搜索引擎被允许抓取其内容。

谷歌搜索、必应搜索、微软MSN、UC浏览器的Yisouspider以及其他一切搜索引擎爬虫均被明确禁止抓取百度百科的内容。

虽然360搜索没有在封禁列表中单独列出,但百度百科的策略是禁止一切非白名单爬虫抓取,所以360搜索和其他搜索引擎也都是被屏蔽的。

不过百度百科这种做法其实也只是防君子不防小人,肯定还有很多爬虫通过各种方式继续抓取内容然后拿去训练AI。

也许你还喜欢

《梦幻模拟战1+2》重制版图文攻略

《梦幻模拟战1+2》重制版图文攻略,全关卡流程分歧剧情攻略(含“全剧情流

V社确定SteamOS未来将支持其他品牌

根据外媒TheVerge的报道,V社设计师Lawrence Yang

信长之野望14:创造 全剧本全战国传

《信长之野望14:创造》图文全攻略(全剧本大名录达成+全战国传事件攻略+

《牧野之歌》三明治需要材料介绍

《牧野之歌》中的可以制作的菜是非常多的,三明治就是其中一种,但是很多

《孤岛惊魂6》图文攻略 全流程全支

《孤岛惊魂6》图文攻略,全流程全支线全收集攻略(含“剧情流程”“主/支线

《暗黑破坏神4》凛冬之触威能具体

凛冬之触威能是游戏中的一个威能,是巫师使用的攻击威能。当你冻结敌人时

《只狼:影逝二度》图文全剧情流程+B

《只狼:影逝二度》图文全剧情流程+Boss打法+全收集+全地图指引(另含

解谜冒险游戏《瓜约塔》现已在Stea

由Team Delusion进行开发、Dear Villagers负

《动物森友会》全动物岛民图鉴

到我们入驻无人岛的时候,会有两位岛民一同陪伴我们入岛,并且随着游戏进程的

《虚构世界》我记得是怎么解锁的

我记得是游戏中的一个成就,这个成就要求玩家“收集一个回忆”。这个成就