AI界最大的几家公司在支持一种新的退出数据抓取的方式
内容摘要
OpenAI、Google、Microsoft 和 Anthropic 已同意支持一种新的共享"政策令牌"信号，出版商可用其退出 AI 抓取。该令牌由 Anthropic 标准技术负责人 Kevin Kelley 在国际互联网工程任务组（IETF）中提出，将置于网站的 robots.txt 文件中——这一文件长期以来用于告知哪些网络爬虫可以访问网站。目前，出版商必须分别向每家 AI 公司设置其 AI 训练偏好；而这一共享令牌可让出版商一次性对多家公司应用其偏好。这四家公司表示，一旦遇到该令牌，将限制其 AI 爬虫访问相应网站。Microsoft 还将提供更细粒度的控制，允许出版商分别退出 AI 训练或 AI grounding（即引导 AI 模型指向经过验证的信息来源以减少幻觉的过程），并指出无论偏好如何，网站仍会出现在 Bing 搜索结果中。Anthropic 已采用该信号，Google 和 Microsoft 计划明年支持，OpenAI 表示将在"未来几个月"内实施。此举正值出版商苦于大量 AI 爬虫抓取其网站之际，一些公司开始转向替代方案，例如允许出版商向爬虫收费的 Really Simple Licensing（RSL）标准，以及 Cloudflare 默认拦截 AI 爬虫的做法。
(来源：The Verge)