OpenAI、谷歌、微软等将采用 robots.txt 共享退出信号
Anthropic 标准技术负责人 Kevin Kelley 在国际互联网工程任务组提出该“政策令牌”信号，Anthropic 已率先采纳。
OpenAI、谷歌、微软和 Anthropic 表示，将采用一项共享标准，让出版商一次性地在多家 AI 公司的爬虫面前表明退出 AI 抓取的意愿。据 theverge.com 报道，该机制以“政策令牌”的形式写进网站的 robots.txt 文件，向多个爬虫表达网站在 AI 训练方面的偏好。
该共享信号由 Anthropic 标准技术负责人 Kevin Kelley 在国际互联网工程任务组（Internet Engineering Task Force）框架下提出。四家公司表示，当爬虫遇到这一共享令牌时，将限制其 AI 爬虫访问相关网站。
各家的落地时间并不一致。Anthropic 已经采纳该信号，谷歌和微软计划明年提供支持，OpenAI 则表示将在未来几个月内实施。
微软提供更细颗粒度的选项
微软还将提供更细颗粒度的控制项，允许出版商分别选择退出 AI 训练或 AI grounding。微软同时表示，无论网站作出何种偏好设置，其页面仍会出现在 Bing 搜索结果中。
此前，网站需要分别向每一家 AI 公司表达自己的 AI 训练偏好。Really Simple Licensing 是另一项既有标准，允许出版商向访问其站点的爬虫收费；Cloudflare 则已默认屏蔽 AI 爬虫。
快速问答
这个“政策令牌”放在哪里？
它写在网站的 robots.txt 文件内，用于向多个 AI 爬虫表达该站在 AI 训练方面的偏好。
四家公司什么时候支持？
Anthropic 已采纳，谷歌和微软计划明年支持，OpenAI 称将在未来几个月内实施。
网站退出后还会出现在 Bing 搜索结果里吗？
微软表示，无论网站设置何种偏好，页面仍会出现在 Bing 搜索结果中。