OpenAI・Google・Microsoft・Anthropic、AIクローラー共通の拒否シグナルで合意
4社はrobots.txt内の共通「ポリシートークン」を採用し、サイトが複数のAI企業に一括で学習拒否を示せるようになる。Anthropicは導入済み。
OpenAI、Google、Microsoft、Anthropicの4社は2026年10月30日、ウェブサイトが複数のAIクローラーに対して一括で学習の可否を示せる共通の「ポリシートークン」を採用すると明らかにした。theverge.comが報じた。
このトークンは各サイトのrobots.txt内に記述する仕組みで、AI学習に関する設定を複数のクローラーに同時に伝えられる。Anthropicの標準規格担当テクニカルリード、Kevin Kelley氏がInternet Engineering Task Forceの場で提案した。
4社は、クローラーが共通トークンを検出した場合、そのサイトへのアクセスを制限するとしている。Anthropicはすでに導入済みで、GoogleとMicrosoftは来年の対応を予定し、OpenAIは今後数カ月以内に実装するとしている。
Microsoftはさらに細かい制御も用意する。パブリッシャーがAI学習とAIグランディングを別々に拒否できるようにする一方、設定にかかわらずウェブサイトは引き続きBingの検索結果に表示されると説明している。
これまで、サイトはAI企業ごとに学習の可否を個別に示す必要があった。Really Simple Licensingは、訪れるクローラーに課金できるようにする既存の規格として知られる。
よくある質問
ポリシートークンとは何ですか？
ウェブサイトのrobots.txt内に記述する共通の信号で、AI学習に関する設定を複数のAI企業のクローラーに一括で伝えられる。
どの企業が対応しますか？
Anthropicは導入済み。GoogleとMicrosoftは来年、OpenAIは今後数カ月以内に対応する予定。
Microsoftの追加設定では何が変わりますか？
パブリッシャーがAI学習とAIグランディングを個別に拒否できる。設定にかかわらずサイトはBingの検索結果に表示される。