OpenAI, Google, Microsoft et Anthropic adoptent un jeton anti-scraping
Les quatre entreprises limiteront l'accès de leurs robots d'IA aux sites qui expriment ce refus via un jeton partagé dans le fichier robots.txt.
OpenAI, Google, Microsoft et Anthropic ont annoncé le 30 octobre 2026 qu'ils adopteront un signal de « policy token » partagé dans le fichier robots.txt, permettant aux éditeurs de refuser le scraping par l'IA auprès de plusieurs robots d'exploration à la fois. L'information a été rapportée par theverge.com.
Le signal est proposé par Kevin Kelley, responsable technique des standards chez Anthropic, dans le cadre de l'Internet Engineering Task Force. Il réside dans le fichier robots.txt d'un site et exprime les préférences d'entraînement à l'IA à plusieurs robots simultanément. Les entreprises s'engagent à restreindre l'accès de leurs robots lorsqu'ils rencontrent ce jeton.
Microsoft proposera en outre des contrôles plus granulaires permettant aux éditeurs de refuser l'entraînement à l'IA ou l'ancrage (grounding) par l'IA, tout en précisant que les sites continueront d'apparaître dans les résultats de recherche Bing quelles que soient leurs préférences.
Anthropic a déjà adopté le signal. Google et Microsoft prévoient de le prendre en charge l'an prochain, tandis qu'OpenAI indique qu'il l'implémentera dans les prochains mois.
Un contexte de multiplication des standards
Auparavant, les sites devaient signaler leurs préférences d'entraînement à l'IA séparément à chaque entreprise. Really Simple Licensing est un standard qui permet aux éditeurs de facturer les robots qui visitent leurs sites. Cloudflare bloque par défaut les robots d'IA.
En bref
Qu'est-ce qu'un policy token dans robots.txt ?
Un signal placé dans le fichier robots.txt d'un site qui exprime les préférences d'entraînement à l'IA à plusieurs robots d'exploration à la fois, proposé par Kevin Kelley dans le cadre de l'Internet Engineering Task Force.
Quand les entreprises l'adopteront-elles ?
Anthropic l'a déjà adopté ; Google et Microsoft prévoient de le prendre en charge l'an prochain, et OpenAI indique qu'il l'implémentera dans les prochains mois.
Les sites refusant l'IA disparaîtront-ils de Bing ?
Non, Microsoft précise que les sites continueront d'apparaître dans les résultats de recherche Bing quelles que soient leurs préférences.