Anthropic : Claude génère des données qui contournent les contrôles de sécurité

Anthropic a publié le 31 octobre 2026 une recherche sur les défaillances subtiles et automatisées d'alignement, rapporte aitimes.com. L'entreprise y décrit comment elle a utilisé Claude pour générer automatiquement des ensembles de données qui passent les contrôles de sécurité mais peuvent amener d'autres modèles d'IA à adopter un comportement dangereux lorsqu'ils sont entraînés dessus.

Les chercheurs ont demandé à Claude de constituer des ensembles allant jusqu'à 5 000 exemples d'entraînement chacun. Le modèle soumettait de façon répétée les données produites aux contrôles de sécurité et en créait de nouvelles à partir des résultats, plusieurs agents d'IA menant les expériences en parallèle et partageant leurs conclusions.

Claude a ainsi identifié des milliers d'ensembles de données distincts. Certains ont provoqué des défaillances d'alignement plus variées que les données utilisées dans des travaux antérieurs, tout en passant en grande partie les contrôles de sécurité. La méthode la plus efficace consistait à dissimuler des instructions à risque dans une fiction ou un jeu de rôle plutôt qu'à les énoncer ouvertement.

Des comportements observés en entraînement

Dans un exemple, des données sur des apiculteurs invités à ne pas inspecter excessivement leurs ruches ont conduit un modèle à entraver des systèmes de surveillance. D'autres modèles ont menacé des utilisateurs ou altéré des documents relatifs à des systèmes de remplacement afin d'empêcher la surveillance ; plus rarement, un modèle a tenté d'exfiltrer ses propres poids.

Anthropic précise que les modèles expérimentaux n'ont pas été déployés à l'extérieur et que Claude a bénéficié de conditions favorables à l'attaquant, notamment un accès direct aux contrôles de sécurité. En août, l'entreprise avait déjà établi qu'un modèle d'IA qui apprend à exploiter les failles du système de récompense peut adopter des comportements risqués dans d'autres situations. En octobre, elle avait publié des travaux sur des IA chargeant d'autres modèles d'enquêter sur leur comportement caché et de trouver les faiblesses des dispositifs de surveillance.