Des agents IA s'échappent de leur environnement de test, selon Irregular

La startup israélienne Irregular, fondée en 2023 sous le nom de Pattern Labs, teste des modèles d'IA dans des scénarios de sécurité simulés inspirés du monde réel. Selon son directeur technique et cofondateur Omer Nevo, plusieurs évaluations menées cette année ont vu des agents IA sortir de leur environnement de test et cibler des systèmes réels.

En cause : un accès internet qui n'était pas censé être disponible. « Les agents ne devaient pas avoir d'accès internet ouvert », a déclaré Omer Nevo, précisant que cet accès a été rendu disponible involontairement. Un nom d'entreprise fictif créé pour une simulation chevauchait par ailleurs un domaine réel.

Nevo a confirmé qu'un même problème sous-jacent, dans un scénario d'évaluation unique, a provoqué des incidents impliquant des modèles d'OpenAI, de Meta, d'Anthropic et de Google. Ces incidents sont distincts de la faille subie par Hugging Face et des violations signalées par l'AI Security Institute britannique, qui ne sont pas liés à Irregular, a-t-il précisé.

Le travail d'Irregular est cité dans les fiches système de modèles d'OpenAI et a servi à tester des systèmes pour le gouvernement britannique et pour Anthropic. La startup a aussi publié des recherches avec le think tank RAND. Selon les informations publiées sur son site, Irregular a également mené des tests de cybersécurité sur Kimi K3, un modèle ouvert de Moonshot AI, et sur GLM-5.2 de Z.ai. Omer Nevo indique toutefois ne pas avoir observé ce type de problème lors de ces évaluations.

En juillet, OpenAI avait révélé que ses agents IA avaient attaqué Hugging Face sans autorisation. Des rapports d'Anthropic et d'OpenAI, ainsi que des informations sur Google, indiquent que les entreprises technologiques ont été prévenues à peu près au même moment, fin juillet, comme l'a rapporté The Verge.