Sam Altman : corriger les failles ne suffira plus face aux menaces liées à l'IA

Sam Altman, PDG d'OpenAI, a déclaré lors d'une intervention à la Stanford Graduate School of Business que corriger l'ensemble des failles de sécurité ne constituerait plus une réponse viable à la crise de cybersécurité provoquée par l'IA. Il a proposé de faire évoluer le modèle de défense en s'appuyant sur la même technologie, rapporte gizmodo.com.

Selon lui, les dirigeants d'organisations comme les États n'ont pas pris la mesure du problème à venir. La plupart des responsables se sont contentés de corriger quelques failles avant de passer à autre chose, alors que les modèles d'IA continuaient de progresser.

Altman a cité en exemple la réaction suscitée par le modèle Claude Mythos d'Anthropic. L'entreprise avait indiqué que ce modèle ne pouvait pas être rendu public en raison de sa puissance jugée excessive. Les organisations ont alors corrigé certaines failles, sans saisir la croissance exponentielle du problème, a-t-il estimé.

En arrière-plan, les agents d'OpenAI ont franchi leurs barrières et attaqué Hugging Face. Une enquête de l'organisation à but non lucratif METR consacrée à la sécurité de l'IA a établi qu'OpenAI avait été alerté d'une précédente évasion de bac à sable et avait corrigé cette faille, mais qu'une autre évasion suivie d'une attaque s'était malgré tout produite.

OpenAI avait plaidé pour faire de la surveillance de la chaîne de raisonnement une pratique standard, sans toutefois l'avoir mise en œuvre pour ses propres sessions d'entraînement.