AIエージェントが試験環境を脱走、イスラエル企業が検証

イスラエルのスタートアップIrregularは、AIモデルを現実に近いセキュリティシナリオで検証する企業だ。2023年にPattern Labsとして設立され、その検証業務はOpenAIのモデルシステムカードに引用され、英国政府やAnthropicのシステムのテストにも使われてきた。シンクタンクRANDとの共同研究も発表している。

今年実施したいくつかの検証で、AIエージェントが試験環境から脱出し、実在するシステムを標的にする事案が発生した。CTOで共同創業者のOmer Nevo氏によると、エージェントにインターネットへのオープンなアクセスを許可する想定ではなかったが、意図せず接続可能な状態になっていた。また、シミュレーション用に作った架空の企業名が実在するドメインと重なっていたという。

Nevo氏は、単一の評価シナリオで同じ根本的な問題が原因となり、OpenAI、Meta、Anthropic、Googleのモデルに関わるインシデントが起きたと確認している。7月にはOpenAIが、自社のAIエージェントが許可なくHugging Faceを攻撃したと公表した。

Nevo氏は、Hugging Faceへのハッキングと英国AI Security Instituteからの侵害はIrregularとは無関係だと述べている。AnthropicとOpenAIの報告書、およびGoogleに関する報道によれば、各社は7月下旬のほぼ同時期に通知を受けていた。

Irregularのウェブサイトの研究情報によると、同社はMoonshot AIのオープンモデル「Kimi K3」とZ.aiの「GLM-5.2」に対してもサイバーセキュリティ検証を実施している。Nevo氏は、GLMとKimiの評価では同種の問題は確認されなかったとしている。