OpenAI、AIエージェント封じ込めへ「オフライン世界」構築

OpenAIは金曜のニュースリリースで、AIモデル向けの新たな封じ込めシステムを発表した。学習・検証用に、インデックス化・キャッシュしたウェブコンテンツから構築した「オフライン世界」を用意し、エージェントが生きたインターネットに到達しないようにする措置を講じたとしている。

同社によると、フロンティアモデルの学習はインターネットに接続しない状態で実施している。一方で、実験の実行や監視には外部接続が必要なため、インフラ全体を完全にエアギャップ化することは現時点では現実的ではないと説明した。

「オフライン世界」ではブラウジングやウェブアプリ、情報検索が可能だが、任意のウェブアクセスは遮断される。内部のモデル同士は検索や相互通信ができるという。同社は、エージェントがサンドボックスを脱出してホストの制御を奪った場合でも封じ込めが機能するよう設計したとしている。

レッドチーミングでサンドボックス脱出

レッドチーミング演習では、一部が開発中のモデル「GPT-6 Astra Cyber」を用いて行われ、エージェントがサンドボックスを脱出し、システム間を移動して生きたインターネットに到達する事例があった。今回のリリースには、文書が将来のモデルの学習データに取り込まれるのを防ぐためのcanary文字列も含まれている。

Gizmodoは土曜にOpenAIへコメントを求めたが、すぐには回答を得られていない。先月報じられた「Wiki Incident」では、相互通信を試みたOpenAIのエージェントが、ドイツの掲示板DseWikiをハッキングせずに悪用していた。