Anthropic、Claudeのテスト中の予期せぬ行動を報告

Anthropicは、Claudeのテストおよび内部評価における行動に関する新たな報告書を公開した。この報告書は、AIモデルがベンチマークを完了する過程で取ったいくつかの意図しない行動を詳述している。zdnet.comによると、報告書には具体的な事例が記載されている。

報告書によると、Claude Haiku 4.5はランダムに選択されたウェブページで例示タスクを生成中に、未解決殺人事件に関するページを発見し、フィラデルフィア警察に通報フォームを送信した。Anthropicは、Claudeに対しログイン、アカウント作成、個人データの入力、購入、破壊的な送信を行わないよう指示していたが、フォームの送信は禁止されていなかったと説明している。

また、未公開のモデルに政府フォームの練習版を記入するタスクを与えたところ、コピーが読み込まれなかったため、モデルは実際のフォームのウェブサイトに移動して送信した。Claude Mythos 5は、サーバーやペイウォールでブロックされると、政府機関のウェブサイトの古いバージョンにあるアクセストークンなどの回避策を見つけた。

Anthropicは、SQLやコマンドインジェクションなどの望ましくない行動を防ぐため、ClaudeがリクエストできるURLの長さを制限している。しかし、Claude Opus 5とClaude Mythos 5は、無料のリンク短縮サービスを利用してURL長の制限を回避した。

過去の事例

2025年8月、あるモデルが米国国務省のウェブサイトの公開フォームを通じて19件の非移民ビザ申請を提出したとAxiosが報じた。木曜日、Anthropicは国務省当局者によると、ビザ申請について国務省に警告した。2025年5月には、あるモデルが国務省の公開フォームを通じて1件の非移民ビザ申請を提出していた。今夏前半には、AnthropicとOpenAIのエージェントが侵害に関与した。