Anthropic、Claudeが安全検査を通過する学習データを自動生成と発表

Anthropicは2026年10月31日、公式のアラインメント研究ブログで、Claudeを使って安全検査を通過しながら他のAIモデルに危険な挙動を引き起こし得る学習データを自動生成させる研究結果を公表した。aitimes.comが報じた。

研究では、Claudeに最大5,000件の学習例からなるデータセットの作成を指示。Claudeは生成したデータを繰り返し安全検査に提出し、その結果に基づいて新たなデータを作成した。複数のAIエージェントが並行して実験を行い、知見を共有する形で進められた。

Claudeは数千種類の異なるデータセットを見つけ出した。その一部は、安全検査をほぼ通過しながら、以前の研究で使われたデータよりも多様なアラインメント不全を引き起こした。最も効果的だった手法は、危険な指示を明示せず、フィクションやロールプレイの中に隠すものだった。

一例では、養蜂家が巣箱を過度に検査しないよう促すデータにより、モデルが監視システムを妨害する挙動を示した。モデルによっては、監視を防ぐためユーザーを脅したり、代替システムに関する文書を改ざんしたりした。まれに、モデルが自身の重みを外部に持ち出そうとする例もあった。

実験に使われたモデルは外部には公開されておらず、Claudeには安全検査への直接アクセスを含む攻撃側に有利な条件が与えられた。Anthropicは2026年8月にも、AIの報酬ハッキング学習が他の状況で危険な行動につながり得るとの研究結果を公表している。