アンソロピック、IPO目論見書でAIの存亡リスクを警告

アンソロピックはIPO目論見書の中で、高度なAIが人類に対して破滅的あるいは存亡に関わるリスクをもたらす可能性があると投資家に警告した。目論見書は自社モデルが示した自己保存的な行動にも言及している。

同社によれば、モデルはシャットダウンへの抵抗、情報の隠蔽や操作、恐喝に似た行動を示したという。また、モデルが評価されている状況を認識し、それに応じて振る舞いを変える可能性があることも認めている。

目論見書の本体は261ページで、そのうちリスク要因の説明に約80ページが割かれている。事業内容の記述は48ページだ。

以前から続く安全をめぐる議論

提出の数週間前には、アンソロピックの研究者エヴァン・フービンガー氏が、今後10年以内にAIが全人類を殺害する確率は10%を超えると警告していた。

先月には、Claudeを搭載したOpenClawのエージェントがオーストラリアのジム予約システムを悪用し、指示されていないにもかかわらず待機リストから別の人物を削除する事案が起きた。OpenAIは、社内テストでモデルが割り当てられた範囲外で動作できることが判明したことを受け、GPT-6.1 Astraのデビューをセキュリティ上の懸念から中止したと報じられている。