AnthropicがS-1/A修正書類に自己改善リスクを追記

Anthropicは月曜に公開したS-1/A修正書類の「リスク要因」欄に、再帰的自己改善に関する警告を新たに追加した。書類は、今後のモデルに関する社内の推定と見通しから、同社が「責任あるスケーリング方針」（Responsible Scaling Policy）の定義する「AIに起因する劇的に加速した進歩」に間もなく該当する可能性があるとしている。

この記述はgizmodo.comが報じた。10月26日版の書類にはAIによる加速の速度に関する項目はあったものの、今回の新たな主張は含まれていなかった。

責任あるスケーリング方針は、前例のない水準のセキュリティを実現するため、野心的で場合によっては型破りな方法を探求することをAnthropicが約束する内容だ。方針では「すべてに目を光らせる」と呼ぶ監視状態にも触れ、バグバウンティに頼る必要がなくなるとしている。

再帰的自己改善という用語は、AI研究者が提唱した「シードAI」から発展した概念とされる。