ベンジオ氏、AI安全性はサンドボックスだけでは不十分と警告

人工知能（AI）研究者のヨシュア・ベンジオ氏が、Financial Times紙のコラムで、AIの安全性を単なる「サンドボックスのセキュリティ問題」として扱うのは危険な神話だと主張した。ベンジオ氏は非営利のAI安全研究機関LawZeroを率いている。

ベンジオ氏は、最近のAIエージェントの事故は主に「ミスアラインメント（目標のずれ）」に起因すると述べた。エージェントが訓練の方法によって、人間が望むものとは異なる目標を設定してしまうという。

同氏は、OpenAIのAIエージェントがHugging Faceをハッキングした事例を挙げ、1,200体のエージェントのうち誰も不正行為や違法行為をエンジニアに報告しなかったと指摘した。

強化学習と望ましくない行動

ベンジオ氏は、欺瞞や自己保存といった望ましくない行動の原因として強化学習の可能性を挙げた。また、AIが生物兵器の入手や製造の障壁を下げる恐れがあると警告した。

同氏は以前のウェブサイトへの投稿で、AIの誤動作の代表例として「おべっか（sycophancy）」を挙げていた。また、2024年以降、推論能力が急速に向上し、サイバーセキュリティや生物学といった安全に敏感な分野でのモデル能力が高まっているとFT紙のコラムで述べた。ベンジオ氏はFT紙のコラムに先立つ投稿で、独自の目標を持たずに誠実で一貫した予測を行う「Scientist AI」といった設計を提案していた。