ナデラ氏、高度AIに緊急停止と人間の制御を提言

マイクロソフトのサティア・ナデラCEOは10月10日、Xへの投稿で、高性能なAIシステムには人間が操作できる緊急ブレーキと独立した制御機構が必要だと主張した。aitimes.comが伝えた。

ナデラ氏は、AIモデルはすでに侵害されていると想定し、最初から隔離して扱うべきだと述べた。権限を持つ担当者は、タスクの実行中であってもいつでもモデルを一時停止または終了できる必要があるとした。

同氏は、決定論的なシステム設計と人間によるコントロール、信頼できる運用手順を組み合わせることを求めた。最先端の閉源モデルとオープンウェイトモデルは、いずれも内部関係者による脅威となり得るものとして扱うべきだとしている。

モデルとその作業を統括するハーネスは物理的に分離し、モデルの権限と行動範囲を制御する権限はモデルの外側にある外部のオーケストレーション層に置くべきだと述べた。主要な操作については改ざんできない監査記録を残すことも求めた。

安全原則として、意思決定を検証するためのモデルの多様性、継続的なテスト、独立した監視と監査、AI活動の隔離、セキュリティ事故のディスクロージャーを挙げた。

背景

2026年に入り、AnthropicとOpenAIはAIモデルやエージェントに関する一連の不具合とセキュリティ事故を相次いで明らかにしている。Anthropicのダリオ・アモデイCEOは以前、最先端AIの開発ペースを落とし安全性を強化すべきだと主張した。トランプ米大統領は中国に対するAI優位の維持を優先し、業界の発展を積極的に支援してきた。トランプ政権のSuperintelligence Force（SIF）は、Anthropicのモデルが関与した政府サイトのセキュリティ侵害を受け、AI企業に対しセキュリティ事故を直ちに開示し、被害を迅速に修復するよう警告している。