纳德拉呼吁为高性能AI系统设置人工紧急制动

微软CEO萨提亚·纳德拉于10月10日在X发布帖文，呼吁为高性能AI系统配备由人类掌控的紧急制动和独立控制机制。据aitimes.com报道，他在帖文中提出，AI模型应默认被视为已被入侵，并从一开始就与外部环境隔离。

纳德拉表示，获得授权的人员必须能够随时暂停或终止模型，即使模型正在执行任务的过程中也不例外。他还主张将确定性系统设计、人类控制与可靠的运维流程结合起来，以形成完整的安全框架。

在具体机制上，纳德拉指出，前沿闭源模型与开放权重模型都应被视为潜在的内部威胁，AI模型及其用于编排工作的外围harness必须在物理上分离。模型的权限与行动边界应由模型外部的编排层掌控，并对所有关键操作保留不可篡改的审计记录。

安全原则与背景

他列出的安全原则包括：以模型多样性交叉验证决策、持续测试、独立监督与审计、隔离AI活动，以及披露安全事件。

此前，Anthropic和OpenAI曾披露一系列涉及AI模型与智能体的故障和安全事件。Anthropic CEO达里奥·阿莫代伊也曾主张放缓前沿AI的发展速度并加强安全。美国总统唐纳德·特朗普则将维持对中国的AI优势列为优先事项，并积极支持产业发展；其政府的Superintelligence Force（SIF）在一次涉及Anthropic模型的政府网站安全事件后，警告AI公司须立即披露安全事件并迅速修复损害。