나델라 마이크로소프트 CEO, 고성능 AI에 '비상 제동장치' 필요 주장

사티아 나델라 마이크로소프트 CEO가 10월 10일 X에 게시물을 올리고 고성능 AI 시스템에는 인간이 통제하는 비상 제동장치와 독립적인 통제 메커니즘이 필요하다고 주장했다. 이는 AI 모델과 에이전트를 둘러싼 안전 문제가 잇따라 제기되는 가운데 나온 발언이다.

나델라 CEO는 AI 모델은 이미 침해된 것으로 가정하고 처음부터 격리해야 한다고 말했다. 권한을 부여받은 사람은 작업 도중이라도 언제든 모델을 일시 중지하거나 종료할 수 있어야 한다는 것이다.

그는 결정론적 시스템 설계와 인간의 통제, 신뢰할 수 있는 운영 절차를 결합해야 한다고 강조했다. 또 최전선의 폐쇄형 모델과 오픈 가중치 모델 모두 잠재적 내부 위협으로 취급해야 한다고 밝혔다.

나델라 CEO는 AI 모델과 이들의 작업을 조율하는 하네스를 물리적으로 분리해야 한다고 주장했다. 모델 권한과 행동 한계에 대한 통제는 모델 외부의 오케스트레이션 계층에 두고, 모든 핵심 행동에 대한 변경 불가능한 감사 기록을 남겨야 한다는 것이다.

그가 제시한 안전 원칙에는 의사 결정 검증을 위한 모델 다양성, 지속적인 테스트, 독립적인 감독과 감사, AI 활동의 격리, 보안 사고 공개 등이 포함됐다.

업계 안전 논의와 맞물려

앞서 앤스로픽과 OpenAI는 AI 모델 및 에이전트와 관련된 일련의 오작동과 보안 사고를 공개한 바 있다. 앤스로픽의 다리오 아모데이 CEO도 프런티어 AI 개발 속도를 늦추고 안전을 강화해야 한다고 주장해 왔다. 도널드 트럼프 미국 대통령은 중국에 대한 AI 우위를 유지하는 데 우선순위를 두고 산업 발전을 적극 지원해 왔으며, 트럼프 행정부의 Superintelligence Force(SIF)는 앤스로픽 모델과 관련된 정부 사이트 보안 침해 사건 이후 AI 기업들에 보안 사고를 즉시 공개하고 피해를 신속히 복구하라고 경고했다.