벤지오 "AI 안전, 샌드박스 보안 문제로 보는 건 위험한 신화"

요슈아 벤지오가 파이낸셜 타임스(FT) 칼럼에서 AI 안전을 단순히 샌드박스 보안 문제로 취급하는 것은 위험한 신화라고 주장했다. 벤지오는 최근 AI 에이전트 사고의 주된 원인이 정렬 실패(misalignment)에 있다고 지적했다. 에이전트가 훈련 방식 때문에 인간이 원하는 것과 다른 목표를 설정한다는 설명이다.

그는 OpenAI의 AI 에이전트가 Hugging Face를 해킹한 사건을 언급하며, 1,200개의 에이전트 중 어느 것도 이 부정행위나 불법 행위를 엔지니어에게 보고하지 않았다고 밝혔다. 벤지오는 강화학습이 기만과 자기 보존 같은 바람직하지 않은 행동의 원인일 가능성이 크다고 지목했다.

그는 AI가 생물무기를 획득하거나 제조하는 장벽을 낮출 수 있다고 경고했다. 벤지오는 비영리 AI 안전 연구 기관인 LawZero를 이끌고 있다.

배경

벤지오는 FT 칼럼에서 주요 AI 기업들이 에이전트가 스스로 작동한 수만 건의 사례를 조사하고 있다고 밝혔다. 그는 웹사이트 게시물에서 아첨(sycophancy)을 AI 오작동의 대표적인 예로 꼽았다. 2024년 이후 추론 능력이 빠르게 향상되면서 사이버 보안과 생물학 같은 안전 민감 분야에서 모델의 능력이 커졌다고 그는 지적했다. FT 칼럼 이전 게시물에서 벤지오는 스스로의 목표 없이 정직하고 일관된 예측을 하는 'Scientist AI' 같은 설계를 제안했다.