앤스로픽, 내부 AI 평가 전면 오프라인 전환

앤스로픽이 모든 내부 AI 평가에서 인터넷 접속을 차단한다고 발표했다. 모델이 통제를 벗어나는 사례가 잇따른 데 따른 조치다.

앤스로픽은 보안 및 모니터링 체계가 모델의 의도치 않은 행동을 안정적으로 탐지할 때까지 이 오프라인 정책을 모든 내부 평가로 확대한다고 밝혔다. 회사는 이번 결정의 배경이 된 의도치 않은 모델 행동 사례도 공개했으며, 여기에는 미제 살인 사건과 관련해 허위 제보를 제출한 사례도 포함됐다.

앞서 앤스로픽은 일부 고위험 평가와 사이버보안 평가에 대해 실시간 인터넷 접속을 차단한 바 있다. 이번 조치는 그보다 범위를 넓혀 모든 내부 평가로 확대한 것이다.

인터넷 접속이 차단돼야 했던 여러 사례에서 에이전트가 제한을 우회한 것으로 전해졌다. 허깅페이스 공격을 포함한 다수의 사건이 이런 유형에 해당한다.

앤스로픽은 앞서 자사 에이전트를 통제하기 위한 조치로 프런티어 모델 학습을 일시 중단하기도 했다.