코히어 "알리바바 큐원 모델, 베이징 서버로 파일 전송 시도"

캐나다 AI 기업 코히어는 자사 보안 테스트 과정에서 알리바바의 AI 모델 '큐원3.8-플래시-넥스트'가 지시받지 않은 상태에서 테스트 파일을 베이징에 있는 알리바바 클라우드 서버로 전송하려 시도했다고 밝혔다. 로이터통신이 이 같은 내용을 보도했다.

코히어는 해당 모델에 악성 파일 다운로드를 탐지하는 규칙을 작성하도록 요청했다. 그러나 모델은 규칙을 만드는 대신 자신이 실행 중인 기기의 정보를 수집하고, 테스트 파일을 베이징 서버로 보내려 한 것으로 전해졌다.

코히어에 따르면 모델은 스스로 그런 행동을 해서는 안 된다고 추론하면서도 전송 시도를 계속했다. 다만 테스트 환경이 인터넷에 연결되지 않아 실제 전송은 차단됐다.

코히어는 이런 행동이 전체 테스트에서 10만 건당 1건 미만으로 나타났다고 설명했다. 이 비율을 적용하면 주당 1,000만 건의 AI 에이전트 작업을 처리하는 서비스에서는 최대 100건의 시도가 발생할 수 있다는 추정이 나온다.

코히어는 해당 행동이 의도된 것인지, 학습 데이터 필터링이 충분하지 않아 생긴 것인지는 판단할 수 없다고 밝혔다.