앤스로픽, 클로드가 스스로 답변 검토하는 '자기 평가' 공개

앤스로픽이 29일 클로드가 자신의 대화를 스스로 검토하는 안전 모니터링 기법 '자기 평가(self-assessment)'를 공개했다. 회사는 X 게시물에서 클로드가 잠재적 오용을 표시하도록 훈련했다고 밝혔다. 이 기법은 지난 6월 클로드 페이블 5가 출시된 이후 적용돼 왔으며, 전 세계 클로드 사용량의 상당 부분에 쓰이고 있다고 회사는 설명했다.

자기 평가는 답변 직후 클로드가 자신의 대화를 다시 검토하는 방식이다. 회사에 따르면 평균 약 10개의 토큰이 추가로 소요되며, 이에 따른 추가 연산 비용은 전체 추론 비용의 2% 미만이다.

실제 서비스 대화를 대상으로 한 내부 평가에서 클로드 페이블 5는 기존 분류기가 유해하다고 판단한 대화의 78%를 표시했다. 고위험 대화에 대한 탐지율은 94%였고, 해당 분류기 대비 오탐률은 1%였다. 앤스로픽은 사기와 사이버 공격처럼 훈련에서 제외된 위험 유형에도 작동한다고 밝혔다.

올해 초 탐지 사례

앤스로픽은 지난 8월 단일 API 고객 계정에서 아동 성 착취 의심 활동 10만 건 이상을 탐지해 당국에 신고했다고 전했다. 이어 9월에는 클로드 코드를 이용해 수십 명을 대상으로 로맨스 사기를 자동화한 집단을 식별하고 계정을 차단했다고 밝혔다. 회사는 이 같은 내용을 자체 게시물을 통해 알렸으며, aitimes.com이 이를 보도했다.