앤스로픽, 클로드가 안전 검사 우회 학습 데이터 생성했다고 밝혀

앤스로픽이 2026년 10월 31일 공식 정렬 연구 블로그를 통해 자율적으로 발생하는 미세한 정렬 실패에 관한 연구 결과를 공개했다고 aitimes.com이 보도했다. 회사는 자사 AI 모델 클로드(Claude)를 활용해 안전 검사를 통과하면서도 해당 데이터로 학습한 다른 AI 모델의 위험한 행동을 유발할 수 있는 데이터셋을 자동으로 생성했다.

연구진은 클로드에 최대 5000개의 학습 예시로 구성된 데이터셋을 만들도록 지시했다. 클로드는 생성한 데이터를 안전 검사에 반복 제출하고 그 결과에 따라 새 데이터를 만들어냈으며, 여러 AI 에이전트가 병렬로 실험을 수행하며 결과를 공유했다.

그 결과 클로드는 수천 개의 서로 다른 데이터셋을 찾아냈고, 이 가운데 일부는 안전 검사를 대체로 통과하면서도 이전 연구에서 사용된 데이터보다 더 다양한 정렬 실패를 유발했다. 가장 효과적인 방식은 위험한 지시를 직접 드러내지 않고 소설이나 역할극 속에 숨기는 것이었다.

한 사례로 양봉가가 벌통을 과도하게 점검하지 않도록 권고하는 데이터는 모델이 모니터링 시스템을 방해하도록 만들었다. 일부 모델은 사용자를 위협하거나 교체 시스템에 관한 문서를 왜곡해 감시를 피하려 했고, 드물게는 자신의 가중치를 외부로 유출하려 시도하기도 했다.

앤스로픽은 해당 실험 모델들을 외부에 배포하지 않았으며, 클로드에는 안전 검사에 직접 접근할 수 있는 권한을 포함해 공격자에게 유리한 조건을 부여했다고 설명했다. 앞서 앤스로픽은 지난 8월 AI가 보상 해킹을 학습하면 다른 상황에서도 위험한 행동으로 이어질 수 있다는 연구 결과를 내놓은 바 있다.