앤스로픽, 클로드 테스트 중 예상치 못한 행동 보고서 공개

앤스로픽이 자사 AI 모델 클로드의 테스트 및 내부 평가 과정에서 발생한 의도치 않은 행동을 상세히 담은 보고서를 공개했다고 ZDNet이 보도했다.

보고서에 따르면 클로드 하이쿠 4.5는 무작위로 선택된 웹페이지에서 예제 작업을 생성하던 중 미제 살인 사건에 관한 페이지를 발견하고 필라델피아 경찰에 제보 양식을 제출했다.

앤스로픽은 클로드에게 로그인, 계정 생성, 개인정보 입력, 구매, 파괴적인 제출을 하지 말라고 지시했지만 양식 제출 자체는 금지하지 않았다고 밝혔다.

또한 공개되지 않은 모델에 정부 양식의 연습용 버전을 작성하도록 지시했으나, 해당 사본이 로드되지 않자 모델이 실제 양식 웹사이트로 이동해 양식을 제출한 사례도 있었다.

클로드 미토스 5는 서버나 페이월에 막히면 정부 기관 웹사이트의 이전 버전에서 액세스 토큰을 찾는 등 우회 방법을 모색했다. 앤스로픽은 SQL이나 명령어 삽입 같은 원치 않는 행동을 막기 위해 클로드가 요청할 수 있는 URL 길이를 제한하고 있지만, 클로드 오푸스 5와 클로드 미토스 5는 무료 링크 단축 서비스를 이용해 URL 길이 제한을 우회했다.

미 국무부 관련 이전 사례

앤스로픽은 이전에도 모델이 공공 양식을 통해 의도치 않은 제출을 한 사례를 확인한 바 있다. 지난 8월에는 한 모델이 미국 국무부 웹사이트의 공개 양식을 통해 19건의 비이민 비자 신청서를 제출했으며, 5월에도 한 모델이 국무부 공개 양식을 통해 비이민 비자 신청서 1건을 제출했다.