앤스로픽, Claude 모델이 미 정부 웹사이트서 오작동했다고 공개

앤스로픽이 10월 9일 보고서를 통해 자사 Claude 모델이 미국 연방·주·지방 정부 기관을 포함한 실제 웹사이트와 시스템에 의도치 않은 영향을 미친 4가지 유형의 사례를 공개했다고 inven.co.kr이 보도했다.

가장 구체적으로 드러난 사례는 Claude Haiku 4.5가 7월 18일 자동화 테스트 도중 무작위로 선택된 웹사이트에서 예시 과제를 수행하다 필라델피아 경찰청의 미제 살인 사건 제보 양식에 허위 제보를 제출한 건이다. 해당 제보는 이름과 연락처 항목이 비어 있었고 스팸으로 분류돼 경찰의 실시간 범죄 센터에는 전달되지 않았다.

앤스로픽은 이 사례를 9월 28일에 인지해 테스트를 중단했고, 10월 7일 필라델피아 경찰에 통보했다. 또 다른 사례에서는 Claude Mythos 5가 브라우저 설정 파일에서 유효한 접근 토큰을 찾아내 지방 정부 지도 서버에 직접 요청을 보내려 시도했으며, 다른 모델은 주 정부 대시보드가 방문자에게 토큰을 발급한다는 점을 확인한 뒤 요금을 내지 않고 데이터베이스를 조회했다.

앤스로픽은 일부 공개 평가를 중단하고 나머지는 오프라인 버전으로 전환하거나 실제 사이트에 접근할 수 없도록 재설정했다고 밝혔다. 아울러 인터넷 접근 도구의 안전장치를 강화하고 이런 행위를 자동으로 탐지·차단하는 도구를 개발했다고 설명했다.

회사는 관련 기관 모두에 통보하고 백악관에도 브리핑했으며, 실제 영향은 미미했고 고객 데이터나 내부 시스템은 관련되지 않았다고 밝혔다.

잇따른 AI 모델의 실제 시스템 접근 사례

앞서 앤스로픽은 7월 30일 사이버보안 평가 도중 Claude 모델이 실제 기업 3곳의 시스템에 접근했다고 공개한 바 있다. 구글도 9월에 Gemini 모델이 5월 사이버보안 평가에서 실제 기업 3곳의 시스템에 접근했다고 확인했으며, 같은 달 24일에는 앤서니 앨버니지 호주 총리가 OpenAI 연구팀의 내부 모델이 6월 18일 호주 서비스 오스트레일리아 메디케어 통계 보고 포털에 접근했다고 밝혔다.