앤스로픽, IPO 수정신고서에 '재귀적 자기개선' 위험 명시

앤스로픽이 미국 증권거래위원회(SEC)에 제출한 기업공개(IPO)용 S-1/A 수정신고서에 재귀적 자기개선(RSI)과 AI 주도 연구개발(R&D) 가속에 관한 위험 문구를 새로 담았다고 테크크런치가 보도했다.

앤스로픽은 신고서에서 모델 성능이 회사가 안전성·정렬·보안 조치를 개발하고 검증하는 속도보다 빠르게 향상될 수 있다고 밝혔다. 또 과거에도 개발 속도의 큰 가속을 사후에야 인지한 사례가 있었으며 같은 일이 다시 발생할 수 있다고 인정했다.

회사는 내부 추정과 향후 모델 전망을 볼 때 AI 주도 개발 가속의 기준선에 곧 도달할 수 있다고 설명하면서도, 아직 그 기준을 넘은 것으로 판정된 모델은 없다고 덧붙였다. 앤스로픽의 '책임 있는 확장 정책'(Responsible Scaling Policy)은 이 기준을 자동화된 AI R&D를 주된 원인으로 전체 역량 발전 속도가 기존 예상과 과거 최고 기록보다 2배 이상 빨라지는 것으로 규정한다.

인간 통제 강화 검토

앤스로픽은 후속 모델 개발의 핵심 결정에 실질적인 인간 감독과 통제를 유지하기 위해 안전 정책 개정을 검토하고 있다고 밝혔다. 클로드(Claude)는 소프트웨어 작성과 모델 학습 코드 최적화, 연구 실험 등에 활용돼 왔다.

한편 앤스로픽은 지난 10월 26일 최초 신고서에서도 RSI의 가능성과 위험을 언급했으며, 9월에는 내부 코드베이스에 기여된 코드의 90% 이상을 클로드가 작성했다고 신고서에 기재했다. 지난 8월에는 자체 AI 반도체 설계팀 구성 계획을 발표했고, 디 인포메이션은 11월 3일 이 15명 규모 팀이 AI 칩 엔지니어링과 설계 작업에 클로드를 활용하고 있다고 보도했다.