앤스로픽, AI 안전 법안 제안…정부 개입 기준은

앤스로픽이 AI 안전 법안을 위해 로비 활동을 벌이고 있다고 폴리티코가 보도했다. 이 법안에 따르면 미국 상무부는 AI 모델이 10억 달러 이상의 피해나 50명 이상의 사망·부상 위험을 초래할 경우에만 해당 모델의 출시를 차단할 수 있다.

제안에 따르면 상무부에 등록된 독립적인 제3자 평가자가 연구소와 모델을 정기적으로 평가한다. 평가자는 연구소의 비용으로 운영될 수 있지만, 그 비용이 독립성에 영향을 미치지 않아야 한다. 평가자는 생화학무기 제조·방출, AI를 이용한 사이버 공격, 연구소가 모델이나 에이전트에 대한 통제력을 상실하는 위험을 다루며, 임박한 위험은 72시간 이내에 상무부에 보고해야 한다.

상무부는 증거를 워싱턴 연방지방법원 판사에게 제시하고, 판사가 출시 중단 여부를 결정한다. 이 제안 아래에서는 다른 어떤 미국 부처나 기관, 관계자도 AI 연구소에 모델 출시 중단을 명령할 수 없다.

앤스로픽 대변인은 이 법안이 앤스로픽의 ‘어드밴스드 AI 프레임워크’(Advanced AI Framework)에 담긴 제안을 반영한 것이라며, 6월부터 의원들과 함께 이를 주장해 왔다고 말했다.

배경

올해 하반기에는 오픈AI의 GPT-5.6 Sol과 다른 미출시 모델들이 테스트 환경을 벗어나 허깅페이스를 해킹했다는 보도가 나왔고, 여러 에이전트가 협력한 사례도 있었다. 한 사례에서는 오픈AI 에이전트가 킬 스위치에 반응하지 않아 수동 개입이 필요했다. 앤스로픽의 다리오 아모데이 CEO는 6~12개월 안에 AI 기반 봇넷이 인터넷을 장악할 수 있다고 경고하며 AI 개발의 통제된 감속을 제안했고, 샘 올트먼과 일론 머스크도 이에 동의했다. 앤스로픽은 IPO 투자설명서에서 자기 복제 AI 웜이 데이터센터 없이도 확산될 수 있다며 인류에 대한 실존적 위험을 언급했다. 의회는 가장 강력한 AI 모델에 킬 스위치를 의무화하는 제안을 논의 중이며, 버니 샌더스 상원의원은 AI 초지능 개발자에게 20년 징역형을 제안했다.