문샷 AI, 키미 K3.1 프로 가중치 허깅페이스에 공개

문샷 AI가 11월 4일(현지시간) 자사 모델 키미 K3.1 프로의 가중치를 허깅페이스에 공개했다. 개발자들이 자체 인프라에서 모델을 실행하고 수정할 수 있게 된 것이다. 소식은 aitimes.com이 전했다.

배포 저장소는 약 1.56TB 규모로, 가중치를 96개 파일로 나눠 담았다. 모델 구성과 입력 처리 코드도 가중치와 함께 배포된다.

키미 K3.1 프로는 전체 매개변수 2.8조 개의 전문가 혼합(MoE) 모델로, 추론 시에는 1040억 개가 활성화된다. 텍스트와 이미지를 처리하며 최대 약 100만 토큰의 문맥을 받아들인다.

구조와 배포 형식

93개 레이어 가운데 69개는 KDA를, 24개는 게이트가 적용된 DeepSeek Sparse Attention(DSA)을 사용한다. 키미 K3에서 전체 어텐션을 수행하던 게이트 방식 MLA 레이어는 DSA로 교체됐다. 가중치는 MXFP4 형식으로, 활성화 값은 MXFP8로 배포되며 학습 단계부터 양자화 인식 학습이 적용됐다. 권장 추론 엔진으로는 vLLM, SGLang, TokenSpeed가 제시됐다.

사용, 수정, 미세조정, 재배포, 상업적 이용은 문샷 AI 자체 라이선스 아래 허용된다. 다만 최근 12개월 연속 합산 매출이 2000만 달러를 넘는 모델 서비스 제공업체와 계열사는 상업적 이용 전에 별도 계약을 맺어야 한다. 월간 활성 사용자 1억 명 또는 월 매출 2000만 달러를 넘는 상업적 제품·서비스는 사용자 인터페이스에 모델명을 표시해야 한다. 내부 사용과 문샷 AI 공식 제품 또는 인증된 추론 파트너를 통한 이용은 별도 계약과 모델명 표시 조건에서 제외된다.

키미 K3.1 프로는 지난달 출시됐으며, 당시 가중치 공개 계획도 함께 발표됐다. 문샷 AI는 출시 당시 사이버보안 관련 콘텐츠를 중간 학습 데이터와 강화학습 과제에서 걸러내 제거했다고 밝힌 바 있다.