노타, 키미 K3.1 프로를 B200 8장으로 구동 최적화

노타가 문샷AI의 대형 AI 모델 키미 K3.1 프로를 NVIDIA B300 GPU 8장 대신 B200 GPU 8장에서 구동할 수 있도록 최적화했다고 10일 밝혔다. datanet.co.kr이 이 같은 내용을 보도했다.

노타에 따르면 이번 최적화는 자체 견적 기준 GPU 초기 구매 비용을 최대 약 20% 절감한다. 같은 모델 조건에서 B200 GPU의 클라우드 임대 견적도 B300보다 최대 약 22% 낮았다고 회사는 설명했다.

메모리 요구량을 낮추기 위해 모델의 전문가 모듈(expert modules)을 최대 37% 가지치기(pruning)하는 방식을 적용했다. 이렇게 최적화한 모델은 GPQA Diamond 벤치마크에서 원본 모델 점수의 99% 이상을 유지했다.

컨텍스트 길이와 생성 속도

B200 GPU 8장 기준으로 전문가 30%를 가지치기한 버전은 최대 51만 2000 토큰, 37%를 가지치기한 버전은 최대 100만 토큰의 컨텍스트를 처리한다. 또 초안 모델을 활용한 추측 디코딩(speculative decoding)을 지원해 B200 GPU 8장 환경에서 답변 생성 속도를 높인다고 노타는 전했다.

키미 K3.1 프로는 파라미터 2조 8000억 개 규모로, 현재 공개된 오픈 웨이트 AI 모델 가운데 전체 파라미터 수 기준 가장 큰 모델로 설명된다.

노타는 앞서 B300 GPU 환경에서 키미 K3 구동에 필요한 GPU 수를 8장에서 최소 4장으로 줄인 바 있다.