비드래프트, 추론 전용 NPU만으로 소형 언어모델 사전학습 성공

비드래프트가 10월 15일 엔비디아 GPU 없이 추론 전용 NPU만으로 소형 언어모델을 사전학습하는 데 성공했다고 발표했다. 공개된 모델 이름은 VKORE-46M-NPU다.

비드래프트는 같은 방식이 공개 문헌에서 확인된 사례를 찾지 못했다며 사실상 세계 최초라고 밝혔다. 이번 학습은 2025년에 출시된 1세대 추론 전용 NPU에서 진행됐다.

회사에 따르면 동일한 조건에서 고성능 GPU로 같은 모델을 학습시킨 결과 손실 곡선과 처리량이 동등한 수준으로 수렴했으며, 손실 궤적 상관계수는 0.99로 나타났다.

공개된 모델은 공개 데이터셋으로 학습됐으며 짧은 영어 이야기를 생성한다. 모델 가중치와 모델 카드, GPU 학습 비교 분석은 공개됐지만 핵심 학습 코드는 지식재산 보호를 위해 공개되지 않았다. 핵심 학습 기법은 특허를 출원했으며 향후 논문에서 자세히 다룰 예정이다.

비드래프트는 일반 공개 모델을 NPU에 적용해 추론 가속도 검증했으며, 양자화가 처리 속도를 향상시키는 것을 확인했다고 밝혔다. 회사는 추론 가속과 학습 기술을 NPU 전용 소프트웨어 레이어인 VKORE에 통합하고 있다. 이 소식은 aitimes.com이 보도했다.