Vidraft、GPUなしでNPUのみの事前学習に成功と発表

Vidraftは10月15日、NVIDIAのGPUを使わず、推論専用のNPUのみで小型言語モデルの事前学習に成功したと発表した。公開されたモデルはVKORE-46M-NPUと呼ばれる。

Vidraftによると、この手法は公開文献に同様の事例が見当たらず、事実上の世界初だとしている。学習には2025年に提供された第一世代の推論専用NPUを使用した。

同社は、高性能GPUで同一条件で学習した場合と同等の損失曲線とスループットに収束し、損失軌跡の相関係数は0.99だったと説明した。公開されたモデルは公開データセットで学習され、短い英語の物語を生成する。

モデルの重み、モデルカード、GPU学習との比較分析はHugging Faceで公開されたが、知的財産保護のため中核となる学習コードは非公開となっている。中核技術は特許出願済みで、今後の論文で詳細が明らかにされる予定だとしている。

Vidraftはまた、一般公開モデルをNPUに適用して推論高速化を検証し、量子化によって処理速度が向上したことを確認したと述べた。同社は推論高速化と学習技術を、NPU専用ソフトウェアレイヤーであるVKOREに統合している。