DeepSeek、推論基盤「DeepInfer」をApache 2.0で公開

DeepSeekは2026年10月20日、推論フレームワーク「DeepInfer」をApache 2.0ライセンスのもとGitHubでオープンソースとして公開した。同社のモデル「DeepSeek-V4.1-Flash」を本番環境で稼働させるための基盤で、NVIDIAのSM100 GPUとHuaweiのAscend 950 NPUに対応する。aitimes.comが報じた。

公開中のバージョンが対応するのはオフライン推論のみだ。稼働中のサービスに必要なKVキャッシュ機構やprefillとdecodingの分離処理、ロードバランシングは含まれていない。

公開ベンチマークでは、prefillを4基のGPU、decodingを64基のGPUで計測した。各rankあたり256件の同時リクエストを処理するdecoding試験では、GPU1基あたり毎秒2万5000トークン超の出力を処理した。DeepSeekによると、単一クラスターで1日あたり155兆トークンを処理できるという。

バッチサイズとレイテンシの関係

バッチサイズを4,096から65,536に増やすと、GPU1基あたりのスループットは毎秒6万トークンから8万9000トークンへ上昇し、レイテンシは70 msから730 msへ増加した。

DeepInferはGPUカーネルとシステム最適化を組み合わせている。構成要素にはFlashMLA、DeepGEMM、DeepEPが含まれる。投機的デコーディングではドラフトモデルがトークンを提案し、メインモデルがそれを検証する。prefillの計算量は、sliding window attentionの直近128トークンから状態を再構成することで削減する。正規表現やJSON schema、EBNF文法による出力形式の制約にも対応する。