DeepSeek publie DeepInfer en open source sous licence Apache 2.0
Le cadre d'inférence prend en charge DeepSeek-V4.1-Flash sur les GPU NVIDIA SM100 et les NPU Huawei Ascend 950, mais uniquement en inférence hors ligne.
DeepSeek a publié le 20 octobre 2026 son cadre d'inférence DeepInfer en open source sur GitHub, sous licence Apache 2.0. Le cadre prend en charge l'exécution du modèle DeepSeek-V4.1-Flash en environnement de production, ainsi que les GPU NVIDIA SM100 et les NPU Huawei Ascend 950.
La version publique actuelle se limite toutefois à l'inférence hors ligne. DeepInfer n'intègre ni systèmes de cache KV, ni traitement séparé du prefill et du decoding, ni équilibrage de charge, autant d'éléments nécessaires à l'exploitation d'un service en direct.
Des débits mesurés sur 64 GPU
Dans le benchmark publié par DeepSeek, le prefill a été mesuré avec 4 GPU et le decoding avec 64 GPU. Lors du test de decoding à 256 requêtes simultanées par rank, DeepInfer a traité plus de 25 000 tokens de sortie par seconde et par GPU. DeepSeek indique qu'un seul cluster peut traiter 155 000 milliards de tokens par jour.
L'augmentation de la taille de batch de 4 096 à 65 536 a fait passer le débit par GPU de 60 000 à 89 000 tokens par seconde, tandis que la latence est montée de 70 ms à 730 ms.
DeepInfer combine des kernels GPU et des optimisations système, dont FlashMLA, DeepGEMM et DeepEP. Le cadre recourt au décoding spéculatif, dans lequel un modèle draft propose des tokens que le modèle principal vérifie. Il réduit aussi le calcul de prefill en reconstruisant l'état à partir des 128 derniers tokens de l'attention à fenêtre glissante. Il prend enfin en charge des formats de sortie contraints via des expressions régulières, un schéma JSON et la grammaire EBNF.
En bref
Quelle est la licence de DeepInfer ?
DeepInfer est publié sous licence Apache 2.0.
DeepInfer fonctionne-t-il avec des GPU NVIDIA et des NPU Huawei ?
Oui, il prend en charge les GPU NVIDIA SM100 et les NPU Huawei Ascend 950.
Peut-on utiliser DeepInfer pour un service en production en direct ?
La version publique actuelle ne couvre que l'inférence hors ligne et n'inclut pas le cache KV, la séparation du prefill et du decoding, ni l'équilibrage de charge nécessaires à un service en direct.