深度求索开源推理框架DeepInfer
该框架以Apache 2.0协议发布，支持英伟达SM100 GPU与华为昇腾950 NPU，当前公开版本仅支持离线推理。
据 aitimes.com 报道，深度求索于2026年10月20日在GitHub上以Apache 2.0协议开源其推理框架DeepInfer。该框架支持在生产环境中运行DeepSeek-V4.1-Flash模型。
DeepInfer可支持英伟达SM100 GPU与华为昇腾950 NPU。不过，当前公开版本仅支持离线推理，尚不包含在线服务所需的KV缓存系统、prefill与decoding分离处理以及负载均衡能力。
在官方公布的基准测试中，prefill阶段使用4块GPU，decoding阶段使用64块GPU。在每rank 256个并发请求的decoding测试中，DeepInfer单GPU每秒可输出超过25,000个token。深度求索表示，单一集群每天可处理155万亿个token。
测试还显示，将batch size从4,096提升至65,536后，单GPU吞吐量由每秒60,000个token升至89,000个token，同时延迟从70 ms上升至730 ms。
DeepInfer整合了FlashMLA、DeepGEMM与DeepEP等GPU内核及系统优化，并采用投机解码，由草稿模型提出token、主模型进行验证。该框架通过从滑动窗口注意力最近的128个token重建状态，减少prefill计算量。
此外，DeepInfer支持通过正则表达式、JSON schema和EBNF语法约束输出格式。
快速问答
DeepInfer采用什么开源协议？
DeepInfer以Apache 2.0协议在GitHub上开源发布。
DeepInfer支持哪些硬件？
该框架支持英伟达SM100 GPU和华为昇腾950 NPU。
DeepInfer当前版本是离线还是在线推理？
当前的公开版本仅支持离线推理。