Liquid AI推出RIPL实时推理引擎，延迟低于50毫秒

Liquid AI于2026年10月22日发布RIPL（Real-time Inference Pipeline），这是一款面向企业客户的实时推理引擎。据aitimes.com报道，RIPL将Liquid AI自有的Liquid Foundation Model（LFM）系列基础模型直接接入请求路径，设计目标是将端到端延迟降至50毫秒以下。

RIPL是商业产品，并非开源，定价需通过Liquid AI销售团队获取。该引擎针对短输出工作负载，例如搜索查询重写、意图分类和欺诈检测，而非长篇幅的聊天机器人回答。

在Liquid AI自行进行的基准测试中，运行于RIPL的LFM2.5-1.2B模型p95延迟比运行于vLLM的Qwen3.5-0.8B低14.4至28.4倍；LFM2.5-2.6B在RIPL上的p95延迟则比vLLM上的Qwen3.5-2B低5.6至7.7倍。

电商平台Shopify已将LFM用于商业任务，在实时生产流量中针对搜索改进实现了低于20毫秒的推理时间。RIPL支持英伟达H100、H200和B200 GPU以及RTX PRO 6000 GPU，LFM2.5系列模型的参数量从2.3亿到26亿不等。

背景

此前，由于大语言模型的响应延迟，企业实时任务主要采用梯度提升树和小型嵌入模型等快速经典机器学习方法。