리퀴드 AI, 실시간 추론 엔진 'RIPL' 출시

리퀴드 AI가 2026년 10월 22일 기업 고객을 위한 실시간 추론 엔진 'RIPL(Real-time Inference Pipeline)'을 출시했다고 aitimes가 보도했다. 회사 측은 RIPL이 자사 파운데이션 모델인 LFM을 요청 처리 경로에 직접 연결해 엔드투엔드 지연 시간을 50밀리초 미만으로 낮추도록 설계됐다고 밝혔다.

RIPL은 오픈소스가 아닌 기업 고객용 상용 제품이며, 가격은 리퀴드 AI 영업팀을 통해 안내된다. 대상은 긴 챗봇 답변이 아니라 검색어 재작성, 의도 분류, 사기 탐지처럼 출력이 짧은 작업이다.

리퀴드 AI 자체 벤치마크에 따르면 RIPL에서 구동한 LFM2.5-1.2B는 vLLM에서 구동한 Qwen3.5-0.8B보다 p95 지연 시간이 14.4~28.4배 낮았다. LFM2.5-2.6B는 같은 조건에서 Qwen3.5-2B 대비 5.6~7.7배 낮은 p95 지연 시간을 기록했다.

도입 사례도 공개됐다. Shopify는 커머스 작업에 LFM을 채택해 실제 프로덕션 트래픽에서 검색 개선을 위해 20밀리초 미만의 추론 시간을 달성했다.

RIPL은 엔비디아 H100, H200, B200 GPU와 RTX PRO 6000 GPU를 지원한다. LFM2.5 모델군은 2억3000만 개부터 26억 개 파라미터 규모까지 구성된다.

짧은 출력 작업 겨냥

한편 기업들은 그동안 대규모 언어 모델의 응답 지연 시간 때문에 실시간 작업에는 그래디언트 부스팅 트리나 소형 임베딩 모델 같은 빠른 고전적 기계학습 기법을 주로 활용해 왔다.