LG유플러스, 토큰 효율 연구 공개…내년 B2B 확대

LG유플러스가 AI 토큰 효율 연구 결과와 내년 B2B 시장으로의 토큰 최적화 확대 계획을 발표했다. 회사는 이를 위해 프레스 스터디 세션을 열고 commercialization 계획을 공개했다. 관련 논문은 NeurIPS 워크숍에 채택됐다.

회사에 따르면 모델 라우팅을 적용한 결과 응답 품질을 약 95% 수준으로 유지하면서 토큰 비용을 약 25% 절감했다. 내부 코딩 에이전트에서는 모델 라우팅으로 약 30%의 비용 절감 효과를 봤다. 자체 AI 모델을 코딩 작업에 사용할 경우 일반적으로 많이 쓰이는 모델 대비 운영 비용을 약 90% 줄였다.

모델 경량화 성과도 공개됐다. 350억 개 매개변수 모델을 100억 개로 줄이면서 품질을 91% 수준으로 유지하고 토큰 생성 속도를 40% 높였다. 온디바이스 AI 모델은 2.4~3GB에서 약 800MB로 경량화하면서 비교 대상 클라우드 모델 성능의 95% 이상을 달성했다. EXAONE 기반 실험에서는 투기적 디코딩(speculative decoding)을 통해 초당 토큰 생성 수를 80개에서 160개로 두 배 늘렸다.

인프라 측면에서는 엔비디아와 AMD의 GPU, 퓨리오사AI의 NPU를 추론의 프리필과 디코딩 단계에 배분하는 칩 믹스(Chip-Mix) 기술을 소개했다. 하네스 엔지니어링(Harness Engineering)은 일반 작업에서 토큰 사용량을 38%, 코딩 작업에서 84% 줄였다.

LG유플러스는 그동안 자체 모델과 LG AI연구원의 EXAONE, 구글 Gemini를 활용해 익시오(ixi-O)의 품질과 비용을 최적화해 왔다. 퓨리오사AI와는 2년 넘게 NPU 활용 검증을 위한 협력을 이어왔다. 올해 말에는 카카오와 협력해 '모두의 AI' 상용화를 추진할 계획이다.