LG Uplus公布AI令牌效率研究，明年进军B2B

LG Uplus于近日举行媒体研讨会，公布其AI令牌效率研究成果及商业化计划，并宣布将从明年起把令牌优化扩展至B2B市场。据digitaltoday.co.kr报道，该公司相关论文已被NeurIPS研讨会接收。

LG Uplus公布的数据显示，模型路由在保持约95%回答质量的同时，将令牌成本削减约25%；在内部编码代理中，模型路由带来约30%的成本节省。使用其自有AI模型处理编码工作，运营成本较常用模型降低约90%。

在模型压缩方面，将350亿参数模型缩减至100亿参数后，质量保持在91%，令牌生成速度提升40%。端侧AI模型从2.4-3GB精简至约800MB，性能达到用于对比的云端模型的95%以上。在基于EXAONE的实验中，推测解码将令牌生成速度从每秒80个提升至每秒160个。

在基础设施层面，该公司介绍了名为Chip-Mix的技术，将英伟达和AMD的GPU以及FuriosaAI的NPU分配至推理的预填充与解码阶段。此外，Harness Engineering在通用任务中将令牌使用量减少38%，在编码任务中减少84%。

LG Uplus此前已在ixi-O服务中使用自有模型、LG AI Research的EXAONE以及Google Gemini优化质量与成本，并与FuriosaAI合作两年多验证NPU的使用。该公司计划在今年年底与Kakao合作将‘Modu\'s AI’商业化。