LGユープラス、トークン最適化をB2Bへ展開 来年から

LGユープラスは、AIのトークン効率化に関する研究成果と商用化計画を発表するプレス勉強会を開催した。来年からトークン最適化をB2B市場へ拡大する計画だ。韓国のデジタルトゥデイ（digitaltoday.co.kr）が報じた。

同社によると、モデルルーティングは回答品質を約95%に維持しながら、トークンコストを約25%削減した。社内のコーディングエージェントでは約30%のコスト削減効果があった。自社AIモデルをコーディング作業に使うことで、一般的に使われるモデルと比べて運用コストを約90%削減した。

モデル軽量化の成果も示された。350億パラメータのモデルを100億パラメータに縮小しても品質は91%を維持し、トークン生成速度は40%向上した。オンデバイスAIモデルは2.4〜3GBから約800MBに slim 化され、比較対象のクラウドモデルの95%以上の性能を達成した。EXAONEベースの実験では、投機的デコーディングによりトークン生成が毎秒80から160に倍増した。

ハードウェア面では、Chip-Mix技術がNvidiaとAMDのGPU、FuriosaAIのNPUを推論のプリフィル段階とデコーディング段階に割り当てる。Harness Engineeringは一般タスクでトークン使用量を38%、コーディングタスクで84%削減した。トークン効率化に関する論文はNeurIPSのワークショップに採択された。

これまでの取り組み

LGユープラスはこれまで、自社モデルとLG AI ResearchのEXAONE、Google Geminiを使ってixi-Oの品質とコストを最適化してきた。FuriosaAIとは2年以上にわたりNPU活用の検証で協力している。今年末にはKakaoと協力して「 모두의 AI」を商用化する計画だ。