LG Uplus dévoile des gains d'efficacité sur les tokens de ses modèles IA
Un routage de modèles a maintenu la qualité des réponses à environ 95 % tout en réduisant les coûts de tokens d'environ 25 %, selon LG Uplus.
LG Uplus a présenté les résultats de ses recherches sur l'efficacité des tokens dans l'IA et ses projets de commercialisation, lors d'une session d'étude organisée pour la presse. L'opérateur télécoms prévoit d'étendre l'optimisation des tokens au marché B2B à partir de l'année prochaine, selon digitaltoday.co.kr.
Un article lié à ces travaux a été accepté dans un atelier de NeurIPS. L'entreprise indique qu'un routage de modèles a maintenu la qualité des réponses à environ 95 % tout en réduisant les coûts de tokens d'environ 25 %. Dans un agent de codage interne, ce même routage a généré environ 30 % d'économies.
L'usage de son propre modèle d'IA pour le travail de codage a réduit les coûts d'exploitation d'environ 90 % par rapport à un modèle couramment utilisé. La réduction d'un modèle de 35 milliards de paramètres à 10 milliards a conservé 91 % de la qualité et augmenté la vitesse de génération de tokens de 40 %.
Un modèle embarqué a été allégé de 2,4 à 3 Go à environ 800 Mo, tout en atteignant plus de 95 % des performances d'un modèle cloud utilisé comme référence. Lors d'une expérience basée sur EXAONE, le décodage spéculatif a doublé la génération de tokens, de 80 à 160 tokens par seconde. La technologie Chip-Mix répartit les GPU de Nvidia et AMD et les NPU de FuriosaAI entre les phases de prefill et de décodage de l'inférence.
Selon l'entreprise, le Harness Engineering a réduit la consommation de tokens de 38 % pour les tâches générales et de 84 % pour les tâches de codage. LG Uplus travaille depuis plus de deux ans avec FuriosaAI pour valider l'usage des NPU, et optimise la qualité et les coûts dans ixi-O avec ses propres modèles, EXAONE de LG AI Research et Google Gemini. L'opérateur prévoit par ailleurs de commercialiser « Modu's AI » avec Kakao à la fin de cette année.
En bref
Quels gains LG Uplus annonce-t-il sur les coûts de tokens ?
Environ 25 % via le routage de modèles, environ 30 % dans un agent de codage interne et environ 90 % de coûts d'exploitation en moins grâce à son propre modèle pour le codage.
Quand l'optimisation des tokens arrivera-t-elle sur le marché B2B ?
LG Uplus prévoit de l'étendre au marché B2B à partir de l'année prochaine.
Qu'est-ce que la technologie Chip-Mix ?
Un dispositif qui alloue les GPU de Nvidia et AMD ainsi que les NPU de FuriosaAI aux phases de prefill et de décodage de l'inférence.