KAIST dévoile CluSTER, un affinage de LLM plus rapide de 69,6 %
La technique ne mobilise qu'environ 31 % des données et divise par plus de trois le temps d'entraînement, selon digitaltoday.co.kr.
Une équipe de recherche de la KAIST a mis au point CluSTER, une technique d'affinage des grands modèles de langage qui réduit jusqu'à 69,6 % le temps d'entraînement supplémentaire tout en préservant presque les performances du modèle, selon digitaltoday.co.kr. L'université a annoncé le développement le 2 novembre 2026.
La méthode regroupe les données produisant des effets d'entraînement similaires, puis sélectionne dans chaque groupe les données nécessaires, réparties de manière uniforme sur plusieurs GPU afin de limiter les calculs redondants.
Les chercheurs ont testé CluSTER sur trois jeux de données de programmation et de médecine, en affinant des modèles d'environ 7 et 13 milliards de paramètres, avec 8 évaluations de performance à la clé. En n'utilisant qu'environ 31 % des données complètes, ils ont presque maintenu les performances du modèle tout en réduisant le temps d'entraînement jusqu'à 69,6 %, faisant passer une tâche de 10 heures à environ 3 heures.
Les expériences ont été menées sur un environnement à 4 GPU ; les configurations à 8 GPU ont également surpassé les méthodes existantes. L'équipe est dirigée par Lee Jae-gil, professeur d'informatique à la KAIST.
Présentation à EMNLP 2026
Les résultats de la recherche ont été présentés en octobre 2026 lors d'EMNLP 2026, une conférence internationale consacrée au traitement du langage naturel.
En bref
Qu'est-ce que CluSTER ?
Une technique d'affinage des grands modèles de langage développée par une équipe de la KAIST, qui regroupe les données aux effets d'entraînement similaires pour éviter les calculs redondants.
Quel gain de temps apporte CluSTER ?
Jusqu'à 69,6 % de temps d'entraînement en moins, en utilisant environ 31 % des données complètes, ce qui ramène une tâche de 10 heures à environ 3 heures.
Où les résultats ont-ils été présentés ?
En octobre 2026, à EMNLP 2026, une conférence internationale de traitement du langage naturel.