Ai2 publie Olmo-core 3, son framework open source pour l'entraînement des LLM
Le framework passe du FSDP à un système DDP pour l'entraînement des modèles MoE et exploite le format MXFP8.
L'Allen Institute for AI (Ai2) a publié Olmo-core 3, un framework open source destiné à l'entraînement des grands modèles de langage. Le code et un rapport technique sont disponibles sur GitHub.
Pour l'entraînement des modèles à mixture d'experts (MoE), Ai2 a abandonné le Fully Sharded Data Parallelism (FSDP) au profit d'un système fondé sur le Distributed Data Parallelism (DDP). Ce changement s'accompagne d'un parallélisme d'experts par lignes, d'un routage résidant sur le GPU et de grouped GEMM, afin de réduire les coûts de déplacement des données.
Sur un modèle MoE de 47 milliards de paramètres, Olmo-core 3 augmente le débit par GPU d'environ 2,7 fois par rapport au système FSDP précédent. Lors d'un test mené sur 8 GPU NVIDIA B300, ce même modèle a traité 52 000 tokens par seconde et par GPU.
L'application du format de basse précision MXFP8 a par ailleurs accru le débit d'entraînement d'environ 21 pour cent.
En bref
Qu'est-ce qu'Olmo-core 3 ?
Un framework open source publié par l'Allen Institute for AI pour l'entraînement des grands modèles de langage.
Où le code et le rapport technique sont-ils disponibles ?
Ai2 a publié le code et un rapport technique sur GitHub.
Quels gains de performance Olmo-core 3 apporte-t-il ?
Environ 2,7 fois plus de débit par GPU sur un modèle MoE de 47 milliards de paramètres, et environ 21 pour cent de débit d'entraînement en plus avec le format MXFP8.