Microsoft achève le pré-entraînement de MAI-Base-2, un modèle de 2 800 milliards de paramètres

Microsoft a annoncé le 15 octobre 2026 avoir achevé le pré-entraînement de MAI-Base-2, son modèle d'IA de grande taille développé en interne. Le modèle compte 2 800 milliards de paramètres, dont 80 milliards activés par token, et repose sur une architecture Mixture-of-Experts (MoE), selon aitimes.com.

La firme affirme que MAI-Base-2 a surpassé tous les modèles à poids ouverts utilisés comme cibles de comparaison dans son évaluation interne. Le pré-entraînement a nécessité 38 jours, en août et septembre 2026, sur 16 000 GPU NVIDIA GB200. Microsoft indique que le volume de données d'entraînement a augmenté d'environ 36 % en tokens uniques après déduplication par rapport à MAI-Base-1, sorti en juin 2026.

Sur le plan de l'efficacité, Microsoft revendique pour MAI-Base-2 des besoins en opérations en virgule flottante (FLOPs) de 4,2 à 12,3 fois inférieurs à ceux de DeepSeek-V4-Pro-Base de DeepSeek. Face à MAI-Base-1, le gain d'efficacité de calcul est présenté comme allant de 6,3 à 12,7 fois. La MoE a été appliquée à toutes les couches du modèle, avec un taux d'utilisation de calcul des couches MoE porté de 24 % à 35 %, et l'entraînement s'appuie sur l'optimiseur Muon et une technique d'écrêtage du gradient.

Microsoft précise avoir utilisé ses propres données collectées et traitées, sans distillation depuis d'autres modèles d'IA, tous les tokens d'entraînement étant traités en interne. MAI-Base-2 a par ailleurs été conçu dès le départ pour un entraînement conjoint sur images et texte : les données de modèle vision-langage (VLM) représentent 18 % d'une composition totale de 50 000 milliards de tokens.

Le modèle servira de base aux prochains modèles internes de Microsoft, avec une application d'abord à ses propres produits, puis une distribution élargie aux clients entreprises. La distribution des poids est prévue via Foundry, la plateforme d'IA de Microsoft. MAI-Base-2 est actuellement en phase de post-entraînement, et la préparation du modèle suivant, MAI-Base-3, aurait déjà commencé.

Une comparaison avec OpenAI non étayée publiquement

Mustafa Suleyman, directeur général de Microsoft AI, aurait déclaré lors d'une réunion interne avec les employés que Microsoft avait construit un modèle pré-entraîné plus puissant que le modèle de base de GPT-5.6 Sol en utilisant environ un quart du calcul mobilisé par OpenAI, selon Business Insider. Cette comparaison repose sur une évaluation privée, et le rapport technique public ne fournit pas de résultats détaillés permettant de la vérifier.