マイクロソフト、2.8兆パラメータのMAI-Base-2事前学習を完了

マイクロソフトは2026年10月15日、自社開発の大規模AIモデル「MAI-Base-2」の事前学習を完了したと発表した。パラメータ数は2.8兆で、トークンあたり80億が活性化されるMixture-of-Experts（MoE）アーキテクチャを採用している。同社は内部評価で、比較対象としたすべてのオープンウェイトモデルを上回ったとしている。

学習は2026年8月から9月にかけて38日間、NVIDIA GB200 GPU 16,000基を使用して実施された。事前学習に必要な浮動小数点演算（FLOPs）は、DeepSeekの「DeepSeek-V4-Pro-Base」と比べて4.2〜12.3倍効率的だったという。2026年6月に公開された「MAI-Base-1」と比較すると、計算効率は6.3〜12.7倍改善した。

マイクロソフトによると、学習データのユニークトークン数はMAI-Base-1比で約36%増加した。全層にMoEを適用し、MoE層のモデル計算利用率を24%から35%に引き上げた。最適化にはMuonオプティマイザと勾配クリッピングを採用し、学習の安定性を高めた。他モデルからの蒸留は行わず、自社で収集・処理したデータを使用し、すべての学習トークンを社内で処理したという。

MAI-Base-2は当初から画像とテキストの同時学習を想定して設計され、視覚言語モデル（VLM）データが50兆トークンの学習構成の18%を占める。同社はMAI-Base-2を次世代自社モデルの基盤とし、まず自社製品に適用した後、法人顧客への提供を拡大する計画だ。モデルの重みは同社のAIプラットフォームFoundryを通じて配布される予定である。

MAI-Base-2は現在ポストトレーニング段階にあり、後継モデル「MAI-Base-3」の準備もすでに始まっていると同社は説明した。なお、Microsoft AIのCEO、Mustafa Suleyman氏が社内タウンホールで、OpenAIが使用した約4分の1の計算資源でGPT-5.6 Solのベースモデルより強力な事前学習モデルを構築したと主張したと、Business Insiderが報じている。この比較は非公開の評価に基づくもので、公開技術レポートには検証可能な詳細結果は記載されていない。