Ai2、LLM学習基盤Olmo-core 3を公開

米Allen Institute for AI（Ai2）は、大規模言語モデル（LLM）を学習させるためのオープンソースフレームワーク「Olmo-core 3」を公開した。同研究所がGitHub上でコードと技術レポートを公表している。

Ai2によると、Olmo-core 3は470億パラメータのMoE（混合エキスパート）モデルの学習において、従来のFSDPベースのシステムと比べてGPUあたりのスループットを約2.7倍に高めた。NVIDIA B300 GPUを8基使ったテストでは、470億パラメータのMoEモデルがGPUあたり毎秒5万2000トークンを処理した。

性能向上の背景には、MoE学習の方式をFully Sharded Data Parallelism（FSDP）からDistributed Data Parallelism（DDP）ベースのシステムへ切り替えたことがある。あわせて、row-wise expert parallelism、GPU-resident routing、grouped GEMMを組み合わせ、データ移動のコストを抑えている。

さらに、低精度フォーマットのMXFP8を適用すると、学習スループットが約21パーセント向上したという。