Ai2发布开源大模型训练框架Olmo-core 3
Ai2推出开源框架Olmo-core 3，在8块英伟达B300上让470亿参数MoE模型单GPU每秒处理5.2万token。
美国艾伦人工智能研究所（Allen Institute for AI，简称Ai2）发布了开源的大语言模型训练框架Olmo-core 3，重点提升了混合专家（MoE）模型的训练效率。据aitimes.com报道，相关代码与技术报告已在GitHub上公开。
Ai2表示，相比此前基于FSDP的方案，Olmo-core 3在470亿参数MoE模型上把单块GPU的吞吐量提升了约2.7倍。测试使用8块英伟达B300 GPU，该模型单块GPU每秒可处理5.2万token。
为提升MoE训练效率，Ai2将全分片数据并行（FSDP）改为基于分布式数据并行（DDP）的系统，并引入按行专家并行、常驻GPU的路由以及分组GEMM，以降低数据搬运开销。
Ai2还指出，采用MXFP8低精度格式后，训练吞吐量进一步提升了约21%。代码与技术报告均已发布在GitHub上。
快速问答
Olmo-core 3是什么？
它是Ai2发布的开源大语言模型训练框架，针对MoE模型训练做了效率优化，代码和技术报告已在GitHub公开。
Olmo-core 3的性能提升有多少？
据Ai2，在470亿参数MoE模型上单GPU吞吐量约为此前FSDP方案的2.7倍；使用8块英伟达B300 GPU时单GPU每秒处理5.2万token，采用MXFP8格式后吞吐量再提升约21%。