Moreh在首尔发布AMD GPU推理方案Token Factory
Moreh称，在AMD Instinct MI355X上运行最新开源模型时，其MoAI推理框架吞吐量达到英伟达B200的两倍以上。
据 datanet.co.kr 报道，AI基础设施解决方案公司Moreh在首尔举行的AMD Advancing AI World Tour Seoul 2026活动上，公布了基于AMD GPU的Token Factory软件方案，称该方案可优化AI推理成本。
Moreh首席执行官与AMD AI产品管理副总裁Ramine Roane共同出席了主题演讲环节。
据Moreh介绍，MoAI Inference Framework在单一软件栈中整合了新模型优化、针对各代AMD GPU的优化以及数据中心规模的异构分布式推理能力。
Moreh表示，在AMD Instinct MI355X上对最新开源模型进行推理时，该框架在典型服务条件下的吞吐量达到英伟达B200的两倍以上。
Moreh还称，在由英伟达GPU负责提示处理、AMD GPU负责响应生成的配置下，其吞吐量约为同构GPU集群的1.7倍。
此前的合作与供货
2021年，Moreh曾与KT合作将基于AMD GPU的AI云服务商业化，运营超过2000块AMD GPU。Moreh表示，今年以来已向韩国及海外多个Token Factory的客户提供了异构Token Factory运营软件。
快速问答
Moreh的MoAI推理框架在什么硬件上测试？
Moreh称在AMD Instinct MI355X上对最新开源模型进行推理测试，并与英伟达B200进行对比。
Moreh公布的性能数据是多少？
Moreh称在典型服务条件下吞吐量超过英伟达B200的两倍；在英伟达GPU处理提示、AMD GPU生成响应的异构配置下，吞吐量约为同构GPU集群的1.7倍。