Nota在AMD Ryzen AI Max+ 395上实现推理提速最高52%
Nota在首尔举行的AMD Advancing AI World Tour 2026上公布测试结果,称GPU与NPU分工执行使单token能耗下降31%。
据 datanet.co.kr 报道,AI模型优化公司Nota在首尔举行的AMD Advancing AI World Tour Seoul 2026上,展示了在AMD Ryzen AI Max+ 395上把AI推理任务在GPU与NPU之间分工执行的技术。
Nota称,在自有测试中,采用Prefill在NPU、Decode在GPU的分工方案,相比AMD现有的GPU-NPU混合执行方式,答案完成总耗时最多缩短52%。在Qwen3-8B模型上,每个token的能耗下降31%,单token生成时间减少41%至46%。
Nota还公布了将AI智能体驱动的优化流程应用于其优化平台NetsPresso的结果。在多语言模型的AMD Ryzen AI环境中,内存占用比AMD混合执行方式低11%至32%,答案生成速度比仅用NPU执行快2.5至3.8倍。
此前的合作
Nota此前已与多家半导体公司展开合作。在7月,该公司以亚太及日本地区首批核心合作伙伴之一的身份加入AMD机器人合作伙伴网络;在10月,Nota在Arm的AI开发者平台上展示了基于NetsPresso的优化技术。该公司还与三星电子、Arm、FuriosaAI和Mobilint等企业有过合作。
快速问答
Nota公布的是什么测试结果?
在AMD Ryzen AI Max+ 395上让GPU与NPU分工执行AI推理,答案完成总耗时最多缩短52%,单token能耗下降31%。
这些数据基于哪个模型?
Qwen3-8B模型。Nota称在该模型上单token生成时间减少41%至46%。