英伟达在RTX Spark简报会上谈AI基准测试方法
英伟达技术营销总监Jeff Yen提出，AI性能须同时衡量速度与准确度，并点名MLPerf Client与AgentPerf-local值得关注。
据 digitaltoday.co.kr 报道，英伟达（NVIDIA）亚太区技术营销总监Jeff Yen在11月6日举行的RTX Spark产品简报会上的一场分场会议中，介绍了公司建议的AI基准测试方法。他表示，传统基准测试一直只关注速度，但AI必须同时以速度和准确度来评判。
Jeff Yen点名MLPerf Client与AgentPerf-local是值得关注的基准测试，原因是它们更接近真实应用场景。据文章介绍，MLPerf Client 2.0的智能体基准测试由4条提示词和模拟工具调用组成的短测试构成；Artificial Analysis推出的AgentPerf-local在基础运行中使用超过160条提示词，并调用真实工具来测试整个系统。
Jeff Yen还提到，内存容量与输入输出上下文是决定智能体性能的因素。英伟达为其首款SoC平台RTX Spark分别针对内存容量和输入输出上下文设定了独立评估标准。
在图像生成、视频生成和智能体基准测试方面，Jeff Yen表示人工复核会带来很大差别。他还指出，名称相近的模型会因量化方法不同而产生不同的输出质量，后端也会影响准确度；他承认英伟达自己也犯过这样的错误。
其他厂商的基准测试动向
据Traverse Research透露，高通正在内部运行该公司推出的GPU与AI基准测试Evolve。此前，Arm发布了一套面向智能体AI的CPU性能评估方法，并获得富士通、Meta与OpenAI的支持。
快速问答
英伟达为何建议AI基准测试同时看速度和准确度？
Jeff Yen表示，传统基准测试只关注速度，但AI必须同时以速度和准确度来评判。
MLPerf Client 2.0的智能体基准测试包含什么？
据文章介绍，它由4条提示词和模拟工具调用组成，是一次短测试。