NVIDIA、AIベンチマークは速度と精度の両面で評価すべきと提言

NVIDIAのアジア太平洋テクニカルマーケティング担当ディレクター、ジェフ・イェン氏は2026年11月6日に行われたRTX Sparkの製品説明会で、AIベンチマークの評価手法に関する同社の推奨事項を説明した。同氏は、従来のベンチマークは速度を測ることに主眼が置かれていたが、AIは速度と精度を併せて評価する必要があると述べた。

イェン氏は、ゲーマーの実際の体験をより反映するため、実際のゲームプレイシーンで測定することを推奨した。また、PC上のローカルAIについては新たな試みが増えており、これまで以上に関心が集まっていると指摘した。

同氏は、実際のアプリケーションに近いベンチマークとして、MLPerf ClientとAgentPerf-localを注目すべきものに挙げた。記事によると、MLPerf Client 2.0のエージェントベンチマークは4つのプロンプトとシミュレーションされたツール呼び出しからなる短いテストで構成されている。Artificial AnalysisのAgentPerf-localは、基本実行で160以上のプロンプトを使用し、実際のツールを呼び出してシステム全体をテストする。

イェン氏は、エージェントの性能を決める要因としてメモリ容量と入出力コンテキストを挙げた。NVIDIAは初のSoCプラットフォームであるRTX Spark向けに、メモリ容量と入出力コンテキストについて別々の評価基準を設定している。

同氏は、画像生成、動画生成、エージェントのベンチマークでは人間によるレビューが大きな違いを生むと述べた。また、似た名前のモデルでも量子化手法によって出力品質が異なり、バックエンドが精度に影響するとし、NVIDIAもその過ちを犯していると認めた。デジタルトゥデイによると、クアルコムはTraverse ResearchのGPUおよびAIベンチマークであるEvolveを社内で実行している。

業界の動き

過去には、AIチップの性能はピーククロック時のNPU演算回数を示す理論値であるTOPSで表されることが多かった。Armは以前、富士通、Meta、OpenAIの支援を受けて、エージェントAIのCPU性能評価手法を公開した。クアルコムは、ベンチマーク結果だけではプラットフォームの改善を十分に検証できないとして、外部ベンチマークを使用している。