NVIDIA recommande d'évaluer l'IA sur la vitesse et la précision

Lors d'une présentation produit consacrée à RTX Spark, le 6 novembre 2026, Jeff Yen, directeur du marketing technique de NVIDIA pour la zone Asie-Pacifique, a exposé la méthode d'évaluation des performances IA recommandée par l'entreprise, selon digitaltoday.co.kr. Il a souligné que l'IA doit être jugée sur la vitesse et la précision ensemble, alors que les benchmarks traditionnels ne mesuraient que la vitesse.

Jeff Yen a cité deux benchmarks à surveiller parce qu'ils se rapprochent des applications réelles : MLPerf Client et AgentPerf-local. Selon l'article, le benchmark agentique de MLPerf Client 2.0 repose sur un test court composé de quatre prompts et d'appels d'outils simulés. AgentPerf-local, développé par Artificial Analysis, utilise plus de 160 prompts dans une exécution de base et appelle de vrais outils pour tester l'ensemble du système.

Le responsable a également identifié la capacité mémoire et le contexte d'entrée/sortie comme des facteurs déterminants pour les performances des agents. NVIDIA a défini des critères d'évaluation distincts pour ces deux éléments sur RTX Spark, sa première plateforme SoC. Pour les jeux, il recommande de mesurer les performances sur des scènes de jeu réelles afin de mieux refléter l'expérience du joueur.

Jeff Yen a par ailleurs insisté sur l'importance d'une revue humaine pour la génération d'images, la génération de vidéos et les benchmarks agentiques. Il a reconnu que des modèles aux noms similaires produisent des résultats de qualité différente selon la méthode de quantification, et que le backend influence la précision — une erreur que NVIDIA commet aussi, a-t-il admis.

D'autres acteurs avancent sur l'évaluation

Selon Traverse Research, Qualcomm exécute en interne le benchmark GPU et IA Evolve de la société. En octobre 2025, Arm avait de son côté publié une méthodologie d'évaluation des performances CPU pour l'IA agentique, soutenue par Fujitsu, Meta et OpenAI, autour de cas d'usage réels, d'une mesure reproductible et de la vérification du résultat final des tâches.