Nerf Bench : un nouveau benchmark mesure la dérive des modèles d'IA
BridgeBench lance Nerf Bench, un benchmark qui note la performance des modèles d'IA après leur sortie avec un score unique appelé « power ».
BridgeBench a lancé Nerf Bench, un benchmark qui mesure la façon dont la performance d'un modèle d'IA évolue après sa sortie, rapporte le site gigazine.net. L'annonce a été faite le 13 octobre 2026.
Nerf Bench attribue à chaque modèle un score unique, appelé « power », calculé à partir de trois éléments : la performance, le nombre de tokens utilisés et le coût. La valeur obtenue le jour du lancement du modèle sert de référence et est fixée à 100 %.
Les résultats ultérieurs sont ensuite exprimés en pourcentage relatif à cette valeur de référence. Une variation comprise entre 90 % et 110 % de la valeur initiale est considérée comme normale.
Un changement réel n'est signalé que lorsque les résultats sortent de cette fourchette deux fois de suite, indique BridgeBench.
Les tâches précises, le contenu des tests et les résultats ne sont pas divulgués. Selon BridgeBench, cette décision vise à protéger la fiabilité du benchmark et à décourager les tentatives de manipulation.
En bref
Qu'est-ce que Nerf Bench ?
Nerf Bench est un benchmark lancé par BridgeBench le 13 octobre 2026. Il mesure l'évolution de la performance d'un modèle d'IA après sa sortie, à partir d'un score unique appelé « power ».
Comment le score « power » est-il calculé ?
Il combine la performance du modèle, le nombre de tokens utilisés et le coût. La valeur du jour du lancement est fixée à 100 %, et les résultats suivants sont exprimés en pourcentage de cette référence.
Quand un changement de performance est-il considéré comme réel ?
Une variation entre 90 % et 110 % de la valeur de lancement est jugée normale. Un changement n'est détecté que si les résultats sortent de cette fourchette deux fois de suite.