BridgeBenchがAI性能の経年変化を測る「Nerf Bench」公開
BridgeBenchが2026年10月13日、AIモデルの投入後性能変化を追跡するベンチマーク「Nerf Bench」を公開した。
BridgeBenchは2026年10月13日、AIモデルの性能が投入後どのように変化するかを追跡するベンチマーク「Nerf Bench」を公開した。gigazine.netが伝えた。
Nerf Benchは、性能・使用トークン数・コストをもとにモデルを単一の「power」値で採点する。投入日のpowerを100％とし、その後の結果は相対的な百分比で示される。
powerが投入時の90％から110％の範囲内であれば通常の変動とみなす。実際の変化と判定されるのは、その範囲を下回るか上回る結果が2回連続した場合のみだ。
具体的なタスクやテスト内容、テスト結果は公表されていない。信頼性の確保と、ベンチマークを狙った攻略を防ぐためとしている。
よくある質問
Nerf Benchとは何ですか？
BridgeBenchが公開した、AIモデルの投入後の性能変化を追跡するベンチマーク。性能・使用トークン数・コストから単一のpower値で採点する。
power値はどう判定されますか？
投入日のpowerを100％とし、90％から110％の範囲内は通常の変動とみなす。範囲を外れる結果が2回連続した場合に実際の変化と判定する。