브리지벤치, AI 성능 변동 추적 '너프 벤치' 공개
출시 후 AI 모델의 성능 변화를 단일 '파워' 수치로 평가하는 벤치마크가 등장했다.
BridgeBench가 2026년 10월 13일, AI 모델의 성능이 출시 시점 대비 얼마나 변동하는지 추적하는 벤치마크 'Nerf Bench'를 공개했다. 이 소식은 gigazine.net을 통해 전해졌다.
Nerf Bench는 모델의 성능, 사용된 토큰 수, 비용을 바탕으로 단일 '파워(power)' 수치를 산출한다. 모델의 출시일 파워를 100%로 설정하고, 이후 측정 결과는 이에 대한 상대 비율로 보고된다.
Nerf Bench는 파워가 출시 값의 90~110% 범위에 있으면 정상적인 변동으로 간주한다. 실제 변화는 결과가 이 범위를 벗어난 상태가 두 번 연속으로 나타날 때만 감지된다.
구체적인 과제, 테스트 내용, 테스트 결과는 공개되지 않는다. 벤치마크의 신뢰성을 지키고 벤치마크 게이밍을 막기 위한 조치다.
한눈에 보기
Nerf Bench는 무엇을 측정하나?
AI 모델의 성능이 출시일 기준 대비 얼마나 변동했는지 단일 '파워' 수치로 측정한다.
Nerf Bench에서 실제 변화로 인정되는 기준은?
파워가 출시 값의 90~110% 범위를 벗어난 상태가 두 번 연속으로 나타날 때 실제 변화로 감지된다.
Nerf Bench의 테스트 내용과 결과는 공개되나?
신뢰성 유지와 벤치마크 게이밍 방지를 위해 구체적인 과제, 테스트 내용, 결과는 공개되지 않는다.