BridgeBench推出Nerf Bench,追踪AI模型上线后性能漂移
Nerf Bench以单一「力量」数值评分,上线首日定为100%,后续结果以相对百分比呈现。据gigazine.net报道。
据gigazine.net报道,BridgeBench于2026年10月13日发布Nerf Bench,这是一个追踪AI模型上线后性能如何变化的基准测试。
Nerf Bench用单一的「力量」数值给模型打分,该数值综合了性能、所用token数量和成本。模型上线当天的力量被设定为100%,此后的结果以相对于该基准的百分比报告。
Nerf Bench把上线数值90%至110%之间的力量视为正常波动。只有当结果连续两次低于或高于该区间时,才会被判定为真实变化。
BridgeBench表示,具体的任务、测试内容和测试结果不予公开,以保护可靠性并防止针对基准测试的作弊行为。
快速问答
Nerf Bench是什么?
它是BridgeBench推出的基准测试,用于追踪AI模型上线后性能相对上线首日基准的变化。
Nerf Bench如何判断模型性能出现真实变化?
它将上线数值90%至110%视为正常波动,只有结果连续两次低于或高于该区间才判定为真实变化。
Nerf Bench的测试内容和结果会公开吗?
不会。BridgeBench表示,具体任务、测试内容和测试结果不予公开,以保护可靠性并防止作弊。