人工智能

BridgeBench推出Nerf Bench,追踪AI模型上线后性能漂移

Nerf Bench以单一「力量」数值评分,上线首日定为100%,后续结果以相对百分比呈现。据gigazine.net报道。

据gigazine.net报道,BridgeBench于2026年10月13日发布Nerf Bench,这是一个追踪AI模型上线后性能如何变化的基准测试。

Nerf Bench用单一的「力量」数值给模型打分,该数值综合了性能、所用token数量和成本。模型上线当天的力量被设定为100%,此后的结果以相对于该基准的百分比报告。

Nerf Bench把上线数值90%至110%之间的力量视为正常波动。只有当结果连续两次低于或高于该区间时,才会被判定为真实变化。

BridgeBench表示,具体的任务、测试内容和测试结果不予公开,以保护可靠性并防止针对基准测试的作弊行为。

快速问答

Nerf Bench是什么?

它是BridgeBench推出的基准测试,用于追踪AI模型上线后性能相对上线首日基准的变化。

Nerf Bench如何判断模型性能出现真实变化?

它将上线数值90%至110%视为正常波动,只有结果连续两次低于或高于该区间才判定为真实变化。

Nerf Bench的测试内容和结果会公开吗?

不会。BridgeBench表示,具体任务、测试内容和测试结果不予公开,以保护可靠性并防止作弊。

来源