SelectStar推出判断专用AI模型DAVI
SelectStar称DAVI在JevBench测试中以89.2%的准确率胜过Jev的86.6%,并计划于11月接入Datumo Eval。
据digitaltoday.co.kr报道,韩国AI可靠性评估公司SelectStar于2026年10月26日宣布推出判断专用AI模型DAVI。
DAVI面向决策类任务,可根据问题难度选择合适的AI模型,或评估AI回答是否恰当,也可用于预测AI智能体任务成功的可能性。
在与TypeSafeAI的全球判断AI模型Jev的对比中,双方在231道JevBench问题上接受测试,DAVI准确率为89.2%,Jev为86.6%。在高难度问题上,DAVI为77.5%,Jev为73.0%;在韩语反馈评估中,DAVI为72.5%,Jev为66.8%。
在针对870组高难度韩语问答对的模型路由实验中,基于DAVI的路由准确率为71.1%,仅使用Anthropic的Opus模型为70.3%。SelectStar表示,基于DAVI的路由使模型执行成本较单用Opus降低约28%。
SelectStar计划于11月将DAVI应用于其AI可靠性评估平台Datumo Eval。
快速问答
DAVI是什么?
DAVI是SelectStar推出的判断专用AI模型,用于选择合适模型、评估AI回答以及预测AI智能体任务成功率。
DAVI与Jev的测试结果如何?
在231道JevBench问题上,DAVI准确率为89.2%,Jev为86.6%;高难度问题上DAVI为77.5%,Jev为73.0%。
DAVI何时上线Datumo Eval?
SelectStar计划于11月将DAVI应用于Datumo Eval平台。