セレクトスター、判断特化AI「DAVI」を公開
セレクトスターは判断特化型AIモデル「DAVI」を公開した。TypeSafeAIの「Jev」との比較で精度89.2%を記録し、ルーティングで実行コストを約28%削減する。
韓国のAI信頼性評価企業セレクトスターは、判断特化型AIモデル「DAVI」を公開したと発表した。DAVIは、質問の難易度に応じて適切なAIモデルを選択したり、AIの回答の妥当性を評価したりする判断タスクに特化している。AIエージェントのタスク成功率を予測する用途にも使える。
TypeSafeAIの「Jev」との比較では、JevBenchの231問でDAVIが89.2%の正答率を記録し、Jevの86.6%を上回った。高難度問題ではDAVIが77.5%、Jevが73.0%だった。韓国語のフィードバック評価ではDAVIが72.5%、Jevが66.8%となった。
韓国語の難しい質問応答ペア870件を用いたルーティング実験では、DAVIベースのルーティングが71.1%の正答率を達成し、AnthropicのOpusを単独で使った場合の70.3%を上回った。モデル実行コストはOpus単独と比べて約28%低かった。
セレクトスターは、DAVIを自社のAI信頼性評価プラットフォーム「Datumo Eval」に11月から適用する計画だ。
よくある質問
DAVIはいつDatumo Evalに適用されますか？
セレクトスターは11月から適用する計画です。
DAVIとJevの精度差はどれくらいですか？
JevBenchの231問でDAVIが89.2%、Jevが86.6%でした。