SelectStar تطلق DAVI لتقييم إجابات الذكاء الاصطناعي
النموذج المخصص لمهام الحكم سجّل دقة 89.2% مقابل 86.6% لمنافسه Jev، وخفض كلفة تشغيل النماذج بنحو 28% عبر التوجيه.
أعلنت شركة SelectStar المتخصصة في تقييم موثوقية الذكاء الاصطناعي عن إطلاق نموذجها DAVI المخصص لمهام الحكم، حسب digitaltoday.co.kr. ويُستخدم النموذج في مهام مثل اختيار النموذج المناسب وفق صعوبة السؤال أو تقييم مدى ملاءمة إجابات الذكاء الاصطناعي، كما يمكن الاعتماد عليه في توقع احتمال نجاح مهمة يقوم بها وكيل ذكاء اصطناعي.
وفي مقارنة مع نموذج Jev من شركة TypeSafeAI شملت 231 سؤالًا من أسئلة JevBench، سجّل DAVI دقة 89.2% مقابل 86.6% لـ Jev. وعلى المسائل عالية الصعوبة بلغت دقة DAVI 77.5% مقابل 73.0% لـ Jev، وفي تقييم الملاحظات باللغة الكورية سجّل 72.5% مقابل 66.8%.
توجيه النماذج وخفض الكلفة
وفي تجربة توجيه على 870 زوجًا صعبًا من الأسئلة والأجوبة باللغة الكورية، بلغت دقة التوجيه المعتمد على DAVI 71.1% مقابل 70.3% عند استخدام Opus وحده. وكانت كلفة تنفيذ النماذج مع التوجيه المعتمد على DAVI أقل بنحو 28% من استخدام Opus وحده.
وتعتزم SelectStar تطبيق DAVI على منصتها لتقييم موثوقية الذكاء الاصطناعي Datumo Eval في نوفمبر.
أسئلة سريعة
ما هو نموذج DAVI من SelectStar؟
نموذج ذكاء اصطناعي مخصص لمهام الحكم، منها اختيار النموذج المناسب حسب صعوبة السؤال وتقييم ملاءمة الإجابات وتوقع احتمال نجاح مهام وكلاء الذكاء الاصطناعي.
ما الفرق في الدقة بين DAVI وJev؟
في مقارنة على 231 سؤالًا من JevBench سجّل DAVI دقة 89.2% مقابل 86.6% لـ Jev.
متى يُطبَّق DAVI على Datumo Eval؟
تعتزم SelectStar تطبيقه على منصتها Datumo Eval في نوفمبر.