أعلن معنا
الذكاء الاصطناعي

Google DeepMind تطلق معيار MKA لتقييم وكلاء الذكاء الاصطناعي في مهام مهنية

المعيار يضم 200 مهمة تمتد على 83 وظيفة في 10 مجالات، وتصدره Claude Fable 5.2 بتكلفة تعادل خمسة أضعاف Gemini 4 Carbon.

أعلن Google DeepMind عن معيار جديد لتقييم وكلاء الذكاء الاصطناعي يحمل اسم Multimodal Knowledge Agent (MKA) benchmark، طوّره بالتعاون مع شركة تحليل الذكاء الاصطناعي Artificial Analysis، حسبما ذكر موقع digitaltoday.co.kr.

ويضم المعيار 200 مهمة موزعة على 83 وظيفة في 10 مجالات تشمل الأعمال والبناء والهندسة والمالية والطب والعلوم. وتحاكي كل مهمة عملاً يؤديه متخصصون مهرة خلال 3 إلى 8 ساعات، وتُقيَّم وفق نحو 70 معياراً تفصيلياً، بوزن 75% لدقة المعلومات الفعلية و25% للاكتمال البصري.

وحصلت جميع النماذج على الأدوات نفسها وبيئة العمل ذاتها وما يصل إلى 250 محاولة. وبلغت نسبة الاتفاق بين تقييم الخبراء وتقييم الذكاء الاصطناعي 96%.

النتائج والتكلفة

حلّ Claude Fable 5.2 من Anthropic في المركز الأول بنسبة إنجاز مرجّحة بلغت 57% في بنود المهام الصعبة، وجاء Gemini 4 Carbon من Google في المركز الثاني بنسبة 54%.

وسجّل Claude Fable 5.2 تكلفة متوسطة بلغت 31.97 دولاراً للمهمة، مقابل 6.29 دولارات لـ Gemini 4 Carbon، أي نحو خُمس التكلفة. وتراوح متوسط عدد الإجراءات اللازمة لإنجاز المهمة بين 30 و130 إجراءً بحسب النموذج.

أسئلة سريعة

ما هو معيار MKA؟

معيار لتقييم وكلاء الذكاء الاصطناعي طوّرته Google DeepMind مع Artificial Analysis، ويضم 200 مهمة في 83 وظيفة ضمن 10 مجالات.

أي نموذج تصدّر معيار MKA؟

حلّ Claude Fable 5.2 من Anthropic أولاً بنسبة 57%، وجاء Gemini 4 Carbon من Google ثانياً بنسبة 54%.

كم تبلغ تكلفة إنجاز المهمة في المعيار؟

بلغت تكلفة Claude Fable 5.2 في المتوسط 31.97 دولاراً للمهمة، مقابل 6.29 دولارات لـ Gemini 4 Carbon.

المصدر