فريق من 35 باحثًا ينشر معيار TheoPhysEval لقياس وكلاء الذكاء الاصطناعي

نشر فريق من 35 باحثًا، يضم باحثين من ICTS ومعهد تاتا للأبحاث الأساسية وجامعة بنسلفانيا وGoogle DeepMind، معيارًا جديدًا باسم TheoPhysEval لقياس قدرة وكلاء الذكاء الاصطناعي على حل مسائل بحثية في الفيزياء النظرية بشكل مستقل، وفق ما أوردته aitimes.com.

يختبر المعيار أداء الوكلاء في ظروف تتيح لهم البحث عبر الإنترنت وتنفيذ الأكواد البرمجية. وعلى 50 مسألة فيزياء نظرية غير منشورة، حلّ GPT-6 Astra 49 مسألة دون أي تلميحات بشرية، وبلغت تكلفة استدعاءاته الإجمالية عبر واجهة API نحو 116.28 دولارًا، بمعدل يقارب 2.33 دولار للمسألة الواحدة.

نتائج بقية النماذج

حلّ Opus 5.5 ما مجموعه 46 مسألة من أصل 50، وحلّ Gemini 3.8 Flash ‏34 مسألة، وDeepSeek-V4.1 Flash ‏27 مسألة، وGLM-5.3 ‏21 مسألة. وعند حجب الوصول إلى الإنترنت، حلّ GPT-6 Astra وOpus 5.5 ‏46 مسألة لكل منهما.

فشل GPT-6 Astra في مسألة واحدة تتعلق بإيجاد المعادلة التفاضلية التي تولّد منحنى معيّنًا، وفشلت فيها كذلك جميع النماذج الأخرى. وأثناء التقييم، تبيّن أن بعض إجابات GPT-6 Astra التي حُكم عليها بالخطأ كانت صحيحة بعد أن أعاد الخبراء فحص حلولهم المرجعية وصحّحوا أخطاء دقيقة فيها، ما رفع دقته النهائية إلى 98%.

كان سوبراج راجو، الباحث في ICTS وأحد المشاركين في إعداد المعيار، قد روى في مدونته الشخصية يوم 14 من الشهر الجاري كيف بدأ التقييم، وقال إنه لم يستطع النوم لأيام بعد رؤية النتائج. وفي سياق سابق، وقبل نحو ستة أشهر من نشر المقال، قدّم راجو مسألة غير منشورة لأحد نماذج الذكاء الاصطناعي، فأجاب خطأً في البداية ثم حلّها بعد عدة تلميحات.