ورقة بحثية لـ Yann LeCun تُظهر تفوّق JEPA على التنبؤ بالرمز التالي
الورقة المنشورة على arXiv تعرض شروطاً رياضية لتقارب تمثيلات JEPA المستقلة، وتشير إلى عيّنات تدريب أقل بنحو 42 مرة.
نشر Yann LeCun، أستاذ جامعة New York University ومؤسس AMI Labs، مع Randall Balestriero، أستاذ جامعة Brown University، ورقة بحثية على arXiv يوم 29 أكتوبر 2026 تتناول «الفرضية الأفلاطونية للتمثيل» باستخدام نماذج JEPA، حسب aitimes.com.
تقدّم الورقة تفسيراً رياضياً للشروط التي تُنتج فيها نماذج JEPA المدرَّبة بشكل مستقل التمثيل الداخلي نفسه، حتى دوران.
ووفق النتائج، بلغ نموذج JEPA يستخدم بناء بيانات «Good Views» درجة تشابه في التمثيل الداخلي مع 21.6 مليون عيّنة تدريب، وهي الدرجة التي احتاج التنبؤ بالرمز التالي إلى 900 مليون عيّنة للوصول إليها، أي فرق يقارب 42 مرة. وبحساب رموز النص المستخدمة في التدريب، بلغ الفارق 14 مرة.
وفي تجربة أخرى، سجّل نموذج JEPA بـ109 ملايين معامل، دُرّب على نحو 940 مليون صورة ويب مقترنة بنصوص، درجة تشابه أعلى مع نموذج ذكاء اصطناعي للصور من نماذج لغوية تصل إلى 72 مليار معامل، إذ بلغت نتيجته في التقييم الرئيسي 0.184 مقابل 0.154 لـ Qwen2.5-72B.
وبنى الباحثون قانون تنبؤ من نسبة بيانات «Good Views» وعدد عيّنات التدريب، واستخدموه لتوقّع نتائج 85 تجربة لم تُجرَ بعد، بأخطاء قريبة من التباين بين تشغيلات البذور العشوائية المختلفة، وإن اتسعت الأخطاء عند بعض المقاييس التدريبية الكبيرة.
وأقرّت الورقة بأن التجارب لم تحقق الافتراضات الرياضية بالكامل، وأن كثيراً من النصوص في التجارب الواسعة النطاق أُنشئت بواسطة ذكاء اصطناعي لوصف الصور، وأن استبعاد هذه الأوصاف خفّض أداء محاذاة التمثيل. وكان باحثون من بينهم فريق في MIT قد اقترحوا في 2024 «الفرضية الأفلاطونية للتمثيل» التي تسعى الورقة الجديدة إلى تفسيرها رياضياً.
أسئلة سريعة
ما الفرق بين JEPA والتنبؤ بالرمز التالي في هذه الورقة؟
بلغ نموذج JEPA درجة تشابه مماثلة باستخدام 21.6 مليون عيّنة مقابل 900 مليون للتنبؤ بالرمز التالي، أي فرق يقارب 42 مرة.
ما نتيجة نموذج JEPA ذي 109 ملايين معامل مقابل Qwen2.5-72B؟
سجّل 0.184 في التقييم الرئيسي مقابل 0.154 لـ Qwen2.5-72B.