Ai2 تطلق Olmo-core 3 لتدريب نماذج اللغة بكفاءة أعلى
الإطار مفتوح المصدر رفع الإنتاجية لكل وحدة معالجة نحو 2.7 مرة على نموذج MoE بـ47 مليار معامل مقارنة بنظام FSDP السابق.
أعلن معهد Allen Institute for AI عن إصدار Olmo-core 3، وهو إطار عمل مفتوح المصدر لتدريب نماذج اللغة الكبيرة. وقال المعهد إن الإصدار الجديد يرفع كفاءة تدريب نماذج MoE، وفق ما أورده موقع aitimes.com.
وأوضح المعهد أن Olmo-core 3 رفع الإنتاجية لكل وحدة معالجة رسومية بنحو 2.7 مرة على نموذج MoE بـ47 مليار معامل، مقارنة بالنظام السابق القائم على Fully Sharded Data Parallelism (FSDP).
وفي اختبار جرى باستخدام ثماني وحدات من إنفيديا B300، عالج نموذج MoE بـ47 مليار معامل 52,000 رمز في الثانية لكل وحدة معالجة رسومية.
وقال المعهد إنه انتقل من FSDP إلى نظام قائم على Distributed Data Parallelism (DDP) لتدريب نماذج MoE، ويعتمد Olmo-core 3 على التوازي الصفي بالخبراء (row-wise expert parallelism) والتوجيه المقيم على وحدة المعالجة (GPU-resident routing) وعمليات GEMM المجمّعة لتقليل تكاليف نقل البيانات.
وأضاف أن تطبيق صيغة الدقة المنخفضة MXFP8 زاد إنتاجية التدريب بنحو 21 في المئة. ونُشر الكود والتقرير الفني على منصة غيت هاب.
أسئلة سريعة
ما هو Olmo-core 3؟
إطار عمل مفتوح المصدر من معهد Allen Institute for AI لتدريب نماذج اللغة الكبيرة، يركز على تحسين كفاءة تدريب نماذج MoE.
إلى أي مدى تحسنت الإنتاجية؟
رفع الإنتاجية لكل وحدة معالجة رسومية بنحو 2.7 مرة على نموذج MoE بـ47 مليار معامل مقارنة بنظام FSDP السابق، وزاد إنتاجية التدريب بنحو 21 في المئة عند استخدام صيغة MXFP8.
أين نُشر الكود؟
نُشر الكود والتقرير الفني على منصة غيت هاب.