KAIST تطور تقنية CluSTER لتقليص وقت تدريب نماذج اللغة بنسبة 69.6%
تقنية CluSTER تجمع البيانات ذات التأثير التدريبي المتشابه وتوزعها على عدة وحدات معالجة رسومية لتقليل التدريب الزائد.
أعلنت KAIST في 2 نوفمبر 2026 أن فريقاً بحثياً لديها طور تقنية لضبط دقيق لنماذج اللغة الكبيرة تُسمى CluSTER، تقلص وقت التدريب الإضافي بنسبة تصل إلى 69.6% مع الحفاظ على أداء النموذج تقريباً.
تعمل التقنية على تجميع البيانات ذات التأثيرات التدريبية المتشابهة، ثم اختيار البيانات المطلوبة من كل مجموعة وتوزيعها بالتساوي على عدة وحدات معالجة رسومية (GPU)، ما يقلل التدريب الزائد. واستخدم الفريق ثلاث مجموعات بيانات في مجالي البرمجة والطب لضبط نماذج لغة كبيرة بحجم يقارب 7 مليارات و13 مليار معامل، وتحقق من التقنية عبر 8 تقييمات للأداء.
وباستخدام نحو 31% فقط من البيانات الكاملة، حافظ النموذج تقريباً على أدائه مع خفض وقت التدريب بنسبة تصل إلى 69.6%، ما يحول مهمة تدريب تستغرق 10 ساعات إلى نحو 3 ساعات. وتركزت التجارب على بيئة من 4 وحدات معالجة رسومية، كما تفوقت إعدادات من 8 وحدات على الطرق القائمة.
ويقود فريق البحث البروفيسور في علوم الحاسوب في KAIST لي جاي-جيل، والباحثة كيم هيون-جين طالبة الدكتوراه في علوم الحاسوب والمؤلفة الأولى للدراسة.
عرض في EMNLP 2026
عُرضت نتائج البحث في أكتوبر في مؤتمر EMNLP 2026 الدولي لمعالجة اللغة الطبيعية، حسب digitaltoday.co.kr.
أسئلة سريعة
ما هي تقنية CluSTER؟
تقنية لضبط دقيق لنماذج اللغة الكبيرة طورها فريق في KAIST، تجمع البيانات ذات التأثير التدريبي المتشابه وتوزعها على عدة وحدات معالجة رسومية لتقليل التدريب الزائد.
كم تقلص وقت التدريب؟
تقلص وقت التدريب الإضافي بنسبة تصل إلى 69.6% عند استخدام نحو 31% فقط من البيانات، مع الحفاظ على أداء النموذج تقريباً.
أين عُرضت نتائج البحث؟
عُرضت في أكتوبر في مؤتمر EMNLP 2026 لمعالجة اللغة الطبيعية.