باحثو MIT ينشرون ورقة عن نقل الحالة الداخلية بين النماذج

نشر باحثون في مختبر علوم الحاسوب والذكاء الاصطناعي في MIT (MIT CSAIL) ومختبر MIT-IBM لأبحاث الحوسبة ورقة بحثية بعنوان Swarm Telepathy: Prefill-Free KV-Cache Transfer Across Families على الأرشيف الإلكتروني، حسبما أفاد موقع aitimes.com. وتصف الورقة تقنية أُطلق عليها اسم SwaT (Swarm Telepathy) تحوّل ذاكرة السياق (KV cache) لنموذج ذكاء اصطناعي إلى صيغة يستطيع نموذج آخر استخدامها، ما يتيح لنماذج من مطورين مختلفين تبادل حالة الحساب الداخلية دون وسيط نصي.

وبحسب الورقة، رفعت التقنية الدقة بنسبة 40% في المتوسط، وقلّصت زمن المعالجة الكلي إلى الربع (4x أسرع) مقارنة بالتواصل القائم على الملخصات النصية، وذلك عبر اختبارات في المحادثة وفهم المقروء. ولم تتطلب التجارب سوى نحو 44 مليون رمز فريد وأقل من يوم واحد من التدريب على وحدة معالجة رسومية واحدة، دون إعادة تدريب النماذج نفسها (fine-tuning).

اختبارات بين عائلات مختلفة

شملت التجارب توليفات من بينها الانتقال من Qwen إلى Llama، ومن Gemma إلى Qwen وGranite. وفي أحد الاختبارات، حلّل نموذج Gemma صوراً ونقل حالته الداخلية عبر SwaT إلى نموذج نصي، فأجاب الأخير عن أسئلة متعلقة بالصورة بدقة أعلى مما لو تلقى وصفاً نصياً للصورة فقط. كما أدى تمرير الحالة الداخلية لنموذج Qwen 3 4B إلى Llama 3 8B إلى تحسين نتائج Llama في الموضوعات الـ67 كافة في المعيار الصيني CMMLU، وسدّ نحو ثلاثة أرباع الفجوة بين Qwen وLlama.

وأتاحت الطريقة سابقاً لأنظمة الوكلاء المتعددين أن يلخّص نموذج نتائجه نصياً ليقرأها نموذج آخر، وهو ما قد يفقد معلومات ويستلزم حسابات إضافية.

وأوضح الباحثون أن من قيود التقنية الحاجة إلى محوّل منفصل يُدرَّب لكل زوج من النموذج المرسِل والمستقبِل، وعدم استقرار عند دمج ذاكرات السياق أو دمجها بشكل متكرر، إضافة إلى أسئلة مفتوحة حول قابلية التدقيق وسلامة الذاكرات المنقولة. وأتاح الفريق شيفرة SwaT على GitHub.