DeepSeek تطلق إطار الاستدلال DeepInfer مفتوح المصدر

أطلقت شركة DeepSeek إطار الاستدلال الخاص بها DeepInfer كمشروع مفتوح المصدر على GitHub في 20 أكتوبر، بترخيص Apache 2.0، حسب aitimes.com. ويستهدف الإطار تشغيل نموذج DeepSeek-V4.1-Flash في بيئات الإنتاج.

يدعم DeepInfer معالجات NVIDIA SM100 الرسومية ووحدات Huawei Ascend 950 لمعالجة الشبكات العصبية، لكن النسخة العامة الحالية تدعم الاستدلال دون اتصال فقط. ولا يتضمن الإطار أنظمة ذاكرة التخزين المؤقت للمفاتيح والقيم (KV cache)، ولا الفصل بين مرحلتي المعالجة الأولية والتوليد، ولا موازنة الأحمال اللازمة لعمليات الخدمة المباشرة.

أرقام الأداء في الاختبارات المنشورة

في الاختبارات التي نشرتها الشركة، جرى قياس مرحلة المعالجة الأولية على 4 معالجات رسومية، ومرحلة التوليد على 64 معالجاً. وفي اختبار التوليد بـ256 طلباً متزامناً لكل نسخة، عالج DeepInfer أكثر من 25,000 رمز إخراج في الثانية لكل معالج رسومي. وقالت DeepSeek إن عنقوداً واحداً يستطيع معالجة 155 تريليون رمز يومياً.

وأظهرت النتائج أن رفع حجم الدفعة من 4,096 إلى 65,536 رفع معدل النقل لكل معالج من 60,000 إلى 89,000 رمز في الثانية، بينما ارتفع زمن الاستجابة من 70 إلى 730 مللي ثانية.

يجمع الإطار بين نوى برمجية للمعالجات الرسومية وتحسينات على مستوى النظام، من بينها FlashMLA وDeepGEMM وDeepEP، ويستخدم فك ترميز تخميني حيث يقترح نموذج مسودة الرموز ويتحقق منها النموذج الرئيسي. كما يقلل حساب المعالجة الأولية عبر إعادة بناء الحالة من آخر 128 رمزاً في آلية الانتباه ذات النافذة المنزلقة، ويدعم تنسيقات إخراج مقيّدة عبر التعبيرات النمطية ومخطط JSON وقواعد EBNF.