Zyphra تنشر ورقة عن تقنية انتباه تتوقع سرعة تصل إلى 35 ضعفًا
تقنية Zyphra Hierarchical Attention تعيد تنظيم السياق في هيكل شجري، وتوقعت الشركة أنها تعالج 10 ملايين رمز أسرع من الانتباه القياسي.
نشرت شركة Zyphra ورقة بحثية على arXiv تقدّم فيها تقنية Zyphra Hierarchical Attention (ZHA)، وهي طريقة انتباه متناثر (sparse attention) لمعالجة السياقات الطويلة جدًا. وتتوقع الشركة أن تتمكن التقنية من معالجة سياق بطول 10 ملايين رمز أسرع بنحو 35 مرة من الانتباه القياسي، بحسب aitimes.com.
ووفقًا للورقة، رُفعت النسخة الأولى منها في 30 سبتمبر 2026، ثم نُشرت نسخة منقحة في 2 نوفمبر 2026. وتنظّم ZHA السياق الحالي في وحدات صغيرة ملخّصة، ثم تبني ملخصات ذات مستوى أعلى من تلك الملخصات، ما يشكّل هيكل بحث شجريًا. وعند وصول استعلام جديد، تبحث التقنية من المستوى الأعلى عن المناطق ذات الصلة ثم تضيّق النطاق إلى الأجزاء المطلوبة فقط.
وبنى فريق Zyphra نموذج تنبؤ بالأداء على أساس قدرة الحوسبة وعرض نطاق الذاكرة في وحدة معالجة الرسوميات NVIDIA H100. ويقدّر النموذج سرعة معالجة الانتباه في ZHA بنحو 32 إلى 35 ضعفًا مقارنة بالانتباه القياسي عند سياق بطول 10 ملايين رمز، ونحو 4.7 إلى 5.1 ضعف مقارنة بالانتباه المتناثر لدى MiniMax (MSA). وتشير التقديرات إلى أن فارق السرعة يتسع مع زيادة طول السياق.
ويمكن تطبيق ZHA على نماذج مدرّبة مسبقًا مع الاحتفاظ بأوزانها، باستخدام نحو 4 مليارات رمز في تدريب التقطير وإضافة 81,920 معاملًا قابلًا للتدريب فقط. وفي تجارب على نموذج Qwen3.6-35B-A3B، ساوت ZHA الانتباه القياسي في اختبارات تشمل الاستدعاء للسياقات الطويلة والاستدلال والبرمجة الوكيلية. وسجلت 63.4% على LongBench v2 مقابل 58% للانتباه القياسي، مع الرجوع إلى نحو 1.1% فقط من إجمالي KV cache، كما سجلت 67.4% على SWE-bench Verified بالنتيجة نفسها للانتباه القياسي.
حدود النتائج والتقديرات
على نموذج NVIDIA Nemotron 3.5 Lightning، جاءت دقة ZHA في اختبار RULER أدنى من الانتباه القياسي، بانخفاض بلغ حتى 25.3 نقطة مئوية في الهياكل الشجرية العميقة. ولم تُقس سرعة التحسين التي تصل إلى 35 ضعفًا عمليًا بعد، ولم تصدر Zyphra نواة تنفيذ محسّنة للتقنية.
في سياق سابق، كان DeepSeek وMiniMax تعملان على تطوير تقنيات انتباه متناثر لخفض كلفة معالجة السياقات الطويلة.
أسئلة سريعة
ما هي تقنية Zyphra Hierarchical Attention؟
تقنية انتباه متناثر تعيد تنظيم السياق في وحدات ملخّصة تبني فوقها ملخصات أعلى، لتشكّل هيكل بحث شجريًا يضيّق البحث إلى الأجزاء المطلوبة عند وصول استعلام جديد.
هل طُبقت ZHA على نماذج جاهزة؟
نعم، يمكن تطبيقها على نماذج مدرّبة مسبقًا مع الاحتفاظ بأوزانها، باستخدام نحو 4 مليارات رمز في تدريب التقطير وإضافة 81,920 معاملًا قابلًا للتدريب فقط.
هل قيست سرعة 35 ضعفًا عمليًا؟
لا، السرعة المقدّرة مبنية على نموذج تنبؤ بالأداء، ولم تصدر Zyphra نواة تنفيذ محسّنة للتقنية بعد.