دراسة تكشف تفاوتاً بنسبة 40.2 نقطة مئوية في دقة استرجاع DeepSeek-V4

نشر باحثون من ByteDance وجامعة Princeton وجامعة Stanford وجامعة UC Berkeley ورقة بحثية بعنوان "Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression" على أرشيف إلكتروني، كشفت أن ضغط KV-cache المُجزأ المستخدم في DeepSeek يسبب تفاوتاً في دقة الاسترجاع حسب موضع المعلومة داخل النص.

أظهرت الاختبارات باستخدام مدخلات من 128,000 token أن دقة الاسترجاع في النماذج الأساسية من سلسلة DeepSeek V4 تفاوتت بنسبة تصل إلى 40.2 نقطة مئوية حسب موضع المعلومة. بلغت هذه الفجوة 40.2 نقطة مئوية في النموذج الأساسي DeepSeek-V4 Flash، و34.8 نقطة مئوية في النموذج الأساسي V4 Pro.

بعد تدريب إضافي، تقلصت الفجوة إلى 19.1 نقطة مئوية في V4 Flash، و14.8 نقطة مئوية في V4 Pro، و6.1 نقطة مئوية في V4.1 Flash. ولم تُظهر النماذج المقارنة التي تستخدم آلية الانتباه الكامل القياسية التباين الدوري نفسه في الأداء.

وقال الباحثون إن الدقة المتوسطة العالية قد تتواجد مع فشل في مواضع محددة، وإنه ينبغي قياس الأداء من خلال تغيير موضع المعلومة داخل وحدات الضغط. وأشاروا إلى الحاجة إلى مزيد من الدراسة حول تأثير هذه الظاهرة على السلامة والموثوقية في التطبيقات الواقعية.

دلالات النتائج

تشير الورقة إلى أن الاعتماد على متوسط الدقة وحده قد يحجب نقاط ضعف موضعية في نماذج الضغط. ويحتاج الباحثون وفقاً للورقة إلى تقييم أثر هذه الظاهرة على السلامة والموثوقية قبل التطبيقات العملية.