Compression KV-cache : une sensibilité de phase découverte par ByteDance

Des chercheurs de ByteDance, de l'Université de Princeton, de l'Université de Stanford et de l'UC Berkeley ont publié un article intitulé « Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression » sur une archive en ligne, selon aitimes.com. Le travail porte sur la compression chunked du KV-cache utilisée par DeepSeek et décrit un phénomène de sensibilité de phase dans la récupération d'informations.

Les chercheurs ont observé la même dégradation de performance sur DeepSeek-V4, DeepSeek-V4.1 et sur l'ensemble des modèles de compression qu'ils ont pré-entraînés eux-mêmes. Avec des entrées de 128 000 tokens, la précision de récupération des modèles de base de la série DeepSeek-V4 variait jusqu'à 40,2 points de pourcentage selon la position de l'information.

L'écart atteignait 40,2 points de pourcentage pour le modèle de base DeepSeek-V4 Flash et 34,8 points de pourcentage pour le modèle de base V4 Pro. Après un entraînement supplémentaire, l'écart s'est réduit à 19,1 points de pourcentage pour V4 Flash, à 14,8 points de pourcentage pour V4 Pro et à 6,1 points de pourcentage pour V4.1 Flash, précisent les auteurs.

Les modèles comparatifs utilisant l'attention complète standard n'ont pas montré la même variation périodique de performance. Les chercheurs soulignent qu'une précision moyenne élevée peut coexister avec des défaillances propres à certaines positions et que la performance doit être mesurée en faisant varier la position de l'information à l'intérieur des chunks de compression.

Ils ajoutent que des travaux complémentaires sont nécessaires pour comprendre comment ce phénomène affecte la sécurité et la fiabilité des applications en conditions réelles.