Zyphra dévoile ZHA, une attention éparse 35x plus rapide sur 10 millions de tokens
Zyphra a publié sur arXiv un article présentant ZHA, une technique d'attention éparse qui, selon ses estimations, accélère le traitement de contextes de 10 millions de tokens.
La startup américaine Zyphra a publié un article sur arXiv présentant Zyphra Hierarchical Attention (ZHA), une technique d'attention éparse destinée au traitement de contextes très longs. Selon aitimes.com, la première version de l'article a été soumise le 30 septembre 2026 et une version révisée a été publiée le 2 novembre 2026.
ZHA organise le contexte existant en petites unités résumées, puis construit des résumés de niveau supérieur à partir de ces résumés, formant une structure de recherche arborescente. Lorsqu'une nouvelle requête arrive, ZHA recherche depuis le niveau supérieur les zones pertinentes, puis se concentre sur les seules parties nécessaires.
Le modèle de prédiction de performance de Zyphra, bâti autour de la puissance de calcul et de la bande passante mémoire du GPU NVIDIA H100, estime que ZHA traite l'attention environ 32 à 35 fois plus vite que l'attention standard avec un contexte de 10 millions de tokens. Le même modèle évalue ZHA environ 4,7 à 5,1 fois plus rapide que l'attention éparse de Minimax Limited (MSA), et cet avantage devrait s'accroître avec la longueur du contexte.
ZHA peut être appliqué à des modèles pré-entraînés existants en conservant leurs poids, avec environ 4 milliards de tokens de distillation et seulement 81 920 paramètres entraînables. Dans les expériences menées avec le modèle Qwen3.6-35B-A3B, ZHA a égalé l'attention standard sur les benchmarks de récupération en contexte long, de raisonnement et de codage agentique : 63,4 % sur LongBench v2 contre 58 % pour l'attention standard, tout en ne référençant qu'environ 1,1 % du cache KV total, et 67,4 % sur SWE-bench Verified.
Sur le modèle NVIDIA Nemotron 3.5 Lightning, la précision RULER de ZHA s'est toutefois révélée inférieure à celle de l'attention standard, avec une baisse allant jusqu'à 25,3 points de pourcentage dans les structures arborescentes profondes. L'accélération annoncée n'a pas encore été mesurée en pratique et Zyphra n'a pas publié de noyau d'exécution optimisé.
Un contexte concurrentiel actif
En septembre 2026, DeepSeek et Minimax Limited développaient déjà des techniques d'attention éparse visant à réduire le coût du traitement des contextes longs.
En bref
Qu'est-ce que Zyphra Hierarchical Attention (ZHA) ?
Une technique d'attention éparse qui organise le contexte en unités résumées et en résumés de résumés, formant une structure de recherche arborescente pour traiter de très longs contextes.
Quelle accélération ZHA promet-il ?
Le modèle de prédiction de Zyphra estime un traitement environ 32 à 35 fois plus rapide que l'attention standard sur un contexte de 10 millions de tokens, mais cette accélération n'a pas encore été mesurée en pratique.
ZHA peut-il être appliqué à des modèles existants ?
Oui, ZHA peut être appliqué à des modèles pré-entraînés en conservant leurs poids, avec environ 4 milliards de tokens de distillation et 81 920 paramètres entraînables.