Cloudflare détaille une fuite de cache KV sur GLM-5.3

Cloudflare a publié le 26 octobre 2026 son explication d'une exposition de cache KV entre requêtes sur le modèle GLM-5.3 (@cf/zai-org/glm-5.3) hébergé sur Workers AI, selon gigazine.net. Au total, 155 réponses ont été affectées, toutes pour des prompts dépassant 681 280 tokens.

Les investigateurs de Cloudflare ont conclu que les requêtes concernées correspondaient, en rythme et en volume, à des usages normaux de contexte long, ce qui rend une exploitation délibérée improbable. L'incident résulte de la combinaison d'une erreur de configuration et d'un bug dans le moteur d'inférence open source SGLang.

Le modèle avait été déployé avec une fenêtre de contexte de 1 048 576 tokens, mais avec un pool de cache KV de préremplissage capable d'en contenir seulement 681 280. Un bug dans la gestion des requêtes surdimensionnées par SGLang en mode préremplissage/décodage désagrégé remplaçait les requêtes rejetées par un placeholder d'un token et transmettait le cache KV de ce placeholder au nœud de décodage.

Cloudflare a désactivé le modèle, ajusté le pool de cache KV pour contenir environ 2,04 millions de tokens et corrigé SGLang afin que les requêtes rejetées soient écartées et que le nombre de tokens transférés soit vérifié. L'entreprise recommande aux opérateurs de passer à SGLang v0.5.22 ou ultérieur et d'activer la libération différée du cache KV, de limiter les lots de transfert Mooncake et de détecter la corruption des sorties.

Chronologie de l'incident

GLM-5.3 était sorti sur Workers AI le 27 août 2026 avec un pool KV de préremplissage configuré plus petit que sa fenêtre de contexte. Entre le 27 août et le 9 septembre 2026, certains clients du modèle ont reçu des réponses contenant les données de requêtes d'autres clients. Le problème a été signalé via HackerOne le 8 septembre 2026, et Cloudflare a corrigé l'incident et rétabli le modèle le 9 septembre 2026.