SK hynix développe SALT-KV et CMM Hybrid pour le cache KV
Lors de sa conférence téléphonique sur les résultats du troisième trimestre 2026, SK hynix a détaillé des technologies de hiérarchisation de la mémoire pour l'IA d'inférence.
SK hynix a annoncé, lors de sa conférence téléphonique sur les résultats du troisième trimestre 2026, qu'il développe des technologies de hiérarchisation du cache KV nommées SALT-KV et CMM Hybrid, et qu'il anticipe de nouvelles opportunités de demande pour le NAND grâce à l'IA d'inférence, selon le média sud-coréen inews24.com.
Le fabricant de mémoires explique que la taille du cache KV croît rapidement avec la diffusion de l'IA agentique et des contextes longs. Stocker l'intégralité de ce cache dans la HBM et la DRAM se heurte toutefois à des limites de capacité et de coût, selon l'entreprise.
Face à ces contraintes, SK hynix estime qu'une structure mémoire à plusieurs niveaux, répartissant les données entre HBM, DRAM et SSD selon la fréquence d'accès, devient plus importante. Le NAND pourrait ainsi trouver de nouveaux débouchés pour stocker et réutiliser le contexte nécessaire à l'inférence. Des SSD sont déjà utilisés pour décharger le cache KV dans certains systèmes d'IA, précise l'entreprise.
SALT-KV est décrit comme un logiciel qui évalue la valeur de réutilisation et le coût de stockage de chaque cache KV et optimise le placement des données entre HBM, DRAM et SSD. CMM Hybrid est présenté comme une technologie de mémoire hybride basée sur CXL qui stocke l'intégralité du cache KV sur SSD tout en préchargeant en DRAM les données susceptibles d'être nécessaires.
SK hynix indique par ailleurs qu'il précise les domaines d'application et les performances requises de ses SSD d'entreprise dans les environnements d'inférence, via des démonstrations système fondées sur des charges de travail d'IA réelles. À moyen et long terme, l'entreprise prévoit d'adresser un nouveau niveau de mémoire entre la HBM et le SSD avec la High Bandwidth Flash (HBF), qui combine la capacité et l'efficacité en coût du NAND avec une bande passante élevée.
En bref
Qu'est-ce que SALT-KV ?
SALT-KV est un logiciel qui évalue la valeur de réutilisation et le coût de stockage de chaque cache KV et optimise le placement des données entre HBM, DRAM et SSD.
Qu'est-ce que CMM Hybrid ?
CMM Hybrid est une technologie de mémoire hybride basée sur CXL qui stocke l'intégralité du cache KV sur SSD tout en préchargeant en DRAM les données susceptibles d'être nécessaires.
Quel est l'objectif de la High Bandwidth Flash ?
SK hynix prévoit d'adresser, à moyen et long terme, un nouveau niveau de mémoire entre la HBM et le SSD avec la HBF, qui combine la capacité et l'efficacité en coût du NAND avec une bande passante élevée.