SKハイニックス、KVキャッシュ階層化技術を開発中

SKハイニックスは2026年10月28日の第3四半期決算説明会で、KVキャッシュの階層化技術「SALT-KV」と「CMM ハイブリッド」を開発していると明らかにした。inews24.comが伝えた。エージェント型AIや長いコンテキストの普及に伴い、KVキャッシュの規模が急速に拡大していることが背景にある。

同社によると、KVキャッシュのすべてをHBMとDRAMに保存する方式は、容量とコストの面で限界がある。このため、データをアクセス頻度に応じてHBM、DRAM、SSDに振り分ける階層型メモリ構造の重要性が増しているという。

SALT-KVは、各KVキャッシュの再利用価値と保存コストを判断し、HBM、DRAM、SSD間のデータ配置を最適化するソフトウェアとされる。CMM ハイブリッドはCXLベースのハイブリッドメモリ技術で、KVキャッシュ全体をSSDに置きながら、必要になりそうなデータをDRAMに先読みする仕組みだ。

SKハイニックスは、SSDが一部のAIシステムでKVキャッシュのオフロードにすでに使われていると説明した。AI推論に必要なコンテキストの保存と再利用に向けて、NANDに新たな需要機会が生まれると見込んでいる。

同社は実際のAIワークロードに基づくシステム実証を通じ、推論環境におけるエンタープライズSSDの適用領域と要求性能の具体化を進めている。中長期的には、NANDの容量とコスト効率、高帯域を組み合わせた「高帯域幅フラッシュ（HBF）」で、HBMとSSDの間に位置する新たなメモリ階層を狙う計画だ。