SK海力士研发KV缓存分层技术SALT-KV与CMM Hybrid
SK海力士在第三季度财报电话会议上表示，代理式AI与长上下文推动KV缓存规模快速增长，NAND有望获得AI推理新需求。
据inews24.com报道，SK海力士在第三季度财报电话会议上表示，随着代理式AI和长上下文的普及，KV缓存的规模正在快速增大。
SK海力士称，将全部KV缓存存放在HBM和DRAM中会受到容量和成本的限制。按访问频率把数据分配到HBM、DRAM和SSD的分层内存结构正变得愈发重要。
SK海力士表示，部分AI系统已经将SSD用于KV缓存卸载，公司预计NAND将在存储和复用AI推理所需上下文方面获得新的需求机会。
两项分层技术正在开发
SK海力士正在开发包括SALT-KV和CMM Hybrid在内的内存分层技术。SALT-KV是一款软件，用于判断每份KV缓存的复用价值与存储成本，并优化数据在HBM、DRAM和SSD之间的放置。CMM Hybrid则是一种基于CXL的混合内存技术，将全部KV缓存存放在SSD上，同时把可能需要的数据预加载到DRAM。
SK海力士表示，正通过基于真实AI工作负载的系统演示，明确企业级SSD在推理环境中的应用领域与所需性能。公司还计划在中长期通过高带宽闪存（HBF）填补HBM与SSD之间的新内存层级，结合NAND的容量与成本效率以及高带宽。
快速问答
SALT-KV是什么？
据SK海力士介绍，SALT-KV是一款软件，用于判断每份KV缓存的复用价值与存储成本，并优化数据在HBM、DRAM和SSD之间的放置。
CMM Hybrid如何工作？
SK海力士称，CMM Hybrid是一种基于CXL的混合内存技术，将全部KV缓存存放在SSD上，同时把可能需要的数据预加载到DRAM。
SK海力士计划用什么填补HBM与SSD之间的层级？
SK海力士计划在中长期通过高带宽闪存（HBF）解决这一新内存层级，结合NAND的容量与成本效率以及高带宽。