SK하이닉스, KV 캐시 계층화 기술 개발 중…낸드 수요 확대 기대

SK하이닉스가 2026년 10월 28일 3분기 실적 발표 컨퍼런스콜에서 KV 캐시 계층화 기술인 SALT-KV와 CMM 하이브리드를 개발 중이라고 밝혔다. 회사는 에이전트형 인공지능과 롱 컨텍스트 확산으로 KV 캐시 규모가 빠르게 커지고 있다고 설명했다. 이 내용은 inews24.com이 보도했다.

SK하이닉스는 KV 캐시 전체를 HBM과 D램에 저장하는 방식은 용량과 비용 측면에서 한계가 있다고 말했다. 이에 따라 접근 빈도에 따라 데이터를 HBM, D램, SSD에 나눠 저장하는 계층형 메모리 구조가 더 중요해지고 있다고 회사는 밝혔다.

SALT-KV는 각 KV 캐시의 재사용 가치와 저장 비용을 판단해 HBM, D램, SSD 간 데이터 배치를 최적화하는 소프트웨어다. CMM 하이브리드는 CXL 기반 하이브리드 메모리 기술로, KV 캐시 전체를 SSD에 저장하면서 필요할 가능성이 높은 데이터를 D램에 미리 적재하는 방식이다.

SK하이닉스는 일부 인공지능 시스템에서 이미 SSD를 KV 캐시 오프로드 용도로 사용하고 있다고 밝혔다. 회사는 실제 인공지능 워크로드 기반 시스템 시연을 통해 추론 환경에서 기업용 SSD의 적용 영역과 요구 성능을 구체화하고 있다고 설명했다.

회사는 중장기적으로 HBM과 SSD 사이의 새로운 메모리 계층을 고대역폭플래시(HBF)로 대응할 계획이라고 밝혔다. HBF는 낸드의 용량과 비용 효율성에 높은 대역폭을 결합한 기술이다.