MIT 연구진, 모델 간 KV 캐시 전송 기법 SwaT 공개

MIT CSAIL과 MIT-IBM Computing Research Lab 연구진이 서로 다른 계열의 AI 모델 사이에서 KV 캐시를 직접 전송하는 기법을 담은 논문을 온라인 아카이브에 게재하고 코드를 깃허브에 공개했다고 aitimes.com이 보도했다. 논문 제목은 'Swarm Telepathy: Prefill-Free KV-Cache Transfer Across Families'이며, 기법 이름은 SwaT(Swarm Telepathy)다.

SwaT는 한 모델의 KV 캐시를 다른 모델이 사용할 수 있는 형태로 변환해, 서로 다른 개발사의 모델이 텍스트 없이 내부 연산 상태를 교환할 수 있게 한다. 기존에는 한 AI가 결과를 텍스트로 요약해 다른 AI가 읽는 방식이 쓰였는데, 이 과정에서 정보가 손실될 수 있고 추가 연산이 필요했다.

대화 및 독해 이해 벤치마크 실험에서 SwaT는 텍스트 요약 기반 통신과 비교해 정확도를 평균 40% 높이고 전체 처리 시간을 4분의 1로 줄였다. 학습에는 약 4400만 개의 고유 토큰과 1 GPU-데이 미만이 소요됐으며, 모델 자체는 파인튜닝하지 않았다. 실험에는 Qwen에서 Llama로, Gemma에서 Qwen과 Granite로 이어지는 조합 등이 포함됐다.

한 실험에서는 Gemma 모델이 이미지를 분석해 내부 상태를 SwaT로 텍스트 전용 모델에 넘겼고, 해당 모델은 이미지 설명만 받았을 때보다 이미지 관련 질문에 더 정확하게 답했다. Qwen 3 4B의 내부 상태를 Llama 3 8B에 전달한 경우에는 중국어 벤치마크 CMMLU의 67개 과목 모두에서 Llama의 점수가 올라 Qwen과 Llama의 격차 가운데 약 4분의 3이 줄었다.

연구진은 한계도 밝혔다. 송신자와 수신자 쌍마다 별도의 변환기를 학습해야 하고, KV 캐시를 반복적으로 결합하거나 병합할 때 불안정해질 수 있으며, 전송된 캐시의 감사 가능성과 안전성은 여전히 열린 질문으로 남아 있다.