MIT团队发布SwaT技术 跨模型直传KV缓存
研究团队称，SwaT在不同家族的AI模型之间直接传递内部计算状态，平均准确率提升40%，处理时间缩短至四分之一。
据aitimes.com报道，MIT计算机科学与人工智能实验室（MIT CSAIL）与MIT-IBM计算研究实验室的研究人员在预印本平台发布论文《Swarm Telepathy: Prefill-Free KV-Cache Transfer Across Families》，提出名为SwaT（Swarm Telepathy）的方法，可将一个AI模型的KV缓存转换为另一个模型可用的形式，使不同开发者训练的模型在不经过文本的情况下交换内部计算状态。研究团队已在GitHub上公开SwaT代码。
论文数据显示，在对话与阅读理解基准测试中，SwaT相比以文本摘要方式进行的模型间通信，平均准确率提升40%，总处理时间缩短为原来的四分之一。训练仅需约4400万个不重复token和不到1个GPU日的算力，且参与实验的模型本身未做微调。
实验覆盖多组跨家族模型组合，包括Qwen到Llama，以及Gemma到Qwen和Granite。其中一项实验中，Gemma模型分析图像后通过SwaT将内部状态传给纯文本模型，后者回答图像相关问题的准确率高于仅提供图像描述的情况。另一项实验中，将Qwen 3 4B的内部状态传给Llama 3 8B后，Llama在中文基准CMMLU全部67个科目上的得分均有提升，填补了Qwen与Llama之间约四分之三的差距。
局限与待解问题
研究同时列出该方法的限制：每一组发送方与接收方模型都需要单独训练一个转换器；反复合并或融合KV缓存时存在不稳定性；传输缓存的可审计性与安全性仍有待研究。
此前，多智能体AI系统通常由一个AI将结果总结为文本供另一个AI阅读，这种方式可能丢失信息，并带来额外的计算开销。
快速问答
SwaT是什么？
SwaT（Swarm Telepathy）是MIT CSAIL与MIT-IBM计算研究实验室提出的一种方法，可将一个AI模型的KV缓存转换为另一个模型可用的形式，让不同家族的模型直接交换内部计算状态而无需文本。
SwaT的代码在哪里获取？
研究团队已在GitHub上公开SwaT的代码。
SwaT有哪些局限？
每组发送方与接收方模型都需要单独训练转换器，反复合并KV缓存时存在不稳定性，传输缓存的可审计性与安全性也尚待研究。