異なるAIモデル間でKVキャッシュを転送するSwaT、コード公開

マサチューセッツ工科大学計算機科学・人工知能研究所（CSAIL）とマサチューセッツ工科大学-IBM Computing Research Labの研究者らが、オンラインアーカイブに論文「Swarm Telepathy: Prefill-Free KV-Cache Transfer Across Families」を公開した。異なる開発元のAIモデル間でKVキャッシュを変換して受け渡す手法で、SwaT（Swarm Telepathy）と名付けられた。aitimes.comが報じた。コードはGitHubで公開されている。

テキスト要約を介さない受け渡し

SwaTは、あるモデルのKVキャッシュを別のモデルが利用できる形式に変換する。これにより、モデル同士がテキストを介さずに内部計算状態を交換できる。対話と読解理解のベンチマークでは、テキスト要約を介した通信と比べて精度が平均40%向上し、処理時間は4分の1に短縮された。

学習に必要なのは約4400万個のユニークトークンと1 GPU日未満で、モデル自体の追加学習は行っていない。実験ではQwenからLlamaへの組み合わせ、GemmaからQwenやGraniteへの組み合わせなどが試された。Gemmaモデルが画像を解析して内部状態をSwaTでテキスト専用モデルに渡すと、画像の説明文だけを与えた場合より画像関連の質問への回答精度が上がった。Qwen 3 4Bの内部状態をLlama 3 8Bに渡すと、中国語ベンチマークCMMLUの全67科目でLlamaのスコアが改善し、QwenとLlamaの差の約4分の3が埋まった。

従来のマルチエージェント型AIシステムでは、一方のAIが結果をテキストに要約してもう一方が読む方式が取られており、情報が失われたり余分な計算が必要になったりする可能性があった。

課題として、送信側と受信側の組ごとに専用の変換器を学習させる必要があること、KVキャッシュを繰り返し結合・統合すると不安定になること、転送されたキャッシュの監査性や安全性が未解決であることが挙げられている。