SwaT : des chercheurs transfèrent l'état interne d'un modèle IA à un autre
La méthode SwaT convertit le cache KV d'un modèle pour qu'un autre puisse l'exploiter, avec un gain de précision de 40 % en moyenne selon les chercheurs.
Des chercheurs du laboratoire CSAIL et du MIT-IBM Computing Research Lab ont publié un article sur SwaT (Swarm Telepathy), une méthode permettant de transférer directement le cache KV entre des modèles issus de familles différentes, et ont mis le code à disposition sur GitHub. L'information a été rapportée par aitimes.com.
La technique convertit le cache KV d'un modèle en une forme exploitable par un autre modèle, ce qui permet à des systèmes de développeurs différents d'échanger leur état de calcul interne sans passer par du texte. Selon les résultats publiés, SwaT améliore la précision de 40 % en moyenne et réduit le temps de traitement total d'un facteur 4 par rapport à une communication fondée sur des résumés textuels, sur des benchmarks de dialogue et de compréhension de lecture.
Les expériences ont porté sur plusieurs combinaisons, dont Qwen vers Llama, ainsi que Gemma vers Qwen et Granite. Dans un cas, un modèle Gemma a analysé des images et transmis son état interne via SwaT à un modèle uniquement textuel, qui a ensuite répondu à des questions sur les images avec une meilleure exactitude que lorsqu'il recevait seulement une description de l'image.
Le transfert de l'état interne de Qwen 3 4B vers Llama 3 8B a par ailleurs amélioré les scores de Llama sur les 67 matières du benchmark chinois CMMLU, comblant environ les trois quarts de l'écart entre Qwen et Llama.
Des limites identifiées
Seuls environ 44 millions de tokens uniques et moins d'une journée GPU d'entraînement ont été nécessaires, et les modèles eux-mêmes n'ont pas été affinés. Les chercheurs signalent toutefois plusieurs limites : la nécessité d'un convertisseur distinct entraîné pour chaque paire émetteur-récepteur, une instabilité lors de la combinaison ou de la fusion répétée de caches KV, et des questions ouvertes sur l'auditabilité et la sécurité des caches transférés.
Auparavant, les systèmes multi-agents faisaient résumer leurs résultats sous forme de texte par un modèle pour qu'un autre le lise, une approche susceptible de perdre des informations et de demander un calcul supplémentaire.
En bref
Qu'est-ce que SwaT ?
SwaT (Swarm Telepathy) est une méthode qui convertit le cache KV d'un modèle IA en une forme utilisable par un autre modèle, permettant à des modèles de développeurs différents d'échanger leur état de calcul interne sans texte.
Où trouver le code de SwaT ?
Les chercheurs ont publié le code de SwaT sur GitHub.
Quelles sont les limites de SwaT ?
Il faut un convertisseur distinct entraîné pour chaque paire émetteur-récepteur, les caches KV deviennent instables lorsqu'ils sont combinés ou fusionnés de façon répétée, et l'auditabilité et la sécurité des caches transférés restent des questions ouvertes.