Cache-to-Cache améliore la précision des LLMs de 6 à 14 %

Contexte et motivations

Les systèmes composés de plusieurs grands modèles de langage (LLM) tirent parti de leurs compétences complémentaires, mais la plupart des architectures existantes font communiquer les modèles via du texte. Cette conversion impose une génération token par token et entraîne une perte d’information sémantique contenue dans les représentations internes. Le papier Cache-to-Cache: Direct Semantic Communication Between Large Language Models, soumis le 3 octobre 2025 et révisé le 2 mars 2026, expose ces limites et propose d’utiliser le KV‑cache – la mémoire clé‑valeur interne des transformeurs – comme canal de communication direct.

Principe de la communication Cache-to-Cache

C2C introduit un réseau neuronal capable de projeter le KV‑cache du modèle source dans l’espace du modèle cible, puis de le fusionner avec le cache du modèle récepteur. Un mécanisme de gating appris sélectionne les couches du modèle cible qui bénéficient réellement de l’injection du cache externe. Cette approche évite la génération intermédiaire de texte et conserve la profondeur sémantique des deux modèles. Les auteurs soulignent que l’enrichissement du cache n’augmente pas la taille totale du KV‑cache, ce qui préserve la consommation mémoire.

Évaluation expérimentale

Les expériences portent sur plusieurs jeux de données de classification et de question‑réponse. Les résultats indiquent une amélioration de la précision moyenne comprise entre 6,4 % et 14,2 % par rapport à chaque modèle utilisé isolément. En comparaison avec le paradigme texte‑texte, C2C dépasse les performances de 3,1 % à 5,4 % tout en réduisant le temps de latence d’un facteur moyen de 2,5. Ces gains sont obtenus sans modification du nombre de paramètres des modèles, uniquement grâce à la transmission du cache.

Limites et perspectives

Le travail se concentre sur des modèles de taille similaire et ne teste pas la communication entre architectures très hétérogènes (par ex. un modèle dense et un modèle sparsifié). De plus, le processus de projection du cache nécessite un entraînement supplémentaire, ce qui ajoute une phase de pré‑préparation non négligeable. Les auteurs suggèrent que de futures recherches pourraient explorer des stratégies de mise à l’échelle du gating pour des réseaux de plus de dix modèles, ainsi que l’impact de la compression du cache sur la robustesse du transfert sémantique.