Memorilla diminue de 108 fois le nombre de tokens pour les LLMs

Principe de fonctionnement

Memorilla est un système de mémoire destiné aux grands modèles de langage (LLM) gelés. Le processus débute par un encodage unique de chaque document – conversations, chapitres de livres, etc. – dans un espace d’embeddings réutilisables. Lorsqu’une requête arrive, le modèle apprend à récupérer les embeddings pertinents et à les projeter sous forme de tokens de mémoire directement dans l’espace d’entrée du LLM. Le nombre de ces tokens est fixé à 16, quel que soit le volume de la collection source, ce qui contraint la longueur du contexte tout en conservant l’information nécessaire à la tâche.

Performances sur les benchmarks

Sur huit jeux de tests couvrant la personnalisation, la réponse à des documents longs et les questions à forte intensité de connaissances, Memorilla se démarque sur cinq d’entre eux. Sur le benchmark FactKG, le système atteint 84.33 % de précision, contre 80.43 % obtenus avec une inférence utilisant le contexte complet du document. Cette amélioration s’accompagne d’une réduction du nombre de tokens d’entrée de 108 fois, passant de plusieurs milliers à seulement 16 tokens de mémoire. Les comparaisons incluent les approches Mem0 et MemoRAG, qui utilisent davantage de tokens pour des performances inférieures ou équivalentes.

Apprentissage continu et applications

Memorilla s’insère également dans des scénarios d’apprentissage continu où le nombre de documents augmente au fil du temps, comme les agents conversationnels qui accumulent des tours de dialogue. Dans l’environnement TextWorld, l’ajout de la mémoire Memorilla diminue la propension de l’agent à revisiter des pièces déjà explorées. Le taux de succès moyen passe de 18.6 % (avec un historique complet en contexte) à 24.2 % grâce à la capacité du système à synthétiser les informations pertinentes en 16 tokens. Cette amélioration montre que la mémoire externe peut compenser les limites de la fenêtre contextuelle d’un LLM gelé.

Limites et perspectives

Le modèle repose sur un encodage préalable des documents ; toute mise à jour du contenu nécessite un recalcul des embeddings, ce qui peut introduire un coût de rafraîchissement dans des flux de données très dynamiques. De plus, la sélection de 16 tokens impose une contrainte fixe qui pourrait ne pas suffire pour des requêtes extrêmement complexes, même si les résultats actuels indiquent une marge de performance suffisante pour les tâches évaluées. Les travaux futurs pourraient explorer des stratégies adaptatives du nombre de tokens ou des mécanismes de mise à jour incrémentale des embeddings afin de réduire le coût de recomputation tout en maintenant la densité d’information.