Introduction
Les grands modèles de langage ont de plus en plus besoin d'accumuler et de réutiliser les informations historiques dans les assistants et les systèmes d'agents à long terme. L'expansion simple de la fenêtre de contexte est coûteuse et ne garantit souvent pas une utilisation efficace du contexte.
Contexte Technique
Les mécanismes de mémoire existants peuvent être lourds et nécessiter une grande quantité de données pour fonctionner correctement. Le modèle proposé, appelé Δ-mem, utilise une mémoire associative compacte qui met à jour son état en utilisant la règle delta, permettant ainsi de compresser les informations passées dans une matrice d'état de taille fixe.
Analyse et Implications
Les résultats montrent que Δ-mem améliore le score moyen à 1,10 fois celui du modèle de base gelé et à 1,15 fois celui du modèle de mémoire le plus fort sans Δ-mem. Ces gains sont encore plus importants sur les benchmarks qui nécessitent une grande quantité de mémoire, atteignant 1,31 fois sur MemoryAgentBench et 1,20 fois sur LoCoMo, tout en préservant les capacités générales.
Perspective
Les résultats de cette étude suggèrent que la mémoire efficace peut être réalisée à travers un état en ligne compact directement couplé avec le calcul de l'attention, sans fine-tuning complet, remplacement du modèle de base ou extension explicite du contexte. Cela ouvre des perspectives pour l'amélioration des modèles de langage et leur application dans des domaines tels que les assistants virtuels et les systèmes d'agents.
