Principe de la mémoire associative
Dans un modèle de type transformer, chaque souvenir est représenté par une paire clé‑valeur (k_i, v_i) où k_i\in\mathbb{R}^{d_k} sert de vecteur de recherche et v_i\in\mathbb{R}^{d_v} du contenu à restituer. La fonction de stockage f répond à une requête x en calculant f(x)=V^{\top}Kx=\sum_{i=1}^{M} v_i (k_i^{\top}x). Cette forme linéaire correspond à un produit extérieur accumulé dans une matrice de poids W=V^{\top}K. Le rappel dépend donc de la similarité entre la requête et chaque clé stockée.
Capacité du magasin linéaire
Si chaque clé est normalisée (\|k_i\|=1), le signal récupéré pour la clé cible k_j est v_j, mais s’ajoute une interférence \sum_{i\neq j} v_i (k_i^{\top}k_j). Pour des clés aléatoires, chaque produit scalaire vaut environ \pm 1/\sqrt{d_k}. L’interférence totale se comporte comme une marche aléatoire, dont la norme croît comme \sqrt{M/d_k}. Le rapport interférence‑signal devient \sqrt{M/d_k}; il atteint 1 lorsque M\approx d_k. Ainsi, le magasin à produit extérieur possède une capacité d’environ d_k souvenirs avant que le bruit ne submerge le signal.
Améliorations linéaires et non linéaires
Pour dépasser cette limite, on peut optimiser les poids W afin de satisfaire simultanément toutes les équations Wk_i=v_i. La solution des moindres carrés donne W = V^{\top}K (K^{\top}K)^{-1}, ce qui double approximativement la capacité (environ 2d_k) grâce à une meilleure annulation de l’interférence. Au-delà du cadre purement linéaire, les réseaux à perceptron multicouche (MLP) introduisent des non‑linéarités qui filtrent les contributions des clés peu similaires, réduisant ainsi l’interférence résiduelle. Enfin, le mécanisme d’auto‑attention, qui normalise les similarités via un softmax, offre une sélectivité encore plus forte : chaque requête ne pondère que les clés les plus proches, ce qui permet de stocker un nombre de souvenirs qui croît de façon quasi‑exponentielle avec d_k. Avec des clés de dimension 64, l’article montre que l’auto‑attention peut théoriquement gérer plus d’un million de paires, contre seulement 64 pour le magasin linéaire brut.
Implications pratiques
Ces calculs soulignent que la taille de la dimension des clés constitue le principal facteur matériel limitant la mémoire d’un transformer. Augmenter d_k améliore la capacité linéaire mais impose un coût quadratique en mémoire et en calcul (matrice K^{\top}K). Les architectures modernes privilégient donc l’auto‑attention, qui exploite le même d_k tout en offrant une capacité effective bien supérieure grâce à la sélection softmax. Le modèle reste toutefois sensible à la densité des clés : des vecteurs trop corrélés augmentent l’interférence et dégradent la précision du rappel, même avec un mécanisme d’attention.
