Contexte et objectifs

Les auteurs partent du constat que l’interprétabilité mécaniste des grands modèles de langage reste limitée. Pour contourner la complexité de réseaux comme GPT‑3 (96 couches, alternance attention/MLP), ils se concentrent sur des transformeurs « attention‑only » comportant au plus deux couches. Cette restriction permet d’isoler les effets des têtes d’attention sans l’interférence des blocs MLP, tout en conservant la dynamique d’apprentissage en contexte. L’étude vise à identifier des motifs algorithmiques réutilisables dans des modèles plus grands.

Représentation mathématique équivalente

Le papier propose de reformuler le calcul d’un bloc d’attention sous une forme mathématiquement équivalente mais non standard. En supprimant explicitement les biais (repliés dans les poids) et la normalisation de couche (fusionnée dans les matrices adjacentes), chaque tête est décrite par trois matrices : 

Q = W_Q X,   K = W_K X,   V = W_V X
où X représente le flux résiduel. Le produit QKᵀ génère les scores d’attention, suivis d’un softmax et d’une multiplication par V. Cette abstraction met en évidence que le seul facteur déterminant du comportement d’une tête est la structure des poids W_Q, W_K, W_V, facilitant l’analyse de leurs fonctions fonctionnelles.

Induction heads et apprentissage en contexte

En appliquant ce cadre aux modèles à deux couches, les chercheurs découvrent des têtes d’attention qu’ils nomment « induction heads ». Ces têtes reproduisent des motifs de copie de token lorsqu’un token apparaît à nouveau plus tard dans la séquence, ce qui correspond à l’apprentissage en contexte observé dans les grands modèles. L’étude montre que les induction heads n’émergent que lorsque le modèle possède au moins deux couches d’attention : la première couche crée une représentation de la séquence, la seconde exploite cette représentation pour établir des correspondances de position. Cette condition structurelle est corroborée par des expériences où la suppression de la deuxième couche empêche l’apparition du comportement d’induction.

Limites et perspectives

Le cadre repose sur plusieurs simplifications : absence de MLP, omission des biais et de la normalisation, et restriction à des modèles très petits. Ces choix réduisent la fidélité vis‑à‑vis des transformeurs industriels, où les blocs MLP et la normalisation jouent un rôle crucial dans la stabilisation du gradient et la modulation de l’information. De plus, la généralisation des induction heads aux modèles de plusieurs dizaines de couches reste hypothétique ; les auteurs annoncent un suivi où ils observent une pertinence partielle, mais aucune preuve exhaustive. Enfin, la reformulation mathématique, bien qu’élégante, ne fournit pas de méthode automatisée pour identifier d’autres circuits potentiels, limitant son usage à des analyses manuelles.