Contexte et perception initiale

Le champ de l’interprétabilité mécanistique a longtemps été dominé par l’idée que les réseaux profonds, à l’instar d’InceptionV1, contenaient des neurones poly­sémiques. Un exemple célèbre était un neurone qui répondait à la fois à des visages de chat et à l’avant d’une voiture, ce qui a conduit à la théorie de la superposition : lorsqu’un réseau manque de neurones, il « plie » des concepts sans lien apparent afin d’éviter les interférences. Cette hypothèse a justifié l’usage de modèles auxiliaires, comme les auto‑encodeurs parcimonieux, pour « dénouer » le nœud supposé avant toute analyse directe.

Réévaluation de la superposition sur InceptionV1

Des études récentes ont montré que la superposition était une lecture erronée de l’architecture d’InceptionV1. Des améliorations architecturales – notamment la normalisation de groupe et des blocs de convolution plus profonds – ont augmenté la capacité des couches supérieures sans changer la taille du modèle ni la quantité de données d’entraînement. Après ces ajustements, 99‑100 % des neurones de la dernière couche sont devenus facilement interprétables. Cette transition s’est produite sans recours à un modèle de décomposition externe, ce qui indique que le problème résidait dans une limitation d’apprentissage plutôt que dans un principe d’apprentissage distinct.

Échelles de taille et généralisations

Le même réseau a été entraîné sur une gamme de tailles couvrant un facteur de 300×. À petite échelle, les neurones couvrent des concepts grossiers : un seul neurone « voiture » active pour de nombreuses variantes. En augmentant la capacité, ce neurone se fractionne en sous‑neurones spécialisés (voiture de sport, berline, etc.). Cette observation confirme que le « pliage » de concepts n’est pas un phénomène inhérent, mais le résultat d’une contrainte de capacité qui disparaît dès que le réseau dispose d’assez de paramètres.

État actuel des modèles de langage

Les conclusions tirées d’InceptionV1 se répercutent sur les modèles de texte. Une étude interne d’OpenAI a trouvé 1,7 % des neurones interprétables selon leurs critères les plus généreux, tandis qu’une analyse préliminaire de Qwen3‑32B estime que ≈90 % des pôles neuronaux remplissent une fonction principale, ≈7 % en remplissent deux liées et 2‑4 % restent non compris. La variation dépend du seuil de comptage des activations faibles et de la profondeur du réseau. Même les « activations faibles » – par exemple le neurone « Titanic » qui s’active également pour des références à des bateaux ou à la vapeur – restent cohérentes avec une généralisation ordinaire plutôt qu’avec un enchevêtrement aléatoire.