Contexte historique
En 2014, Dzmitry Bahdanau, alors stagiaire au laboratoire de l’Université de Montréal, a cherché à améliorer la traduction neuronale anglais‑français. Les réseaux de neurones de l’époque compilaient chaque phrase dans un vecteur de taille fixe avant le décodage, ce qui provoquait une dégradation des performances dès que la phrase dépassait quelques mots. Cette limitation était identifiée comme le principal goulot d’étranglement des modèles de traduction.
Bahdanau, sous la direction de Yoshua Bengio et avec Kyunghyun Cho, a introduit une opération mathématique baptisée « attention », qui a permis de traiter les phrases longues avec la même précision que les courtes.
Fonctionnement de l’attention
L’attention repose sur trois vecteurs : query, key et value. Pour chaque token d’entrée, le modèle calcule un produit scalaire entre la query et toutes les keys, normalise les scores par un softmax, puis effectue une somme pondérée des values. Le résultat constitue une représentation contextuelle qui intègre directement les relations entre tous les tokens de la séquence. Cette architecture évite le besoin d’un encodage fixe et rend le processus « scalable » : la qualité ne dépend plus de la longueur de la phrase.
Le calcul de l’attention a un coût algorithmique de l’ordre de O(n²) où n est le nombre de tokens, ce qui explique pourquoi les premiers modèles restaient limités par la mémoire disponible.
Impact du transformer
En 2017, Google a publié le papier Attention Is All You Need, qui a retiré toutes les composantes récurrentes au profit d’une architecture entièrement basée sur l’attention, le transformer. Le document rapporte que les transformers atteignent l’état‑de‑l’art en traduction tout en nécessitant « une fraction de la computation » requise par les modèles précédents. Depuis sa publication, le papier a été cité plus de 250 000 fois, témoignant de son adoption massive.
Les transformers constituent le socle des grands modèles de langage (LLM) tels que ChatGPT ou Claude, qui exploitent des milliards de paramètres et des jeux de données massifs. L’attention, en tant que mécanisme central, permet à ces modèles de gérer des contextes très longs, d’effectuer du raisonnement de type « coreference » (ex. résolution du pronom « it »), et de générer du texte cohérent.
Limites et perspectives
Malgré son efficacité, l’attention quadratique reste coûteuse en mémoire pour des séquences très longues, ce qui pousse la communauté à développer des variantes « efficient attention » (sparse, linéaire, etc.). De plus, le lien entre attention et « intelligence » demeure théorique : le mécanisme améliore la capacité de traitement de l’information, mais ne suffit pas à expliquer la compréhension sémantique profonde ou la conscience.
En résumé, l’introduction de l’attention en 2014 a résolu le problème de l’encodage fixe, le transformer de 2017 a généralisé ce principe à l’échelle du deep learning, et les recherches actuelles se concentrent sur l’optimisation de son coût computationnel tout en explorant ses implications cognitives.
