Grassmann flows remplacent l'attention dans les modèles de séquence

Contexte et motivation

Les modèles de type Transformer reposent sur l'auto‑attention multi‑tête, qui projette les vecteurs cachés dans un espace tensoriel de paires d’interactions. Cette opération, bien que très expressive, devient difficile à analyser après plusieurs couches, car le tenseur levé ne possède pas d’invariants simples. Les auteurs de l’article Attention Is Not What You Need questionnent la nécessité de cette forme d’attention et proposent une alternative fondée sur la géométrie des sous‑espaces.

Architecture Grassmann sans attention

Le composant central, nommé Causal Grassmann layer, réalise trois étapes distinctes. Premièrement, il réduit linéairement la dimension des états de chaque token, limitant ainsi la charge mémoire. Deuxièmement, il encode les paires de tokens locaux comme des sous‑espaces bidimensionnels sur la variété de Grassmann, en utilisant les coordonnées de Plücker. Cette représentation géométrique conserve les relations locales tout en restant confinée à une dimension finie. Troisièmement, les caractéristiques manifolds sont re‑intégrées aux états cachés via un mécanisme de mélange à portes, ce qui assure une propagation d’information contrôlée.

Contrairement à la matrice d’attention L×L, le calcul repose sur des opérations linéaires et des projections géométriques, ce qui maintient la complexité linéaire en fonction de la longueur de séquence pour un rang fixé.

Résultats expérimentaux

Sur le benchmark de modélisation de langue Wikitext‑2, des modèles purement basés sur Grassmann contenant entre 13 M et 18 M de paramètres atteignent des perplexités de validation à 10‑15 % du niveau des Transformers de même taille. Cette différence reste marginale compte tenu de la réduction de complexité algorithmique.

Pour la tâche d’inférence en langage naturel SNLI, les auteurs ajoutent une tête Grassmann‑Plücker à DistilBERT. La configuration obtient une précision de validation de 0,8550 et une précision de test de 0,8538, légèrement supérieure aux scores obtenus avec une tête Transformer (0,8545 / 0,8511). Ces résultats indiquent que l’approche géométrique peut rivaliser avec l’attention traditionnelle même lorsqu’elle est couplée à un encodeur pré‑entraîné.

Analyse de la complexité et perspectives

Le coût computationnel du mélange Grassmann dépend linéairement de la longueur de séquence, alors que l’attention standard implique une multiplication matricielle quadratique. Cette différence se traduit par une consommation mémoire moindre et une meilleure scalabilité pour de longues séquences, ce qui pourrait être exploité dans des contextes de traitement de documents longs ou de séries temporelles.

En outre, le fait que les interactions soient décrites par des sous‑espaces de rang fixe ouvre la voie à des interprétations basées sur des invariants géométriques. Les auteurs suggèrent que cette structuration pourrait faciliter l’analyse théorique du raisonnement neural, bien que la mise en œuvre de telles interprétations reste à explorer.