Principe du Lattice de latents

Le Lattice de Latents introduit, pour chaque couche d’un Transformer, un flux horizontal de latents qui s’étend récurremment le long du temps. Ce flux coexiste avec le flux vertical résiduel qui progresse en profondeur. Les latents ne sont pas de simples chemins de résidu ; ils constituent des états actifs persistants qui conditionnent l’attention, les écritures du KV‑cache, les MLP et le décodage à chaque token. La largeur du flux vertical est notée dmodel tandis que celle du flux horizontal est dr. Ainsi, la capacité de calcul du modèle s’accroît non pas par une profondeur supplémentaire, mais par le nombre d’états simultanés maintenus.

Résultats expérimentaux

Sur le jeu de données FineWeb‑Edu (20 M M tokens), un modèle Lattice de 406 M paramètres atteint une perplexité de validation de 14,40, contre 15,41 pour un Transformer de même taille. Le gain persiste lorsqu’on ajoute les hyper‑connections (HC) et les résidus d’entrée : la perplexité passe de 15,41 (Transformer de base) et 14,22 (Transformer avec HC) à 13,61 avec le Lattice enrichi. Les expériences couvrent également les architectures Gated DeltaNet, Mamba‑2, Triadic GDN et les hybrides GDN‑Mamba‑2 ; dans chaque cas, la version Lattice surpasse le modèle de référence, même lorsqu’on compare à des baselines disposant d’états natifs quatre fois plus grands.

Les modèles Lattice utilisent 22 couches contre 40 pour le Transformer de référence, tout en conservant la même largeur d’attention (1024). Cette réduction de profondeur entraîne un KV‑cache 45 % plus petit, ce qui diminue la consommation mémoire sans affecter les performances. Le coût en opérations flottantes par token (GFLOP/token) reste comparable, l’ajout des scores d’attention ne représentant qu’environ 0,1 GFLOP/token supplémentaire.

Analyse des gains et limites

Le principal facteur de l’amélioration réside dans la persistance des états horizontaux, qui offrent une forme de mémoire explicite au modèle. Cette mémoire influence directement les calculs d’attention, ce qui explique la réduction de perplexité même avec une largeur verticale réduite (par exemple, un régime « hard » où la largeur verticale est limitée à 256 dimensions). En ajoutant progressivement les mises à jour horizontales, on observe une récupération quasi totale de l’écart de performance avec un Transformer complet.

Malgré ces bénéfices, le Lattice impose une complexité de mise en œuvre supplémentaire : chaque couche doit gérer à la fois le flux vertical et le flux horizontal, ce qui peut compliquer l’optimisation sur du matériel spécialisé. De plus, les expériences sont limitées aux jeux de données de pré‑entraînement de grande échelle (FineWeb‑Edu) et aux modèles d’environ 400 M paramètres ; l’impact sur des modèles plus petits ou sur des tâches en aval n’est pas encore documenté.