StateBench évalue le suivi d’état des modèles sur de longs documents

Présentation

StateBench est un benchmark conçu pour mesurer la capacité des modèles de langage à suivre l’évolution d’entités au sein de documents très longs. Le test s’appuie sur quatre niveaux de difficulté – r‑trivial, aperiodic, soluble et general finite – qui correspondent à des types d’affectations de variables de plus en plus complexes, du simple assignement immuable à l’échange de références entre variables. Cette hiérarchie s’appuie sur la théorie de Krohn‑Rhodes, qui décrit les problèmes de suivi d’état comme des mots sur des monoïdes finis.

Architecture et niveaux de difficulté

Les niveaux se distinguent ainsi :

// r‑trivial : let x = 4;
// aperiodic : x = 4; … later x = 2;
// soluble : x = x + 5;
// general finite : x = y; // ou échange de deux variables

Dans le niveau general finite, chaque mise à jour peut dépendre d’une valeur précédemment assignée à une autre variable, créant ainsi des chaînes de dépendances qui, selon la théorie, dépassent les capacités des transformeurs classiques.

Résultats expérimentaux

Les auteurs ont évalué plusieurs modèles ouverts – Olmo 3 (transformeur, 7 Mrd paramètres), Olmo Hybrid (transformeur + Gated DeltaNet, 7 Mrd), ainsi que des modèles de 275 M et 2,7 Mrd de paramètres – tous entraînés sur des contextes ne dépassant pas 64 000 tokens. Sur les tâches r‑trivial, la plupart des modèles atteignent presque le plafond. En revanche, la précision chute dès le niveau aperiodic lorsque la longueur d’entrée augmente, et les performances tombent à un niveau aléatoire sur les problèmes general finite.

Un phénomène notable apparaît selon le format du problème : le modèle hybride de 275 M atteint le plafond sur les problèmes RULER‑style r‑trivial, mais reste au hasard lorsqu’on les reformule comme des éditions de feuilles de calcul, soulignant l’influence du format d’entrée sur la capacité de suivi.

Quatre modèles de pointe – Gemini 3.8 Flash, Claude Opus 5.5, GPT‑6 Sol et GPT‑6 Luna – ont également été testés. Tous réussissent les niveaux r‑trivial et aperiodic, mais leur exactitude chute brutalement sur les niveaux soluble et general finite, descendant à 13 % ou moins sur les séquences les plus longues du niveau general finite. Cette chute reflète la sensibilité accrue aux erreurs : chaque étape supplémentaire augmente la probabilité qu’une mise à jour soit omise, ce qui invalide le résultat final.

Implications et limites

Les observations confirment les limites théoriques des transformeurs : ils gèrent correctement les affectations immuables et, dans une certaine mesure, les réaffectations simples, mais échouent lorsqu’il faut maintenir une mémoire dynamique à long terme. Les architectures récurrentes ou hybrides, comme Gated DeltaNet, montrent une meilleure généralisation lorsqu’elles sont entraînées directement sur les tâches de suivi d’état, ce qui suggère que le problème relève davantage de l’architecture que du simple volume de données pré‑entraînement.

Cependant, l’étude reste limitée aux modèles pré‑entraînés documentés et aux longueurs de contexte supérieures à 64 k tokens. Aucun test n’a été réalisé sur des modèles capables de traiter des contextes encore plus longs, ni sur des variantes de StateBench intégrant du texte narratif plutôt que des affectations de variables. Ces lacunes ouvrent la voie à de futures investigations sur l’interaction entre format d’entrée, longueur de contexte et capacité de suivi d’état.