PSSA implémente un modèle de langage non‑transformer en Rust

Présentation du modèle

PSSA (Plastic State‑Space Architecture) est un petit modèle de langage qui ne repose pas sur l’architecture transformer. Le dépôt GitHub indique qu’il lit le texte un token à la fois via une couche récurrente de type state‑space, conserve une banque de mémoires épisodiques et modifie une partie de ses poids pendant l’inférence. Le projet est entièrement écrit en Rust, sans aucune dépendance à PyTorch, TensorFlow ou à d’autres frameworks d’apprentissage automatique.

Architecture state‑space récurrente

Le cœur de PSSA est une couche state‑space appliquée de façon récurrente. Contrairement aux transformeurs, qui utilisent des mécanismes d’attention quadratiques en fonction de la longueur de la séquence, la couche state‑space maintient un état continu et met à jour cet état à chaque token. Cette approche réduit la complexité mémoire à O(1) par token, ce qui facilite le traitement de flux de texte long sans surcharge de stockage. Le modèle conserve ainsi un profil de calcul linéaire, adapté aux environnements où la bande passante mémoire est limitée.

Mémoires épisodiques et réécriture de poids

En plus du réseau récurrent, PSSA intègre une bank de mémoires épisodiques. Cette structure agit comme un index externe que le modèle interroge pour récupérer des représentations précédemment stockées, rappelant le mécanisme d’attention mais externalisé. Parallèlement, le code source mentionne une réécriture partielle des poids pendant l’exécution, ce qui constitue une forme d’apprentissage en ligne. Cette capacité permet au modèle d’ajuster ses paramètres en fonction du contexte immédiat, mais introduit également le risque de catastrophic forgetting si les mises à jour ne sont pas régulées.

Implications techniques et limites

Le choix de Rust apporte plusieurs avantages : compilation native, absence de ramasse‑miettes, vérifications d’emprunt à la compilation et possibilités de parallélisation sécurisée. Ces caractéristiques favorisent une exécution CPU très efficace, mais le projet ne bénéficie pas d’une prise en charge native du GPU, ce qui contraint les phases d’entraînement à des ressources matérielles moins spécialisées. Le README indique que, « at matched parameters and on the same corpus », PSSA atteint des performances comparables à des modèles transformeurs de taille équivalente, bien que les métriques précises ne soient pas publiées. L’absence de benchmarks détaillés limite l’évaluation objective de la supériorité ou de l’équivalence du modèle. Enfin, l’absence d’un écosystème d’outils ML mature (optimiseurs, visualisations, pipelines de données) impose aux développeurs de construire ces composants en interne, augmentant la charge de travail et le risque d’erreurs.