Infinite-Parameter LLM génère des poids à partir de données en temps réel

Contexte et motivations

Les lois d’échelle montrent qu’un modèle de langage gagne en capacité en augmentant le nombre de paramètres et la quantité de données d’entraînement. Les architectures Mixture‑of‑Experts (MoE) exploitent ce principe en n’activant qu’une fraction d’une banque de paramètres massive pour chaque token. Cette approche repose toutefois sur des données de pré‑entraînement statiques, alors que les modèles déployés rencontrent continuellement des informations inédites – faits fournis par l’utilisateur ou corrections en temps réel – qui ne sont jamais intégrées aux poids figés.

Architecture proposée

Les auteurs introduisent l’Infinite‑Parameter LLM, qui remplace le stockage fixe de poids par un hyperréseau compact. Ce dernier transforme les données reçues au moment de l’inférence en une modulation à faible rang d’un réseau de base partagé. Ainsi, les poids des couches feed‑forward sont générés dynamiquement à partir du contexte d’exécution plutôt que lus dans une banque pré‑chargée. Le modèle conserve un empreinte mémoire fixe, mais le nombre effectif de paramètres qu’il peut compiler devient théoriquement infini.

Mise à jour bayésienne en ligne

Contrairement aux générateurs de poids classiques qui lisent le contexte une fois puis le figent, l’Infinite‑Parameter LLM maintient une croyance bayésienne sur le code latent du générateur. Cette croyance est mise à jour à chaque tour de dialogue, ce qui permet de re‑déduire les poids à partir d’une distribution évolutive plutôt que d’un vecteur statique. L’opération d’actualisation s’effectue en ligne, garantissant que les connaissances acquises persisteront au-delà d’une seule requête et libéreront la fenêtre contextuelle du modèle.

Évaluation et limites

Les auteurs définissent un protocole d’évaluation comparant trois stratégies : (i) apprentissage en‑contexte traditionnel, (ii) récupération d’information externe, et (iii) le nouveau mécanisme de génération de poids. Les premiers résultats indiquent que la persistance des poids générés améliore la généralisation sur des tâches nécessitant une adaptation continue, tout en réduisant le coût de calcul lié à la relecture du prompt. Cependant, le papier ne fournit pas de mesures de latence ni d’analyse de la stabilité numérique du hyperréseau lorsqu’il traite des flux de données très bruyants. Ces points restent à explorer avant une adoption à grande échelle.