Astra lit les poids des LLM et les modifie pour améliorer Qwen

Présentation de la programmation en espace de poids

Le modèle GPT‑6 nommé Astra démontre la capacité de lire directement les paramètres d’un réseau de neurones et d’y appliquer des modifications ciblées, sans recourir à un optimiseur traditionnel. Cette approche, baptisée Weight‑Space Programming, repose sur le raisonnement du LLM appliqué aux valeurs numériques qui composent les poids. Astra utilise une description en langage naturel comme spécification, puis analyse la géométrie et la distribution des poids pour en déduire le comportement du modèle sous‑jacent.

Expériences de lecture de poids

Dans une première série d’expériences, Astra a reçu les poids bruts de réseaux entraînés par PPO pour jouer à quatre jeux vidéo distincts. Sans aucune information supplémentaire, le LLM a correctement identifié le jeu correspondant à chaque réseau, en s’appuyant sur des indices tels que la concentration des poids du premier calque d’entrée (par exemple, les poids alignés sur la rangée inférieure pour le paddle de Breakout) et la différenciation des actions dans la couche de sortie.

Un deuxième test a porté sur des modèles de diffusion (DDPM) entraînés à générer des formes géométriques (cercle, triangle, carré). Astra a pu déterminer la forme cible uniquement à partir des poids, en observant que chaque neurone de la couche de sortie codait les bords de la forme. L’erreur d’afficher uniquement le contour, au lieu de la forme remplie, indique que le modèle ne simule pas de passage avant mais lit la structure spatiale des paramètres.

Écriture de poids et amélioration de performances

Le point culminant de l’étude concerne le modèle de langue Qwen3.5‑0.8B. Astra a été chargé d’améliorer ses capacités en mathématiques sans accès aux gradients. En identifiant une anomalie responsable de boucles de raisonnement, il a modifié 0,016 % des poids. Cette correction a fait passer le score MATH‑500 de 7,9 % à 48,1 % et a triplé le résultat IFEval, tout en conservant les paramètres d’échantillonnage initiaux. Le gain montre que de minuscules ajustements, guidés par le raisonnement du LLM, peuvent surpasser des entraînements conventionnels de plusieurs centaines de millions d’étapes.

Une autre expérience a retiré les couches d’entrée et de sortie d’un petit modèle de 7,2 M paramètres (formé sur du code Python, du japonais romaji et de l’anglais). Astra a analysé uniquement les quatre blocs transformeurs intermédiaires et a correctement identifié la langue d’entraînement ainsi que la fonction de chaque tête d’attention, notamment les « copying heads » responsables de la répétition de séquences.

Analyse des implications et limites

Ces résultats suggèrent que les LLMs peuvent devenir des optimiseurs de poids autonomes, remplaçant partiellement les algorithmes de descente de gradient. La capacité à raisonner sur la topologie des poids ouvre des perspectives pour l’interprétabilité : chaque groupe de poids peut être associé à une fonction identifiable. Cependant, la méthode repose sur des modèles de pointe capables de manipuler des milliards de paramètres via le texte, ce qui limite son applicabilité aux modèles plus modestes ou aux environnements où l’accès aux poids bruts est restreint. De plus, la modification directe des poids sans validation dynamique peut introduire des instabilités non détectées, notamment dans des tâches sensibles où les interactions entre couches sont complexes.

En résumé, la programmation en espace de poids montre que les LLMs peuvent à la fois décoder et réécrire les réseaux neuronaux, offrant un nouveau paradigme d’optimisation guidée par le langage. La recherche devra maintenant quantifier la robustesse de ces interventions, étendre la technique aux architectures plus larges et définir des protocoles de sécurité pour éviter des altérations involontaires.