Présentation

L’article de Simon Willison montre que le modèle Qwen 3.8 27B, exécuté localement sur un ordinateur portable, peut analyser directement les poids d’un réseau de neurones et en déduire la tâche d’apprentissage. Cette capacité, qualifiée de « Weight‑Space Programming », a d’abord été illustrée dans le papier Sparks of Weight‑Space Programming, où le modèle GPT‑6 Astra identifiait le jeu d’entraînement d’une politique et modifiait 0,016 % des poids pour améliorer les performances en mathématiques.

Expérimentation avec Qwen 3.8 27B

Willison a récupéré les prompts du dépôt GitHub RikiyaT/lm_understand-logs, qui contiennent les poids d’une politique entraînée sur quatre jeux simplifiés (Breakout, Pong, Pac‑Man, Freeway). Il a lancé le modèle via LM Studio avec un contexte élargi (le contexte par défaut de 8192 tokens échouait) et a augmenté le délai d’exécution à 900 s :

LMSTUDIO_TIMEOUT=900 \
  llm -f https://raw.githubusercontent.com/RikiyaT/lm_understand-logs/refs/heads/main/exp1_which_game/runs/pacman/prompt.txt \
  -m lmstudio/qwen/qwen3.8-27b

Le modèle a mis 46 minutes 12 secondes et a généré 43 506 tokens de raisonnement pour identifier Pac‑Man avec 72 % de confiance. Les mêmes paramètres ont donné 1 h 4 min 54 s pour Pong (75 % de confiance) et 52 min 25 s pour Breakout (88 % de confiance). Qwen a échoué sur le prompt Freeway, renvoyant une description proche de Pac‑Man.

Analyse technique des performances

Les temps d’inférence reflètent la charge de traitement liée à la lecture de millions de valeurs flottantes et à la génération d’un raisonnement séquentiel. Le modèle exploite son contexte élargi pour conserver l’ensemble des poids (environ plusieurs dizaines de mégaoctets) et les intégrer dans le prompt. La confiance affichée provient d’une probabilité interne calculée sur la séquence de sortie, ce qui indique que le modèle ne se contente pas d’une correspondance de motifs mais construit une description cohérente à partir des valeurs numériques. La différence de succès entre les jeux montre que la densité d’information dans les poids influence la lisibilité : les jeux plus simples (Breakout, Pong) possèdent des structures de poids plus distinctes que le jeu Freeway, plus obscur.

Limites et perspectives

Cette démonstration repose sur un contexte limité à quelques milliers de tokens ; les poids complets d’un modèle plus grand ne tiennent pas dans la fenêtre même d’un LLM de 27 B paramètres. De plus, l’absence d’outils externes (calculatrice, exécution de code) signifie que le raisonnement reste purement symbolique et dépend fortement de la formulation du prompt. Le papier original indique que la modification de poids (0,016 %) peut améliorer des benchmarks, mais aucune expérience de ce type n’est reproduite ici. Enfin, la dépendance à des plugins spécifiques (llm‑openrouter, llm‑lmstudio) limite la reproductibilité sans ces extensions.