Qwen 3.8 améliore son rappel de 20,58 points avec préremplissage GPT‑5.5 Pro

Méthodologie de l’expérimentation

L’étude reproduit le protocole de reasoning prefills en utilisant GPT‑5.5 Pro comme modèle enseignant. Pour chaque problème, deux réponses sont générées par le modèle cible : une réponse standard et une réponse préfixée par les 1 % initiaux du raisonnement de GPT‑5.5 Pro, insérés dans le canal de raisonnement du modèle cible. La partie visible de la réponse reste librement générée. Le critère d’évaluation est le unigram source recall : proportion de mots du texte visible du professeur retrouvés dans les 100 premiers tokens de la réponse du modèle cible. Le jeu de test comprend 45 problèmes, répartis équitablement entre 15 STEM, 15 non‑STEM et 15 puzzles synthétiques.

Résultats pour Qwen 3.8

Qwen 3.8, précédemment proche d’Opus 4.8, affiche une progression de +20,58 points vers GPT‑5.5 Pro lorsqu’il reçoit le préremplissage. Cette hausse dépasse largement les variations observées dans l’expérience antérieure, où le déplacement était négligeable. L’impact est particulièrement prononcé sur les puzzles synthétiques, suggérant que le préfixe transmet des stratégies de résolution spécifiques que Qwen intègre rapidement. Le gain de 20,58 % de rappel indique que le modèle reproduit une part substantielle du raisonnement du professeur dans les premiers tokens, ce qui peut être interprété comme une forme d’apprentissage par imitation à court terme.

Résultats pour Kimi K3 et comparaison

Kimi K3 présente déjà un overlap de 50,11 % avec GPT‑5.5 Pro en condition standard. L’ajout du préremplissage augmente ce taux à 54,42 %, soit un gain de +4,31 points. Bien que le pourcentage absolu soit inférieur à celui de Qwen, la stabilité du rappel indique que Kimi K3 possède une base de similarité élevée avec le modèle enseignant, possiblement due à une formation sur des données similaires ou à une architecture proche. La différence de gain entre les deux modèles reflète probablement des variations d’architecture : Qwen semble plus sensible aux indices initiaux, alors que Kimi K3 bénéficie déjà d’une forte correspondance intrinsèque.

Limites et perspectives

Le protocole ne mesure que le rappel unigramme sur les 100 premiers tokens, ce qui ne capture pas la cohérence globale du raisonnement ni la qualité des réponses finales. De plus, l’étude ne précise pas la taille exacte des modèles ni les hyperparamètres d’inférence, ce qui complique la généralisation des résultats. Enfin, le préremplissage ne couvre que 1 % du raisonnement du professeur, limitant l’évaluation à un effet de « seed » plutôt qu’à une transmission complète de la chaîne de pensée. Des expériences futures pourraient varier la proportion du préfixe, tester d’autres modèles enseignants et étendre l’évaluation à des métriques de cohérence sémantique pour mieux comprendre les mécanismes d’apprentissage par imitation à court terme.