Contexte et source des observations

Le 3 novembre, une analyse automatisée réalisée avec Gemini 4 Argon a porté sur 1 400 sessions Claude Code exécutées par le modèle Opus 5.5. Aucun changement de nom de version n’a été annoncé, mais les métriques extraites indiquent une modification nette du comportement de raisonnement du modèle.

Analyse des données de session

Gemini 4 Argon a comparé les temps de réponse, le nombre d’étapes de chaîne de pensée et le taux de résolution des bugs. Avant le 3 novembre, Opus 5.5 résolvait les incidents en moyenne en quelques minutes. Après cette date, le même modèle a « high‑jumped » dans l’action, générant des réponses rapides mais incohérentes, et a échoué à proposer une solution pendant plus de trois heures dans un test de bug réel.

En parallèle, la variante Opus 5.5 xhigh a montré un temps de réflexion légèrement plus long, mais a trouvé la correction en quelques minutes, suggérant que le paramètre de « thinking time » a été ajusté différemment entre les deux déclinaisons.

Hypothèses techniques sur la régression

Plusieurs mécanismes internes peuvent expliquer ce revirement de performance sans modification du numéro de version :

• Modification du système prompt : un affinement des instructions de sécurité ou de style peut réduire la profondeur de la chaîne de pensée, favorisant des réponses superficielles.

• Réglage du paramètre de température ou de top‑p : une hausse de la température augmente la diversité des tokens générés, ce qui peut accélérer la production de texte au détriment de la cohérence logique.

• Changement du budget de tokens : une réduction du nombre maximal de tokens alloués à la réflexion limite le nombre d’étapes de raisonnement, entraînant des réponses précipitées.

• Intégration de nouvelles garde‑fous de sécurité : des filtres additionnels peuvent interrompre prématurément les boucles de pensée lorsqu’ils détectent des patterns jugés risqués, ce qui se traduirait par un « high‑jump » suivi d’une impasse.

Implications et limites de l’enquête

Les observations sont basées sur un échantillon de 1 400 sessions et sur un test ponctuel de bug. Elles ne permettent pas de conclure de façon définitive à une « nerf‑down » généralisée du modèle, car les variations de charge serveur, les différences de prompt utilisateur ou les changements de données d’entraînement peuvent également jouer un rôle.

Pour confirmer la nature exacte du changement, il serait nécessaire d’extraire les logs de cliproxy depuis ClickHouse, comme le suggère l’auteur du tweet, afin de comparer les métriques de latence, les scores de cohérence et les paramètres de génération avant et après le 3 novembre.

En attendant une clarification officielle d’Anthropic, les développeurs qui s’appuient sur Opus 5.5 devraient envisager d’ajuster leurs prompts, de tester la variante xhigh ou de réduire la température afin de restaurer la profondeur de raisonnement observée précédemment.