Contexte et modèle de référence

Gemini 4 Carbon domine le classement Agent Duel lorsqu’on exclut les votes précoces, mais son débit de génération reste limité à 46 tokens par seconde. Cette lenteur constitue le principal frein de Carbon malgré son score d’Elo élevé. La version Neon, annoncée récemment, se présente comme une évolution incrémentale du modèle, avec l’objectif explicite d’améliorer la rapidité d’inférence.

Mesure de performance et vitesse

Lors de son déploiement via OpenRouter, Gemini 4 Neon a atteint un débit de 127 tokens par seconde, soit près de trois fois la vitesse de Carbon. Cette mesure a été obtenue dans des conditions de service « extrêmement rapide », ce qui suggère une optimisation du pipeline d’inférence (par ex. réduction du nombre de passes de décodage ou amélioration du parallélisme). Le gain de vitesse est quantifiable et constitue un paramètre clé dans les évaluations de performance, au même titre que le score d’Elo.

Modélisation du classement

Pour estimer l’impact de la vitesse sur le classement, l’auteur a construit un modèle statistique intégrant trois variables : l’identité du modèle, la vitesse d’inférence et la présence de votes précoces. Après plusieurs itérations, une interaction entre vitesse et votes précoces a été ajoutée, améliorant la capacité prédictive. Le résultat indique que la vitesse pèse presque autant que l’identité du modèle, ce qui justifie l’accent mis sur le débit de Neon.

Projection et incertitudes

En supposant que Neon conserve les performances qualitatives de Carbon tout en bénéficiant du débit de 127 tps, le modèle projette un score d’Elo de 1 066 sur le tableau Agent Duel. Ce chiffre se situe juste en dessous du score d’Opus 5.5, qui est de 1 078 dans le même instant d’analyse. L’intervalle de confiance à 90 % pour la différence d’Elo s’étend de -94 à +68, traduisant une marge d’erreur notable due aux variations de vote et à la stochasticité du duel. La probabilité de victoire de Neon contre Opus 5.5 est estimée à 48,3 % (les égalités comptées comme une demi‑victoire), ce qui place Neon comme un concurrent très proche du leader actuel.

Implications et limites

Le principal enseignement réside dans la démonstration que l’optimisation du débit peut compenser, voire surpasser, les gains purement algorithmiques. Cependant, la projection repose sur l’hypothèse que les scores qualitatifs de Neon restent identiques à ceux de Carbon, ce qui n’est pas vérifié empiriquement. De plus, le modèle de classement ne prend pas en compte d’éventuelles variations de charge serveur ou de latence réseau, facteurs susceptibles d’influer sur le débit réel en production. En l’absence de mesures directes du score d’Elo de Neon, la conclusion reste probabiliste.