Contexte et méthodologie
Le benchmark interne compare Gemini 4 Carbon à deux agents de code, Opus 5.5 et Astra, sur des tickets de correction de bugs. Sur un même jeu de tâches, Carbon a mis 22 minutes 21 secondes alors qu’Opus 5.5 (configuration « high ») a atteint 9 minutes 33 secondes. Les mesures portent sur le temps total d’exécution, la répartition des étapes, le nombre d’appels d’outils et le volume de texte traité.
Analyse des facteurs de lenteur
Le premier facteur identifié est la vitesse d’inférence. Les latences de file d’attente, le temps réseau et la génération de texte représentent 16 % à 30 % du surplus de temps de Carbon par rapport à Astra, et 45 % à 49 % face à Opus. Le reste provient d’une charge de travail plus importante.
Carbon exécute environ sept fois plus d’étapes que Astra et onze fois plus d’actions (lecture de fichiers ou exécution de commandes). Chaque étape renvoie la conversation complète, ce qui multiplie le texte traité par plus de seize fois. Ainsi, même si chaque étape est comparable en durée, le volume d’informations à encoder augmente de façon exponentielle.
Une analyse qualitative montre que la moitié des étapes de Carbon ne répondent à aucune exigence du ticket. Le modèle continue d’auditer du code non lié au bug et de « fermer des failles » déjà exclues par le rapport. Cette activité superflue prolonge la phase de diagnostic de six minutes à plus de trente minutes avant que le correctif ne soit réellement écrit.
Les inefficacités mécaniques aggravent le problème. Carbon ne réalise en moyenne qu’un appel d’outil par étape, souvent limité à la lecture d’un seul fichier, alors qu’Astra en effectue plus de deux et regroupe plusieurs fichiers. De plus, 39 % des lignes lues par Carbon ont déjà été parcourues, contre seulement 7 % pour Astra. Ces redondances sont estimées à environ 25 % du temps supplémentaire.
Optimisations potentielles
Des expériences de contrôle ont introduit un rappel automatique toutes les cinq étapes : « avez‑vous déjà assez d’informations pour corriger ? ». Cette simple vérification a réduit le temps total de Carbon de 37 minutes à 28 minutes et a raccourci l’intervalle entre l’identification du problème et la modification du code de 25 minutes à 10 minutes. Le résultat indique que la lenteur provient davantage d’une stratégie de recherche exhaustive que d’une lacune de connaissance.
Pour améliorer les performances, trois axes sont prioritaires : (1) aligner les paramètres d’effort avec ceux des modèles concurrents afin de réduire les temps d’inférence, (2) filtrer les étapes non requises en introduisant des critères d’arrêt basés sur le périmètre du ticket, et (3) optimiser la gestion des appels d’outils, par exemple en regroupant les lectures de fichiers et en mémorisant les lignes déjà analysées. La mise en œuvre de ces mesures pourrait réduire le temps de résolution de plus d’un quart, rapprochant Carbon des performances d’Astra et d’Opus.