Présentation du benchmark

SketchAgentBench est une suite de tests conçue pour évaluer la capacité des agents de codage basés sur des grands modèles de langage (LLM) à générer du code 3D à partir d’images et d’instructions textuelles. Chaque tâche propose une scène (ex. un bookcase, la skyline de Toronto) dont le rendu doit être reproduit en trois dimensions. Le benchmark regroupe 22 à 25 paires d’agents par tâche, ce qui permet de comparer directement leurs sorties.

Méthodologie et métriques

Le juge principal utilise le modèle Gemini‑4 Argon en mode "baseline‑balanced" et a effectué 1 120 appels API pour 560 paires d’évaluations. Les scores agrégés montrent une précision globale de 0.8619, une précision excluant les égalités de 0.9459, un coefficient kappa de 0.6368 et un coefficient de corrélation de Spearman de 0.9909. Le taux de retournement (flips) est de 0.0946, indiquant que les juges changent d’avis dans moins de 10 % des cas.

Analyse des résultats

Le tableau des victoires révèle que Nemotron 3.5 Super VL domine le classement avec 23 victoires contre Claude Opus 5.5 et aucune défaite. Claude Sonnet 5.5 obtient 17 victoires sur Nemotron mais subit 0 pertes contre ce dernier, ce qui montre une forte asymétrie entre les modèles. GPT‑6 Astra enregistre 20 victoires contre Claude Sonnet 5.5 mais perd 20 fois face à Nemotron, illustrant une performance variable selon l’adversaire. Les modèles plus récents comme DeepSeek V4.1 Flash (1017) affichent 12 victoires contre Claude Opus 5.5 mais subissent 18 défaites contre GPT‑6 Astra, ce qui indique que la supériorité dépend du type de tâche et du prompt.

Limites et perspectives

Le benchmark repose sur un juge unique, ce qui peut introduire un biais de préférence lié à Gemini‑4 Argon. De plus, les tâches restent limitées à des scènes statiques et ne couvrent pas la dynamique ou les contraintes physiques avancées (collision, contraintes de matériaux). Malgré ces réserves, les métriques de cohérence (kappa 0.6368, Spearman 0.9909) suggèrent une évaluation fiable pour les scénarios présentés. Les futures itérations pourraient intégrer plusieurs juges et élargir le corpus à des environnements interactifs afin de mieux caractériser les capacités de raisonnement spatial des LLMs.