Contexte du benchmark
Le Frontier Design Benchmark, lancé par Contra Labs, constitue le premier ensemble de tests basé sur des projets de design réels, à forte valeur ajoutée et à complexité élevée. Les évaluations sont réalisées par 68 designers professionnels du réseau Contra Labs, qui jugent chaque proposition d’IA selon une grille de 35 dimensions de critique. Le classement final repose sur un système de notation Elo dérivé de 4 311 votes anonymes, chaque vote opposant deux modèles sur le même brief.
Méthodologie d’évaluation
Chaque brief – au total 33 – décrit un besoin client concret. Les modèles d’IA génèrent des concepts visuels qui sont ensuite présentés en duel à des designers, qui sélectionnent le meilleur. Cette comparaison « blind head‑to‑head » élimine les biais d’identification du modèle. Les scores Elo sont calculés à partir des résultats de ces duels, offrant une mesure relative de performance. En parallèle, les réponses sont notées selon le rubric, dont les scores affichent une corrélation de r = 0,94 avec les jugements globaux des designers, ce qui indique une forte cohérence entre les critères quantitatifs et l’appréciation qualitative.
Analyse des résultats
Le tableau de classement place deux modèles qualifiés de « stealth » en tête, tous deux devant Claude Fable 5.2, modèle précédemment dominant. Leur position supérieure suggère que, malgré l’absence de communication publique, ils atteignent des scores Elo supérieurs aux modèles bien connus tels que Claude Opus 5.5 ou GPT‑6.1 Sol. La présence de plusieurs variantes de Claude (Fable 5.2, Opus 5.5, Sonnet 5.5) et de Gemini (4 Carbon, 4 Argon) montre la densité concurrentielle du champ. Le haut du classement regroupe également des modèles comme Kimi K3.1 Pro et Qwen3.8 Max, indiquant que la capacité à interpréter des briefs de design complexes n’est plus l’apanage d’un seul fournisseur.
Limites et perspectives
Le benchmark repose sur un nombre limité de briefs (33) et sur une communauté de designers restreinte (68), ce qui peut introduire un biais de spécialisation sectorielle. De plus, les deux modèles « stealth » ne sont pas décrits, empêchant une analyse de leurs architectures ou de leurs jeux de données d’entraînement. La forte corrélation du rubric (r = 0,94) confirme la pertinence des dimensions choisies, mais ne garantit pas que toutes les facettes créatives du design soient capturées. Enfin, le système Elo, bien adapté aux compétitions à deux joueurs, ne reflète pas nécessairement la performance absolue sur des tâches hors du cadre de comparaison directe.