EEBench évalue la capacité des IA à concevoir des circuits électroniques

Contexte et démonstration

OpenAI a récemment présenté GPT‑6 Astra en train de créer une carte électronique dans KiCad, ce qui a relancé le débat sur la capacité des modèles de génération de texte à concevoir du matériel réel. La démonstration se limite à la manipulation d’une interface graphique, mais elle montre que les modèles possèdent déjà une connaissance substantielle des concepts électroniques, acquise à partir de manuels, de fiches techniques et de code source.

Méthodologie du benchmark EEBench

EEBench repose sur atopile, un langage déclaratif qui décrit le schéma, les connexions et les contraintes électriques sous forme de code. Cette approche évite les actions de souris et permet à l’agent IA de modifier le design, de lancer des simulations SPICE et d’analyser les échecs sans quitter le projet. Le benchmark comprend 13 tâches, allant d’un simple compteur d’énergie résidentiel à la synthèse d’un filtre passe‑bas à rétroaction multiple autour d’un amplificateur opérationnel.

Dans la tâche énergie, le circuit doit maintenir le processeur au-dessus de 3,0 V pendant 20 ms après la chute d’une alimentation de 5 V. Le test simule la coupure d’alimentation, mesure la tension de la rail protégée, calcule la capacité effective au point de fonctionnement et évalue la vitesse de recharge. Les marges de tolérance des condensateurs, leurs coûts et leurs dimensions sont intégrés au calcul, reflétant les contraintes réelles de production.

Pour les tâches analogiques, le cadre génère automatiquement le netlist SPICE à chaque coin de tolérance (résistances, condensateurs, valeurs de Q) et mesure gain, fréquence de coupure, ondulation et réponse transitoire. Le score technique combine ces mesures avec une efficacité de coût calculée à partir du bordereau de pièces réel extrait des datasheets.

Résultats et analyse des scores

Les premiers résultats (1 septembre) montrent que Claude Opus 5 atteint 61,6 % de réussite, suivi de Grok 4.6 à 57,1 % et Claude Fable 5.1 à 56,4 %. Le modèle de xAI, Grok 4.6, a été évalué à 60,0 % lorsqu’il a été exécuté avec un effort de raisonnement élevé, ce qui confirme l’impact d’un entraînement ciblé sur des données d’ingénierie et de RL en CAD.

Anthropic maintient des scores supérieurs à 55 % de façon constante, alors que les modèles OpenAI testés affichent 42,3 % (GPT‑5.5) et 39,4 % (GPT‑5.6 Sol). Aucun résultat officiel n’est disponible pour GPT‑6 Astra, bien que la démonstration visuelle suscite l’attente d’une amélioration significative.

Limites et perspectives

EEBench V1 se restreint à la phase de conception et de vérification simulation‑only ; il ne mesure pas encore la capacité à placer les composants, à générer les fichiers de fabrication (Gerber) ou à réaliser le bring‑up matériel. Ces étapes restent essentielles pour valider une chaîne de production complète.

Le benchmark est entièrement déterministe : chaque design soumis est converti en graphe de circuit, le BOM est extrait, puis une batterie de simulations SPICE fournit des mesures comparées à des limites prédéfinies. Cette rigueur permet d’utiliser les écarts comme signaux de récompense dans un environnement de renforcement, ouvrant la voie à des boucles d’entraînement où l’IA apprend de ses propres échecs.

En résumé, EEBench fournit une métrique objective pour évaluer la « raison d’ingénierie » des grands modèles, tout en soulignant que la conception de cartes électroniques complètes reste hors de portée des IA actuelles. Les progrès futurs devront intégrer la génération de layout, la prise en compte des contraintes de fabrication et l’interaction avec des chaînes d’approvisionnement réelles.