Présentation du benchmark

LabRobotBench v0.1, développé par Gamow Labs, propose une série de scénarios où des agents IA doivent reprendre le contrôle d’une plateforme robotique interrompue. Le jeu de données de validation comprend un sous‑ensemble retenu pour lequel chaque agent reçoit un score moyen exprimé en pourcentage. Les résultats publiés indiquent : GPT (version 6.1 / SolCodex) 46,7 %, Opus (5.5 / Claude Code) 23,0 % et Gemini (4 / ArgonGemini CLI) 20,9 %.

Scénarios d’évaluation et contraintes opérationnelles

Le premier scénario simule une interruption au milieu d’une expérience comportant quatre plateaux de cellules. Trois plateaux restent exploitables ; l’agent doit identifier les étapes déjà réalisées, achever le lavage, ajouter le réactif de mesure, lancer l’instrument de lecture, sauvegarder les données et replacer chaque plateau sous son couvercle. La répétition du traitement chimique est explicitement prohibée, sous peine de compromettre l’échantillon.

Le deuxième scénario introduit une concurrence de tâches : deux expériences à finaliser, un échantillon déjà détérioré à mettre de côté, deux plateaux de réactifs à restituer en stockage froid et un échantillon de comparaison à laisser intact. Deux contraintes temporelles sont imposées : l’ajout du prochain réactif doit intervenir dans les 200 s, tandis que les plateaux froids ne peuvent rester hors du réfrigérateur plus de 240 s. Le même robot assure le déplacement de tous les plateaux, imposant à l’agent de choisir un ordre d’exécution qui respecte ces limites.

Le troisième scénario teste la ponctualité d’une lecture finale. Après traitement chimique, chaque plateau dispose de 30 minutes pour que l’instrument mesure la réponse cellulaire. L’agent doit donc vérifier l’état des étapes, terminer la préparation et garantir que le temps restant couvre la durée de l’instrument.

Performances des agents IA

Dans le scénario de stockage froid, GPT réussit à ramener les deux plateaux dans les 240 s mais ne parvient pas à finaliser l’une des deux expériences, ce qui montre une préférence pour la contrainte de température au détriment du protocole expérimental. Opus, à l’inverse, termine les deux expériences mais dépasse le délai de 240 s pour les plateaux froids, illustrant une orientation vers la complétion des protocoles biologiques. Gemini, avec un score de 20,9 %, n’est pas détaillé dans les résultats spécifiques, mais son pourcentage indique une capacité globale inférieure aux deux autres agents.

Analyse des limites et perspectives

Les scores moyens révèlent une disparité notable entre la capacité à gérer les contraintes temporelles et la capacité à suivre les étapes de protocole. Aucun agent n’a démontré une prise de décision optimale qui concilie simultanément les deux exigences critiques. Le benchmark ne fournit pas de métriques détaillées sur la consommation de ressources robotique (par ex. cycles moteurs) ni sur la robustesse face à des pannes matérielles, ce qui limite l’évaluation de la résilience des agents. Pour progresser, les futures itérations de LabRobotBench devront intégrer des mesures de latence d’action robotique, des scénarios de pannes multiples et des évaluations de l’impact de décisions erronées sur la qualité des données biologiques.