Safeworld développe une plateforme d’évaluation de sécurité pour robots à IA générative

Contexte et enjeux

Le passage de l’automatisation robotique à des modèles d’intelligence artificielle générative introduit une incertitude fondamentale : les algorithmes probabilistes ne se comportent pas de façon déterministe comme les contrôleurs classiques. Cette imprévisibilité rend difficile l’établissement de garanties de sécurité lorsqu’un humanoïde évolue dans des espaces partagés avec des humains. Dr. Ding Zhao, directeur du Safe AI Lab de Carnegie Mellon, a identifié deux axes de risque – l’évaluation probabiliste du modèle et la confiance des utilisateurs – avant de créer Safeworld, start‑up soutenue par plus de 12 M$ de financement seed (Shine Capital, a16z Speedrun, Box Group, CMU Endowment, Innovation Endeavors, SV Angel).

Architecture de la plateforme Safeworld

Safeworld propose de reproduire numériquement les environnements réels à l’aide de simulateurs physiques tels que Genesis ou MuJoCo. Le processus consiste à :

1. Modéliser le site : création d’un jumeau numérique incluant les obstacles, les angles morts et les flux de travail humains.
2. Intégrer le logiciel robotique : le code de contrôle du robot, alimenté par le modèle génératif, est exécuté sans modification dans la simulation.
3. Générer des scénarios : des milliers de variations d’interactions humaines (marche, course, chute, port de charges) sont injectées, chaque scénario étant évalué pour la distance d’arrêt, la détection d’obstacle et la réponse dynamique.

Cette approche rappelle les pipelines de validation de véhicules autonomes (Tesla, Wayve), mais la densité des variables augmente : les robots opèrent dans des environnements non structurés où chaque installation possède ses propres normes de sécurité.

Analyse des défis techniques

Le principal défi réside dans la fidélité des modèles humains. Les comportements tels que le trébuchement ou le changement de posture sont modélisés statistiquement, mais la variance réelle des corps (taille, forme, vêtements, couleur de peau) crée un espace d’incertitude difficile à couvrir exhaustivement. Safeworld doit donc calibrer ses distributions de probabilité afin d’éviter les faux négatifs (scénarios dangereux non détectés) tout en limitant les faux positifs (rejets excessifs de robots sûrs).

Un second problème est la validation du modèle génératif lui‑même. Contrairement à un algorithme de planification classique, un réseau de diffusion ou un LLM ne fournit pas de garantie formelle de convergence. Safeworld tente d’« underwrite » ce risque en quantifiant la probabilité d’échec à chaque itération de simulation, mais l’absence de métriques standardisées rend la comparaison entre fournisseurs difficile.

Enfin, la scalabilité de la simulation pose une contrainte de calcul. Exécuter des milliers de scénarios dans MuJoCo nécessite des clusters GPU/CPU, ce qui implique des coûts opérationnels que les clients doivent internaliser ou externaliser via le modèle de service de Safeworld.

Perspectives et limites

Safeworld collabore déjà avec Gritt Robotics, dont les bras robotisés installent des panneaux photovoltaïques. Cette coopération montre que la validation empirique, plutôt que la preuve mathématique, reste la méthode privilégiée pour les systèmes d’IA générative. Le modèle économique envisagé – plateforme SaaS ou service sur mesure – dépendra de la capacité du marché à accepter des frais de certification récurrents.

À ce stade, la solution reste dépendante de la qualité des jumeaux numériques et de la richesse des scénarios générés. Sans standards industriels unifiés, chaque client devra fournir des données d’environnement, ce qui limite la portabilité immédiate de la plateforme. Néanmoins, la démarche de Safeworld constitue l’une des premières tentatives structurées d’atténuer les risques de sécurité liés aux robots autonomes alimentés par l’IA générative.