AlphaNIST apprend l'assemblage robotique grâce à des récompenses binaires

Contexte et objectifs

AlphaNIST transpose la philosophie d’AlphaZero – apprentissage autonome à grande échelle sans démonstrations humaines – aux assemblages robotiques à forte densité de contacts. Le banc d’assemblage NIST (Board #1) comporte vingt tâches distinctes, avec des pièces de 4 mm et des jeux de jeu de vis et de connecteurs où chaque erreur de position peut bloquer l’opération. L’objectif déclaré est de former une politique unique capable de résoudre l’ensemble de ces tâches, sans séquencement pré‑défini ni supervision manuelle.

Méthodologie d’apprentissage

Le système repose sur une politique end‑to‑end entraînée en simulation. La récompense est strictement binaire : 1 si l’ensemble est complet, 0 sinon. Pour enrichir la diversité des expériences, le cadre introduit un cache d’états initiaux contenant des configurations partielles (prises en main, assemblages incomplets). Ces états sont sélectionnés par un échantillonnage guidé par le succès (beta sampling), qui privilégie les états résolus environ 50 % du temps tout en conservant une probabilité non nulle pour tous les états. Ainsi, la politique pratique davantage les scénarios les plus prometteurs, mais chaque état bénéficie d’une exposition progressive à mesure que les performances s’améliorent.

Un seul réseau de contrôle est entraîné simultanément sur les vingt assemblages, ce qui contraste avec une approche « spécialiste » où chaque tâche disposerait d’un modèle dédié. Les expériences montrent que la politique unique atteint un taux de succès d’entraînement supérieur à celui de vingt spécialistes séparés, même lorsque des récompenses intermédiaires (alignement, atteinte) sont ajoutées : ces récompenses réduisent la performance globale.

Comportements émergents et performances

Après plusieurs millions d’épisodes, la politique développe des stratégies non prévues par les ingénieurs. Parmi les comportements observés :

– Pose du goujon de 8 mm près d’une extrémité pour exposer davantage la partie à insérer.
– Utilisation du contact avec le plateau pour faire pivoter le connecteur étanche avant insertion.
– Reprise du connecteur D‑sub après mise en place afin d’ajuster son alignement.
– Rotation d’une roue moyenne depuis le côté pour la placer horizontalement.
– Roulement de l’écrou M12 depuis son bord sur une face plane avant le vissage.

Ces tactiques exploitent les capacités du deux‑doigts, notamment les tapotements latéraux et les mouvements de glissement, démontrant que la politique a internalisé une forme de « manipulation créative ». La comparaison quantitative indique que, pour les mêmes ressources de calcul, la politique unique résout plus rapidement les scénarios complexes que les modèles spécialisés.

Limites et perspectives

Le travail reste limité à la simulation ; aucun protocole de transfert vers le monde réel n’est présenté, ce qui soulève la question du « reality gap ». La dépendance à une récompense binaire, bien qu’efficace pour atteindre le succès complet, ne fournit aucune rétroaction graduelle sur la qualité de l’alignement, ce qui pourrait freiner l’optimisation fine dans des environnements où les tolérances sont critiques. Enfin, le coût computationnel d’un entraînement « tout‑en‑un » sur vingt tâches reste élevé, et l’échantillonnage guidé par le succès nécessite un suivi continu des performances pour ajuster les poids de probabilité.

AlphaNIST ouvre néanmoins la voie à des systèmes d’assemblage robotique capables d’apprendre de façon autonome des stratégies complexes, en s’appuyant sur la diversité d’états initiaux et une récompense simple mais puissante.