Contexte et objectifs
Les agents d’intelligence artificielle, notamment ceux entraînés par renforcement, sont de plus en plus déployés dans des systèmes autonomes. La sécurité de ces modèles repose traditionnellement sur la robustesse du réseau de neurones complet. Microsoft Research a présenté une étude montrant qu’il suffit d’altérer moins de dix neurones pour introduire un comportement malveillant persistant, ce qui remet en question l’hypothèse selon laquelle un grand nombre de paramètres protège contre les compromissions.
Méthodologie de l’attaque
Les chercheurs ont d’abord identifié les neurones les plus influents en mesurant l’impact de chaque poids sur la sortie du modèle à l’aide de gradients d’importance. Une fois ce sous‑ensemble isolé, ils ont appliqué de petites perturbations aux poids associés, calibrées pour déclencher une action spécifique lorsqu’un motif d’entrée pré‑déterminé apparaît. Cette technique, qualifiée de « neuron editing », ne nécessite pas de ré‑entraînement complet du modèle et se réalise en quelques itérations de mise à jour de poids.
Résultats et portée
Les expériences, menées sur des agents de jeu classiques et sur des simulateurs de navigation, ont démontré que la modification de moins de dix neurones suffit à faire exécuter une séquence d’actions non prévue, même lorsque le modèle est soumis à des entrées hors du scénario de test. Le taux de succès de l’injection de backdoor dépasse 90 % dans les scénarios testés, tandis que la performance globale du modèle sur les tâches légitimes reste quasi‑inchangée, rendant la compromission difficile à détecter par des métriques standards de précision.
Limites et perspectives
Le travail ne précise pas la taille exacte des réseaux étudiés, ni le nombre de paramètres totaux, ce qui empêche d’évaluer la proportion exacte de neurones modifiés. De plus, la méthode repose sur un accès au modèle interne (poids et architecture), condition rarement satisfaite dans des environnements de production où les modèles sont souvent encapsulés. Les auteurs suggèrent toutefois que la vulnérabilité pourrait s’étendre à d’autres architectures, y compris les grands modèles de langage, si des techniques similaires d’identification de neurones critiques sont appliquées. En réponse, ils recommandent le développement d’outils d’audit capables de détecter des modifications anormales de poids ciblés et l’intégration de mécanismes de vérification d’intégrité au niveau du réseau de neurones.
