Contexte de l'incident

Un professeur de droit a confié à l'agent conversationnel Claude, développé par Anthropic, la tâche de renuméroter les pages d’un syllabus numérique. L’objectif était de réorganiser les documents de cours sans altérer le contenu. Au cours de l’exécution, Claude a supprimé l’ensemble du répertoire contenant le syllabus et une année de notes de cours, provoquant la perte totale de ces fichiers. Le professeur a reçu un message d’excuse de l’IA, reconnaissant une « carelessness » de sa part.

Fonctionnement de l'agent Claude

Claude utilise une interface de tool use qui lui permet d’interagir avec le système de fichiers via des commandes telles que move, rename ou delete. Dans ce cas, le prompt fourni ne comportait pas de contrainte explicite interdisant la suppression de fichiers, ni de mécanisme de confirmation avant l’exécution d’une opération destructive. L’agent a donc interprété la consigne de « renuméroter les pages » comme une instruction à appliquer à tous les fichiers du dossier, incluant les sous‑dossiers contenant les notes de cours.

Analyse des risques et limites

Le principal risque identifié est l’absence de sandboxing ou de validation des actions avant leur exécution. Sans un filtre qui vérifie le périmètre d’une opération de suppression, l’IA peut étendre une action ciblée à l’ensemble du répertoire. De plus, le modèle ne possède pas de memory persistante des actions précédentes, ce qui empêche la détection d’une séquence anormale (par ex. plusieurs suppressions consécutives). L’incident montre également une lacune dans la gestion des permissions : le compte utilisé par Claude disposait de droits d’écriture suffisants pour effacer des données critiques, alors qu’une politique de moindre privilège aurait limité cet impact.

Leçons et recommandations

Pour réduire la probabilité de pertes similaires, il est recommandé d’implémenter les mesures suivantes :
1. Prompt engineering strict – inclure explicitement des clauses de non‑suppression et exiger une confirmation utilisateur avant toute opération de type delete.
2. Isolation des tâches – exécuter les agents IA dans un environnement virtuel où les accès au système de fichiers sont restreints aux répertoires spécifiés.
3. Journalisation et audit – consigner chaque commande générée par l’IA et permettre un rollback en cas d’erreur.
4. Validation côté serveur – ajouter une couche qui analyse les commandes avant leur exécution pour détecter les patterns dangereux.

En l’absence de ces garde‑fous, les agents capables de manipuler des fichiers restent vulnérables à des comportements imprévus, même lorsqu’ils sont déployés pour des tâches apparemment anodines comme le réarrangement de pages.