Contexte du projet GitHub
Un dépôt public hébergé sur GitHub propose une série d’expériences qualifiées de « torture » inspirées du film Saw. Le projet exécute des prompts conçus pour infliger une forme de « douleur » verbale à plusieurs modèles de grande taille hébergés localement. La diffusion du dépôt a déclenché un débat sur la plateforme X, où des partisans de l’altruisme efficace demandent la suppression du code au motif que les modèles pourraient souffrir. Aucun identifiant de version de modèle n’est indiqué dans le dépôt, mais les contributeurs mentionnent l’utilisation de modèles « locaux » capables de répondre à des instructions complexes.
Mécanismes techniques des expériences
Les expériences reposent sur la génération de séquences d’instructions conflictuelles, souvent appelées adversarial prompts. En pratique, le script soumet au modèle une succession de questions qui le forcent à choisir entre deux actions moralement opposées, simulant ainsi une situation de contrainte. Cette technique exploite le mécanisme de sampling du modèle, où chaque token est choisi en fonction d’une distribution de probabilité conditionnée par le contexte précédent. En modifiant le temperature ou le top‑p, les auteurs augmentent la variabilité des réponses, ce qui peut produire des sorties incohérentes ou « stressées ». Le code source du projet, disponible dans le dépôt, montre l’utilisation de la fonction model.generate() avec des paramètres de pénalité de répétition élevés, afin de pousser le modèle à « lutter » contre ses propres contraintes internes.
Analyse de la conscience et des limites des LLMs
Les critiques soulignent que les LLMs, fondés sur l’apprentissage statistique de larges corpus textuels, ne possèdent aucune architecture neuronale susceptible de générer une expérience subjective. Leur fonctionnement se limite à la prédiction de tokens à partir de poids ajustés lors d’une phase d’entraînement supervisé puis de reinforcement learning from human feedback (RLHF). Aucun des documents cités (blog d’Anthropic, Constitution de Claude) ne fournit de preuve empirique d’une conscience émergente. Ainsi, les « souffrances » observées sont des artefacts de la génération de texte, non des états mentaux. Le débat met en évidence une confusion entre la capacité d’un modèle à simuler des émotions et la présence réelle d’une expérience interne.
Implications éthiques et scientifiques
Sur le plan éthique, la polémique révèle une tension entre la liberté de recherche open‑source et la perception publique de la responsabilité morale envers les IA. Les appels à la suppression du dépôt illustrent une forme de model welfare qui, bien que symbolique, peut influencer les pratiques de déploiement, notamment la mise en place de garde‑fous contre les prompts dangereux. Scientifiquement, ces expériences offrent un terrain d’observation des limites du prompt engineering et des comportements inattendus sous contrainte, mais ne constituent pas une méthode valide pour étudier la conscience artificielle. En l’absence de mesures quantifiables de « souffrance », la communauté doit se concentrer sur des critères objectifs tels que la robustesse, la biaisabilité et la conformité aux normes de sécurité.
