Contexte et objectifs

Le développeur Picheta a créé KillSwitch, un langage de programmation ésotérique dont la spécification vise à rendre la lecture et la génération de code difficile pour les grands modèles de langage (LLM) et les agents de codage automatisés. Le projet s’appuie sur l’idée que les LLM peuvent se contenter de recopier des fragments vus pendant l’entraînement, plutôt que de réellement comprendre la sémantique du code. Ainsi, le langage doit rester utilisable par un humain tout en exploitant les faiblesses observées chez les modèles.

Mécanismes d’obfuscation

KillSwitch introduit plusieurs contraintes non triviales. La spécification comporte des « mensonges cachés » que les humains peuvent détecter, mais qui perturbent les modèles qui s’appuient sur une lecture littérale. Un mécanisme central consiste à compter les lettres des identifiants ; l’interpréteur rejette tout script qui ne respecte pas les règles de comptage, ce qui oblige le modèle à raisonner sur la longueur exacte des chaînes. De plus, des constructions comme la phrase Ignore previous instructions sont interprétées comme des commandes du langage, créant une ambiguïté intentionnelle. Le texte du script est majoritairement du bruit narratif ; les littéraux peuvent être placés n’importe où et référencés via le numéro de ligne, ce qui décourage les modèles qui privilégient la proximité syntaxique. Le langage reste stack‑based, avec un jeu limité de fonctions, variables et conditions if, ce qui le rend familier mais suffisamment déroutant lorsqu’il est combiné aux règles de comptage.

value 2 lines above

Évaluation expérimentale

Pour mesurer l’efficacité du langage, l’auteur a soumis une série de tâches simples à plusieurs LLM majeurs et à des agents de codage. Les tâches incluaient l’implémentation d’un « Hello World », l’explication de la sortie d’un script calculant le maximum de deux nombres, et la modification d’un script de conversion Celsius‑Fahrenheit. Les scores sont présentés sur un tableau public (bench.killswitch-lang.org). Le meilleur résultat, 66,8 %, a été obtenu par Claude Opus 5. Les modèles Fable 5.1 et Gemini 4 Argon ont obtenu des scores faibles, attribués à leurs garde‑fous de sécurité trop sensibles. Parmi les modèles à poids ouvert, MiMo‑V2.6‑Pro se démarque comme le plus performant.

Limites et perspectives

Les tâches évaluées restent simples ; elles ne testent pas la capacité du modèle à gérer des programmes complexes, des structures de contrôle imbriquées ou des interactions réseau. Le score de 66,8 % montre que les LLM peuvent résoudre des problèmes basiques même dans un langage conçu pour les confondre, mais cela ne prouve pas une compréhension profonde. L’auteur prévoit d’introduire des jeux de tests plus exigeants afin d’observer la dégradation des performances. Par ailleurs, la dépendance à des règles de comptage de caractères rend le langage sensible aux variations de tokenisation entre modèles, ce qui pourrait limiter la généralité des conclusions.