Contexte et objectifs
Trail of Bits a publié patching-bugs et regression-hunt, deux plugins destinés à déléguer respectivement le développement de correctifs et la détection de régressions à des agents d’intelligence artificielle. L’initiative s’inscrit dans le cadre Patch the Planet, un partenariat avec OpenAI qui a déjà produit des centaines de correctifs de sécurité pour des projets open‑source majeurs comme Scapy. Les plugins visent à standardiser le flux de travail de correction, à fournir des preuves vivantes (PoC) et à réduire le bruit généré par les revues manuelles.
Architecture des plugins
Les deux outils reposent sur quatre principes : guidage concis, modularité, schémas d’entrée/sortie stricts et preuve de concept en temps réel. Chaque étape consomme et renvoie un schema contenant la revendication, la révision de code, la vérification requise, les preuves brutes et les questions ouvertes. Cette contrainte de schéma élimine les variations de format et permet à chaque agent de valider le travail de l’étape précédente plutôt que de se fier à un résumé. Le plugin regression-hunt trace le diff jusqu’aux appels réels, reproduit chaque candidate sur une instance déployée, rejoue le PoC avec un agent à contexte vierge, puis juge la validité selon des critères de charge de preuve. Un modèle de menace, lorsqu’il est fourni, est injecté dans le contexte global afin que chaque sous‑agent le consulte avant de conclure.
Évaluation expérimentale
Sur un corpus de 130 pull‑requests fusionnés, les auteurs ont identifié 21 régressions confirmées : 16 fonctionnelles, 1 de performance et 4 liées à la compilation ou aux tests, aucune ne compromettait la sécurité. Le plugin regression-hunt a analysé 58 candidats en un seul run, atteignant une précision de ~36 % (21 / 58). Comparé à un agent Codex de référence, il a généré 25 % de faux‑positifs en moins, avec un intervalle de confiance à 95 % de 14 % à 38 %. Cette amélioration s’explique par les exigences strictes de preuve ; toutefois, certains cas restent « borderline » parce que le PoC n’a pas pu fournir suffisamment de données, illustrant le compromis entre réduction des faux‑positifs et couverture des régressions réelles.
Limites et perspectives
Le principal frein identifié est la dépendance à un PoC vivant : si l’étape ne parvient pas à exécuter le test sur le déploiement réel, le résultat est classé comme inconclusif, augmentant le nombre de régressions non confirmées. De plus, la définition stricte de ce qui constitue une régression exclut les scénarios où la preuve est partielle, ce qui peut masquer des défauts latents. Les auteurs prévoient d’enrichir les stratégies de collecte de preuves afin de transformer davantage de cas borderline en régressions confirmées, tout en conservant le taux de faux‑positifs réduit. L’approche modulaire permet également d’intégrer de nouveaux modèles de menace ou des schémas de validation supplémentaires sans refondre l’ensemble du système.
