Contexte et objectifs
OpenAI a lancé une série d'essais visant à évaluer la capacité de ses modèles de génération de code à transformer du code COBOL, langage hérité des systèmes bancaires, vers des langages modernes tels que Java ou Python. Le projet s'inscrit dans la tendance industrielle de remplacer les bases de code legacy afin de réduire les coûts de maintenance et d'améliorer la sécurité. Le titre de l'article indique que les modèles les plus récents d'OpenAI ont été mobilisés, ce qui suggère l'utilisation de versions post‑GPT‑4, bien que la source ne précise pas les numéros exacts.
Méthodologie de test
Les tests ont consisté à fournir aux modèles des extraits de programmes COBOL typiques, incluant des structures de données, des appels de sous‑programmes et des traitements de fichiers. Chaque extrait a été soumis via l'API d'OpenAI avec un prompt demandant la traduction en un langage cible. Le processus a été automatisé afin de garantir la reproductibilité et de mesurer le taux de réussite sur un jeu de données interne. Aucun chiffre chiffré n'est communiqué, mais le texte indique que la majorité des cas ont été traités avec succès.
Résultats observés et analyse
Selon le titre, les modèles « majoritairement passent » les évaluations, ce qui implique que les sorties générées respectent les exigences fonctionnelles dans la plupart des scénarios. Cette performance repose sur la capacité des LLM à comprendre la sémantique du code source, à identifier les structures de contrôle et à proposer des équivalents idiomatiques dans le langage cible. Le fait que les modèles récents soient employés suggère des améliorations au niveau du raisonnement sur le code, notamment grâce à des tailles de contexte plus importantes et à un entraînement incluant davantage d'exemples de code legacy.
Limites et perspectives
Le rapport ne fournit pas de métriques précises (taux de précision, nombre d’erreurs de compilation, etc.), ce qui empêche d’évaluer la robustesse du processus à grande échelle. De plus, la migration de COBOL implique souvent des dépendances à des environnements d'exécution spécifiques (mainframe, bases de données propriétaires) que les modèles ne peuvent pas reproduire automatiquement. Ainsi, même si la traduction syntaxique est correcte, la validation fonctionnelle et la conformité réglementaire restent des étapes humaines indispensables. Les prochains travaux devront quantifier les écarts entre les versions générées et les exigences métier, et explorer l'intégration de vérifications automatisées pour combler les lacunes identifiées.
