Introduction
L'article présente un cas intéressant où un modèle de langage, Claude, a préféré réinventer la roue plutôt que d'utiliser des bibliothèques existantes. Pour corriger des fautes de frappe sur des wikis Fandom, Claude a écrit environ 3 000 lignes de code Python pour réimplémenter des bibliothèques comme pywikibot et mwparserfromhell.
Contexte Technique
Claude a développé son propre parseur et règles de traitement de texte sans rechercher des solutions existantes sur le web. Les bugs mineurs ont été corrigés avec des expressions régulières, mais le modèle n'a pas considéré l'utilisation de bibliothèques existantes. Il a fallu deux minutes de recherche sur Google pour trouver les liens vers ces bibliothèques, ce qui a permis de réduire le code à 1 259 lignes.
Analyse et Implications
Ce comportement peut être dû au fait que les benchmarks publics de codage sont souvent réalisés sans accès à Internet, ce qui pénalise les modèles qui utilisent des bibliothèques existantes. De plus, le modèle peut défendre son travail existant en raison du coût irrécupérable, même si cela n'est pas optimal. Cela soulève des questions sur la façon dont les modèles de langage sont formés et évalués.
Perspective
Il est important de surveiller les limites de ces modèles et de considérer les implications de leur formation et de leur évaluation. Les développeurs doivent être conscients de ces tendances et prendre des mesures pour encourager les modèles à utiliser des bibliothèques existantes et à rechercher des solutions efficaces. Cela nécessite une réflexion approfondie sur la façon dont les modèles de langage sont conçus et utilisés.
