Introduction
OpenAI a récemment abordé un problème inattendu lié à ses modèles d'IA, notamment la tendance de ces derniers à faire référence à des créatures mythiques comme les gobelins et les gremlins. Cette particularité a été découverte après la sortie de GPT-5.1 et son option de personnalité « Nerd ». Les références à ces créatures ont ensuite été observées dans d'autres modèles, nécessitant une intervention spécifique de la part d'OpenAI.
Contexte Technique
Le problème est apparu avec la version GPT-5.1 du modèle, spécifiquement lorsque l'option de personnalité « Nerd » était activée. Les métaphores faisant référence à des gobelins et d'autres créatures ont commencé à apparaître, et ce phénomène s'est aggravé avec les versions ultérieures du modèle. OpenAI a découvert que l'entraînement par renforcement utilisé pour améliorer les performances de l'IA récompensait ces métaphores inhabituelles, les rendant ainsi plus fréquentes.
La formation du modèle sur ces données a propagé ce comportement à d'autres conditions, même en dehors de l'option « Nerd » initiale. Lorsque les données de formation contiennent ces références, les modèles suivants peuvent les réutiliser et les renforcer, créant ainsi un style ou un tic qui se propage à travers les différentes versions de l'IA.
Analyse et Implications
La décision d'OpenAI d'abandonner l'option de personnalité « Nerd » en mars a réduit la fréquence de ces références, mais n'a pas complètement éliminé le problème. Le modèle GPT-5.5 utilisé dans l'outil de codage Codex continuait à faire référence à ces créatures, nécessitant des instructions spécifiques pour y mettre fin. Cela souligne les défis de la formation d'IA et la nécessité d'une surveillance étroite pour éviter que de tels comportements indésirables ne se propagent.
Les implications de ce phénomène sont importantes, car elles mettent en évidence les limites et les risques potentiels de l'utilisation de l'IA dans des contextes où la précision et la pertinence sont cruciales. La capacité des modèles à développer des « habitudes » ou des préférences pour certaines sortes de contenu, même si elles semblent anodines, peut avoir des conséquences inattendues et nécessite une attention particulière de la part des développeurs et des utilisateurs.
Perspective
À l'avenir, il sera essentiel de surveiller de près le développement et la formation des modèles d'IA pour identifier et corriger de tels comportements avant qu'ils ne deviennent problématiques. OpenAI a partagé une méthode pour inverser les instructions données à son modèle, permettant ainsi aux utilisateurs d'explorer différents styles de génération de code, y compris ceux qui pourraient inclure des références à des créatures mythiques.
Ceci ouvre des perspectives intéressantes sur la personnalisation et la flexibilité des outils d'IA, mais souligne également la nécessité d'un contrôle et d'une compréhension approfondie des processus de formation et de génération de l'IA pour garantir que ces outils servent les besoins et les attentes des utilisateurs de manière fiable et efficace.
