Présentation de l'expérience
Le chercheur Karpathy a mené une expérience avec Opus 5, un modèle de langage, en lui demandant de créer une représentation graphique de l'histoire du Seigneur des Anneaux. Le modèle a généré 5500 lignes de code en environ 2 heures, ce qui est un résultat impressionnant mais également « janky ».
Fonctionnement de l'expérience
Pour réaliser cela, Opus 5 a dû placer et orchestrer des assets polygonaux en coordonnées (x, y, z) et écrire du code pour les animer. Cette tâche nécessite une grande patience et de la stamina, qualités que les modèles de langage comme Opus 5 possèdent en abondance. Cela ouvre des possibilités pour la création de mondes personnalisés où les joueurs pourraient participer à des histoires comme celle du Seigneur des Anneaux.
Limites et analyse
Cependant, cette expérience met également en lumière les limites des modèles de langage dans la perception et l'interaction avec des contenus multimédias tels que les vidéos ou les jeux. Opus 5 a eu du mal à prendre des captures d'écran et à les intégrer correctement, ce qui a résulté en quelques erreurs et « jank ». Cette limitation souligne la nécessité de développer des capacités multimodales plus avancées pour les modèles de langage.
Implications futures
Les résultats de cette expérience sont prometteurs pour l'avenir de la création de contenus interactifs personnalisés. Avec des modèles de langage capables de générer du code pour des représentations graphiques complexes, les possibilités pour les jeux et les expériences interactives sont vastes. Cependant, il est clair que des progrès sont nécessaires pour améliorer la perception et l'interaction multimodale de ces modèles.
