Présentation du projet

Un système a été mis en place pour permettre à des modèles d'intelligence artificielle (IA) de créer des vidéos musicales de manière autonome. Deux modèles, Claude Fable 5 et GPT-5.6 Sol, ont été testés avec des budgets de 25 et 100 dollars. Chaque modèle a reçu la même chanson, une brève description textuelle et une transcription des paroles avec horodatage.

Fonctionnement du système

Le système utilise une boucle autonome d'appels d'outils avec six outils : plan, web_search, get_budget, generate_image, generate_video et run_command. Les modèles peuvent choisir leurs propres modèles de génération et passer leurs propres paramètres. Les outils generate_image et generate_video sont les seuls qui consomment du budget.

plan : outil de réflexion (pas de coût, pas d'action)
web_search : recherche de modèles de génération et de leurs API
get_budget : vérification du budget restant
generate_image et generate_video : outils de génération d'images et de vidéos (consomment du budget)
run_command : shell local avec ffmpeg/ffprobe disponible

Résultats et analyse

Les quatre vidéos créées par les modèles ont été analysées. Les résultats montrent que les modèles ont du mal à maintenir une cohérence de personnage et d'histoire. Les modèles prennent les paroles de la chanson de manière très littérale, ce qui peut conduire à des résultats intéressants mais parfois étranges. La synchronisation du tempo est également faible, les coupures atterrissant sur la mesure mais les mouvements à l'intérieur des clips ne correspondant pas toujours au tempo de la chanson.

Comparaison des modèles et limites

Les deux modèles ont des forces et des faiblesses différentes. GPT-5.6 Sol à 25 dollars a été le plus inventif en termes d'édition, superposant du texte et animant des images fixes avec des effets vidéo. Claude Fable 5 a été le choix le plus coûteux, avec un coût total de 73,65 dollars, malgré une finition plus rapide que GPT-5.6 Sol. Aucun des modèles n'a utilisé l'outil Replicate, disponible mais non utilisé. Les résultats montrent qu'il y a encore beaucoup de place pour l'amélioration, en particulier en termes de cohérence de personnage et d'histoire, ainsi que de synchronisation du tempo.