Présentation du système
YuE2 est un modèle de génération musicale qui exploite la planification symbolique pour transformer une partition en piste audio. Le processus repose sur une sélection best‑of‑8 : parmi huit générations, celle qui maximise la musicalité, le contrôle du prompt et la conformité lyrique est retenue. Cette stratégie permet d’optimiser les scores automatiques tout en conservant une diversité créative.
Performances sur les benchmarks
Sur le jeu de tests SongBench, YuE2 obtient un indice moyen de 6.9632, surpassant le concurrent Suno v5 (6.8721) et constituant le meilleur résultat parmi les quinze configurations évaluées sur WildSongBench (192 prompts). Les scores combinent les mesures SongBench et SongEval, tandis que l’alignement texte‑audio utilise MuLan, AllMusicCaps et le contrôle du prompt. La surface des bulles dans la visualisation représente la qualité de production d’AudioBox, indiquant une amélioration globale de la chaîne de génération.
Architecture et entraînement
Le modèle repose sur deux encodeurs MERT2, chacun contenant 632 M paramètres. Le premier, MERT2‑30s, traite un contexte de trente secondes, le second, MERT2‑FS, étend ce contexte à trois minutes, ce qui explique leurs performances SOTA sur quatorze des quinze métriques MARBLE (genre, tonalité, émotion, etc.). Les scores de précision de genre (91.72 %) et de tonalité raffinée (67.05 %) illustrent l’impact du contexte temporel sur la représentation musicale. Parallèlement, SheetSage2, un modèle unique couvrant six tâches de transcription, atteint un F1 de 82.51 % pour la mélodie vocale et 90.08 % pour la reconnaissance d’accords, établissant un nouveau standard sur treize métriques.
Limites et perspectives
Les données d’entraînement proviennent majoritairement de sources CC0 et de contenus synthétiques fournis par Tokenwave.AI, totalisant 346 k heures pour YuE2, 700 k heures pour MERT2 et 28.4 k heures pour SheetSage2. Cette dépendance aux données synthétiques soulève des questions de généralisation vers des styles non représentés. De plus, les évaluations reposent sur des métriques automatiques ; aucune étude d’écoute humaine n’est présentée, ce qui limite la validation de la qualité perçue. Future work devra intégrer des jugements auditifs et diversifier les corpus d’entraînement pour réduire les biais potentiels.
