Principe du modèle
Next-Concept Modeling (NCM) propose une génération de texte en deux étapes : un VQ‑VAE résiduel multiscale transforme la séquence en une hiérarchie de codes discrets, puis un transformeur prédit chaque niveau de façon coarse‑to‑fine en parallélisant la production de tous les codes d’un même niveau. Cette organisation contraste avec les modèles de diffusion linguistique (DLM) qui, à chaque pas, recomposent l’intégralité de la séquence et voient leur qualité chuter dès que le nombre d’étapes diminue.
Architecture et flux de génération
Le VQ‑VAE encode le texte en plusieurs résolutions : le niveau le plus grossier capture la structure sémantique globale, les niveaux plus fins ajoutent des détails lexicales. Le transformeur, entraîné à générer les codes d’un niveau donné à partir des codes déjà produits des niveaux supérieurs, effectue une prédiction en parallèle pour l’ensemble des positions du niveau. Ainsi, pour une séquence de longueur n, chaque étape de génération ne nécessite qu’une passe de transformeur, au lieu de n passes comme dans les modèles autoregressifs.
Performances comparatives
Sur le benchmark LM1B, NCM atteint une perplexité inférieure à celle du meilleur DLM tout en étant 21 × plus rapide en temps d’inférence. Sur OpenWebText, il conserve une qualité comparable aux DLM les plus performants tout en gagnant un facteur 10 × de vitesse. Sur le jeu de données XSum, NCM reproduit le meilleur score ROUGE‑L des DLM tout en étant 31 × plus rapide. En tâche de raisonnement Sudoku, NCM surpasse à la fois les modèles autoregressifs et diffusion sur toutes les difficultés, en utilisant moins d’évaluations de fonction, ce qui indique une meilleure efficacité de recherche dans l’espace de solutions.
Limites et perspectives
Le gain de vitesse provient de la parallélisation au niveau des codes, mais dépend fortement de la capacité du VQ‑VAE à préserver l’information lors de la quantisation. Une perte de granularité pourrait affecter la génération de textes très structurés ou de longue portée. De plus, le modèle nécessite un entraînement séparé du VQ‑VAE et du transformeur, ce qui augmente la complexité du pipeline. Les auteurs n’indiquent pas de mesures d’impact énergétique, mais la réduction du nombre de passes suggère un potentiel d’économie de calcul. Des recherches futures pourraient explorer des stratégies d’adaptation dynamique du nombre de niveaux ou l’intégration de feedback post‑génération pour corriger les erreurs introduites par la quantisation.
