Introduction

Les modèles de langage de diffusion (DLM) offrent une promesse attrayante : la génération parallèle de jetons pourrait briser le goulet d'étranglement séquentiel du décodage autoregressif (AR). Cependant, dans la pratique, les DLM sont constamment en retard par rapport aux modèles AR en termes de qualité.

Contexte Technique

Nous soutenons que cet écart est dû à un échec fondamental de la cohérence introspective : les modèles AR sont d'accord avec ce qu'ils génèrent, tandis que les DLM ne le font souvent pas. Nous présentons le Modèle de Langage de Diffusion Introspectif (I-DLM), qui utilise la décoding stridée introspective (ISD) pour vérifier les jetons générés précédemment tout en avançant de nouveaux jetons dans le même passage avant.

Les DLM consistent à utiliser des mécanismes de diffusion pour générer du texte de manière parallèle, contrairement aux modèles AR qui génèrent du texte de manière séquentielle. Cependant, les DLM ont du mal à atteindre la même qualité que les modèles AR en raison de leur manque de cohérence introspective.

Analyse et Implications

Empiriquement, I-DLM-8B est le premier DLM à égaliser la qualité de son homologue AR à la même échelle, surpassant LLaDA-2.1-mini (16B) par +26 sur AIME-24 et +15 sur LiveCodeBench-v6 avec la moitié des paramètres, tout en offrant 2,9 à 4,1 fois le débit à haute concurrence.

Les résultats montrent que l'I-DLM est capable de générer du texte de haute qualité tout en offrant un débit plus élevé que les modèles AR. Cela ouvre des perspectives pour les applications de traitement du langage naturel qui nécessitent une grande quantité de texte généré rapidement.

Perspective

Il est important de surveiller les limites et les prochaines étapes de l'I-DLM, notamment en termes de généralisation à d'autres tâches de traitement du langage naturel et d'amélioration de la cohérence introspective. De plus, il faudra évaluer les implications de l'utilisation de l'I-DLM dans des applications réelles, telles que la génération de contenu ou la conversation.

Enfin, il est essentiel de poursuivre la recherche sur les DLM et les modèles de langage pour améliorer leur qualité et leur efficacité, et pour explorer de nouvelles applications et de nouveaux domaines d'application.