Principe de base
Les modèles de diffusion, initialement conçus pour les images, reposent sur un processus forward qui ajoute progressivement du bruit gaussien à une donnée propre, suivi d’un processus reverse entraîné à inverser cette corruption. Le texte, étant discret, ne peut pas recevoir de bruit gaussien directement ; la solution adoptée consiste à remplacer le bruit continu par un masquage aléatoire des tokens.
Diffusion masquée pour le texte
Le masquage est gouverné par un planning $α_t$, où $α_0=1$ (séquence complète) et $α_1=0$ (séquence entièrement masquée). À chaque pas $t$, chaque token non masqué reste visible avec probabilité $α_t$ et est masqué avec probabilité $1-α_t$. Le processus est formalisé comme une chaîne de Markov :
q(z_t | z_s) = Bernoulli(mask_prob=(α_s-α_t)/α_s)Entraînement et génération itérative
L’étape d’entraînement consiste à présenter au transformeur bidirectionnel des séquences partiellement masquées et à lui demander de prédire les tokens masqués. Le modèle apprend ainsi à estimer soit le token original, soit le masque appliqué, de façon analogue à BERT mais avec un taux de masquage variable. Une fois entraîné, la génération démarre d’une séquence entièrement masquée $z_T$ et applique le modèle $N$ fois : chaque itération réduit le nombre de masques selon le planning inverse $alpha_{t-1}\rightarrow\alpha_t$, jusqu’à obtenir une séquence $z_0$ cohérente. Cette procédure permet d’ajuster le compromis vitesse‑qualité en modifiant $N$.
Des modèles open‑source tels que Mercury 2 (Inception Labs, 2026) illustrent cette approche à grande échelle. Mercury 2 utilise 12 billion de paramètres, un planning $alpha_t$ linéaire et 50 pas de diffusion pour atteindre des scores de perplexité comparables aux modèles autoregressifs de même taille.
Limites et perspectives
Le principal défi reste la définition du « bruit » discret : le masquage ne capture pas les corrélations locales de la même façon que le bruit gaussien le fait pour les images. De plus, la chaîne de Markov impose un coût de calcul proportionnel au nombre de pas $N$, ce qui peut dépasser les exigences des modèles autoregressifs en temps réel. Les recherches en cours explorent des plannings non linéaires, des stratégies de masquage conditionnel et l’intégration de post‑training pour réduire $N$ tout en conservant la qualité.
