Distillation réduit le nombre d’étapes de diffusion des modèles

Principe de la diffusion

Les modèles de diffusion décomposent la génération d’échantillons d’une distribution haute dimension en une suite de tâches de débruitage. Chaque tâche consiste à prédire la direction dans l’espace d’entrée qui augmente la vraisemblance, puis à effectuer un petit pas suivant cette direction. Le texte indique que la direction n’est fiable qu’à l’échelle locale ; un pas trop grand conduit à un point médian flou, car il représente la moyenne de nombreuses images plausibles. Cette contrainte impose l’utilisation de pas finis mais petits, d’où le besoin de plusieurs itérations pour affiner progressivement l’échantillon.

Rôle de la distillation

La distillation consiste à entraîner un étudiant en le supervisant avec les prédictions d’un enseignant déjà entraîné. Le blog précise que plusieurs travaux de distillation ont permis d’obtenir des résultats « extrêmement convaincants », en particulier pour réduire le nombre d’étapes de diffusion. En pratique, l’étudiant apprend à reproduire la trajectoire complète du processus de diffusion en un nombre d’étapes bien moindre, ce qui supprime la nécessité de ré‑évaluer la direction à chaque petit pas.

Méthodes de réduction d’étapes

Parmi les approches citées, les algorithmes DDPM1, DDIM4 et les solveurs d’équations différentielles stochastiques (SDE) diffèrent par la présence ou l’absence de bruit injecté à chaque étape. Karras et al. (référencés comme « instant classic ») montrent que le bruit agit comme correcteur d’erreur, limitant l’accumulation d’imprécisions du modèle. Les méthodes déterministes, comme DDIM ou les approches basées sur les ODE, éliminent ce bruit pour garantir une correspondance bijective entre le bruit initial et l’échantillon final, ce qui est indispensable dans certaines applications (par ex. génération réversible).

La distillation exploite ces mécanismes en apprenant à l’étudiant à reproduire le résultat d’une chaîne de plusieurs pas DDPM ou DDIM en un seul pas ou en quelques pas seulement. Le processus d’apprentissage intègre donc la dynamique du bruit (ou son absence) ainsi que la géométrie locale du champ de direction, ce qui explique les gains de vitesse observés sans perte drastique de qualité.

Limites et perspectives

Le texte souligne que la réduction du nombre d’étapes n’est jamais totalement gratuite. Un pas plus grand augmente le risque de sortir du « région de haute vraisemblance », ce qui se traduit par des images floues ou dépourvues de hautes fréquences. De plus, la distillation dépend fortement de la capacité du modèle étudiant à absorber la complexité de la trajectoire d’origine ; si le réseau est sous‑dimensionné, la qualité chute rapidement. Enfin, l’absence de bruit, bien que bénéfique pour la déterminisme, supprime l’effet de correction d’erreur, rendant le processus plus sensible aux imprécisions du modèle de base. Ces contraintes indiquent que les gains de vitesse devront être évalués au regard du domaine d’application et du budget de calcul disponible.