Introduction

Google a annoncé aujourd'hui le lancement de DiffusionGemma, un modèle de langage basé sur une approche d'apprentissage automatique appelée diffusion de texte. Ce modèle peut générer du texte quatre fois plus rapidement que les modèles de langage traditionnels, tout en utilisant moins de mémoire RAM.

Contexte Technique

DiffusionGemma repose sur une architecture de diffusion de texte dérivée d'une méthode utilisée pour générer des images. L'algorithme commence avec un texte aléatoire, puis remplace un sous-ensemble de mots par des mots qui formeront la réponse au prompt de l'utilisateur. Cette approche permet à DiffusionGemma de produire 256 jetons à la fois, ce qui la rend plus rapide que les modèles de langage standard.

Le modèle est basé sur une architecture de mélange d'experts, ce qui signifie qu'il n'active que 3,8 milliards de paramètres sur les 26 milliards disponibles pour répondre à un prompt, réduisant ainsi l'utilisation de la mémoire. De plus, DiffusionGemma utilise un format de données léger appelé NVFP4 pour stocker les informations, ce qui réduit encore la consommation de RAM.

Analyse et Implications

DiffusionGemma peut générer plus de 1 000 jetons par seconde sur une carte graphique serveur H100 de Nvidia, et plus de 700 jetons par seconde sur une carte graphique de bureau GeForce RTX 5090. Cette rapidité et cette efficacité font de DiffusionGemma un outil intéressant pour les applications de traitement de langage naturel.

Cependant, il est important de noter que la diffusion de texte est une approche relativement nouvelle dans le domaine de l'apprentissage automatique, et qu'il faudra probablement effectuer des recherches supplémentaires pour améliorer la qualité et la fiabilité de ce type de modèle.

Perspective

DiffusionGemma est désormais disponible en open-source sur Hugging Face, ce qui permettra aux chercheurs et aux développeurs de l'utiliser et de le personnaliser pour leurs propres applications. Il sera intéressant de suivre les prochaines étapes de ce projet et de voir comment la diffusion de texte évoluera dans le domaine de l'apprentissage automatique.