Présentation du modèle

Alibaba Group a dévoilé Qwen4-Max, un grand modèle de langage (LLM) reposant sur une architecture nommée Qwen4. Le cœur du modèle comporte 2,4 billion de paramètres, dont seulement 71 milliards sont activés simultanément. En complément, 328 milliards de paramètres N‑gram fonctionnent comme un cache, conservant les résultats de calculs fréquents afin d’éviter leur recomputation.

Optimisations de l’entraînement

Le processus d’apprentissage utilise un mécanisme de residual qui permet au gradient de sauter certaines couches. Contrairement aux implémentations classiques à canal unique, Qwen4‑Max déploie quatre canaux résiduels équipés d’une porte de régulation. Cette configuration réduit les erreurs de propagation, diminue la charge de calcul et, par conséquent, le coût d’entraînement. Le modèle conserve la même profondeur de réseau tout en accélérant le flux de gradients grâce à ces raccourcis contrôlés.

Améliorations de l’attention

Deux innovations ciblent le module d’attention. La première, Gated DeltaNet, diminue la quantité de matériel nécessaire pour traiter de longs prompts en filtrant les informations pertinentes avant le calcul complet. La seconde, QSA (Query‑Skip‑Attention), omet les fragments de données jugés inutiles pour la réponse, réduisant ainsi le nombre d’opérations d’attention. Ensemble, ces techniques limitent l’utilisation du GPU/TPU et abaissent les dépenses d’infrastructure.

Évaluation et implications

Sur un benchmark interne incluant des tâches de travail de connaissance, Qwen4‑Max a surpassé son prédécesseur Qwen3.8‑Max tout en consommant jusqu’à 35 % de tokens en moins. Lors de l’évaluation avec la suite Terminal‑Bench 4.0, dédiée aux défis de codage, l’économie de tokens a atteint 49 %. La réduction du nombre de tokens se traduit directement en moindre temps de calcul et en économies d’énergie, bien que les mesures restent limitées aux scénarios testés par Alibaba.

Le modèle est accessible via la plateforme cloud d’Alibaba, et l’entreprise prévoit d’ouvrir le code source de versions plus petites basées sur la même technologie. Un plugin, Qwen‑Live‑Delivery‑Plugin, permet de délivrer un premier brouillon rapidement puis d’ajuster itérativement le texte en fonction des retours utilisateur, raccourcissant ainsi le délai de production pour les projets à horizon long.

Malgré ces gains, Qwen4‑Max demeure un modèle de très grande taille, ce qui impose des exigences matérielles importantes pour le déploiement hors cloud. De plus, l’absence de benchmarks publics rend difficile la comparaison avec d’autres LLMs open‑source ou commerciaux. Les optimisations présentées sont donc à considérer comme des améliorations d’efficacité internes, dont l’impact réel dépendra de la capacité des utilisateurs à exploiter le cloud d’Alibaba.