Présentation du modèle

Microsoft a annoncé MAI-Base-2, un modèle de base de 2 trillions de paramètres. Il s’agit d’un prototype sans les couches de raisonnement et de sécurité que l’on retrouve dans les LLM finaux. Selon les tests internes, il surpasse le modèle open‑source le plus performant, DeepSeek‑V4‑Pro‑Base, sur des questions de sciences, de programmation et de mathématiques.

Architecture MoE et efficacité matérielle

Le modèle repose entièrement sur une architecture Mixture of Experts (MoE). Chaque requête n’active que 80 milliards de paramètres, soit 4 % du total, ce qui réduit la consommation d’énergie et le temps de calcul. Cette sélection dynamique explique l’affirmation de Microsoft selon laquelle MAI‑Base‑2 est jusqu’à 12 fois plus efficace matériellement que les alternatives évaluées. Le passage d’une conception hybride (couches MoE + FFN) à une conception purement MoE élimine les goulets d’étranglement liés aux couches Feed‑Forward Network, améliorant ainsi le débit de traitement.

Entraînement et jeu de données

Le processus d’entraînement a duré 38 jours, mobilisant 16 000 puces Nvidia GB200. Le corpus d’apprentissage comprend 50 trillions de tokens, dont environ 20 % sont dédiés à un module de vision par ordinateur intégré. Ce module renforce les performances du modèle sur des tâches telles que l’interprétation de graphiques scientifiques. Microsoft a appliqué le gradient clipping pour stabiliser la propagation des gradients, évitant les explosions qui pourraient interrompre l’apprentissage. Le workflow a été accéléré grâce à Muon, un outil open‑source spécialisé dans l’optimisation des pipelines d’entraînement.

Implications et limites

Microsoft prévoit de licencier les poids de MAI‑Base‑2 à des « partenaires de confiance » via Azure, tout en l’utilisant comme socle pour de futurs LLM. La capacité à n’activer qu’une fraction des paramètres ouvre la voie à des déploiements plus économiques, mais elle impose une complexité de routage des experts qui peut affecter la latence en production. De plus, l’absence de couches de sécurité intégrées signifie que les développeurs devront ajouter des garde‑fous lors du fine‑tuning, ce qui augmente le coût de mise en service. Enfin, le benchmark interne reste non publié, limitant la vérifiabilité externe des gains de performance annoncés.