Mistral AI déploie Mistral Large 4, modèle open‑source à 1 trillion de paramètres

Présentation du modèle

Mistral AI SAS a rendu public Mistral Large 4, son LLM le plus puissant à ce jour, en accès preview sur sa plateforme cloud. Le modèle reste open‑source ; les poids seront publiés avant la fin du mois, ce qui permet aux chercheurs et aux entreprises d’expérimenter directement sans passer par une licence propriétaire.

Architecture et efficacité matérielle

Large 4 repose sur une architecture mixture of experts (MoE) comptant un total d’un trillion de paramètres. Grâce au routage dynamique, seulement 49 milliards de paramètres sont activés pour chaque requête, ce qui réduit la consommation de mémoire et la charge GPU par rapport à un modèle dense de même taille. Cette approche permet d’exploiter des capacités de modèle de classe « trillion » tout en restant compatible avec les configurations GPU actuelles.

Le processus d’entraînement a mobilisé 3 800 puces Grace Blackwell. Chaque accélérateur combine deux GPU Nvidia Blackwell et un CPU, offrant une densité de calcul adaptée aux exigences de MoE. Aucun chiffre de durée d’entraînement n’est fourni, mais la configuration indique une capacité de calcul très élevée, comparable aux supercalculateurs dédiés aux LLM de pointe.

Performances sur les benchmarks

Sur le AA Cyber Index, Mistral Large 4 se classe parmi les cinq meilleurs modèles, avec un score de 82 % pour la détection et la correction de vulnérabilités logicielles, surpassant les alternatives open‑source. En vision par ordinateur, le modèle dépasse GPT‑6 Astra de 1 % sur le benchmark Dense200, qui mesure la capacité à identifier des objets d’intérêt dans des images.

En programmation, Large 4 reste en retrait face aux modèles « frontier » comme Astra, mais il devance plusieurs LLM open‑source, dont Qwen 3.8 Max et DeepSeek V4 Pro. Il obtient également de meilleurs scores que DeepSeek V4 Pro sur les benchmarks AutomationBench et AA‑Briefcase, ces derniers évaluant respectivement des tâches d’automatisation simples et des missions de travail cognitif nécessitant plusieurs semaines d’effort humain.

Processus d’entraînement et infrastructure logicielle

Mistral décrit un pipeline d’entraînement basé sur des rollouts parallélisés. Chaque rollout consiste en une tâche soumise au modèle sans supervision humaine, puis évaluée par un modèle spécialisé qui ajuste les poids. La société affirme pouvoir exécuter « des dizaines de milliers de rollouts en parallèle », grâce à une pile logicielle qui assemble les rollouts à partir d’une bibliothèque de blocs fonctionnels : sandbox d’exécution de code, moteur de recherche web, et suites de tests de validation.

Le volume généré atteint 33 milliards de tokens par jour, dont moins de la moitié alimente directement le workflow d’entraînement. La séparation asynchrone des rollouts et du processus de mise à jour des poids évite les goulots d’étranglement : un retard dans l’un n’impacte pas l’autre, ce qui accélère le cycle d’apprentissage. Mistral n’a pas interrompu le run d’entraînement après la version actuelle, anticipant ainsi la production de versions ultérieures plus performantes dans les mois à venir.

À plus long terme, l’entreprise prévoit d’utiliser Large 4 comme socle pour créer une gamme de modèles spécialisés, adaptés à des cas d’usage précis (extraction d’information, génération de code, vision industrielle, etc.). Cette stratégie repose sur la modularité de la pile MoE et sur la capacité à réutiliser les rollouts comme blocs de construction pour de nouveaux modèles.