Présentation du modèle

Mistral Large 4, surnommé « Le Chonk », est un modèle multimodal et multilingue basé sur le principe Mixture‑of‑Experts (MoE). Il accepte du texte et des images, génère du texte, et possède environ 1 téra‑paramètre au total, dont 49 milliards de paramètres actifs. Le contexte maximal s’étend à 1 million de tokens, ce qui le place parmi les plus longs contextes disponibles en open‑weight.

Architecture et mécanismes de sparsité

Le décodeur texte comporte 72 couches, une dimension cachée de 6 144 et 64 têtes d’attention. Chaque bloc d’attention combine Multi‑head Latent Attention (MLA) avec un indexeur DeepSeek Sparse Attention (DSA) qui sélectionne jusqu’à 2 048 positions clés par requête. La couche 1 utilise un réseau dense, les 71 suivantes intègrent des blocs MoE : un routeur softmax active 4 experts parmi 128, plus un expert partagé, soit 5 experts actifs par token.

Le modèle applique un schéma 3 : 1 RoPE/NoPE, c’est‑à‑dire que trois couches successives utilisent RoPE (Rotary Positional Embedding) et la suivante NoPE. Mistral emploie LeRope, une version YaRN‑scaled de RoPE avec un multiplicateur appris par fréquence. Le KV‑state est partagé entre les couches, réduisant la charge mémoire.

Le composant vision, le Pixtral encoder, compte 1,6 M paramètres, 30 couches, une dimension cachée de 2 048 et 16 têtes d’attention. Il travaille sur des patchs 14 × 14 et applique un projecteur de fusion spatiale de taille 2.

Performances sur les benchmarks de cybersécurité et de codage

Sur le Artificial Analysis Cyber Index, le modèle atteint 82 % sur le test « reproduce‑then‑patch », le score le plus élevé parmi les modèles ouverts. Il résout 93 % des 40 défis du benchmark Cybench et obtient 93,3 % de résistance aux attaques de Lakera B3, indiquant une robustesse notable contre les injections de prompts.

En codage, Mistral Large 4 obtient 61,7 % sur DeepSWE v1.1, 59,4 % sur SWE‑Atlas‑QnA et 28,3 % sur Terminal‑Bench 4. Son indice combiné Coding Agent atteint 49,8 %, le plaçant devant DeepSeek V4 Pro 0813 et Qwen 3.8 Max. Sur les tâches de travail automatisé, il réalise 59,9 % sur AutomationBench et 1 393 Elo sur AA‑Briefcase.

Déploiement et implications

Le modèle est distribué sous la Mistral Ecosystem Open‑Weight License, dérivée de l’MIT avec des restrictions sur les offres SaaS. Des variantes GGUF sont disponibles via Unsloth et llama.cpp. Le support jour‑0 inclut Transformers, vLLM et llama.cpp, ainsi que des points d’inférence serveur et serverless.

pip install --upgrade transformers
import os
from transformers import AutoProcessor, AutoModelForMultimodalLM, DistributedConfig

distributed_config = DistributedConfig(
    tp_size=int(os.environ["WORLD_SIZE"]),
    ep_size=int(os.environ["WORLD_SIZE"]),
)
model_id = "mistralai/Mistral-Large-4-1T-A52B"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(model_id, device_map="auto")