Présentation

Apple a publié la version 0.30.1 de MLX, un framework open‑source d’arrays qui exploite l’architecture mémoire unifiée des puces Apple Silicon. Le framework permet d’exécuter localement des modèles de grande taille, dont le modèle frontier‑class Muse Spark Open de 816 milliards de paramètres, en combinant le GPU Neural Accelerator (GNA) et la bande passante mémoire de 1,2 TB/s du Mac Studio M5 Ultra.

Performances comparatives

Sur un Mac Studio équipé de 512 Go de RAM, les modèles Qwen 3.8‑27B et Mistral Medium 3.5‑128B tiennent respectivement 68 Go et 158 Go de mémoire même avec un contexte de 65 536 tokens. Le temps au premier token (TTFT) est limité par le calcul ; le GNA du M5 Ultra réduit ce temps jusqu’à 4,6 fois celui du M3 Ultra. La vitesse de génération, dépendante de la bande passante, est elle‑même augmentée de 1,6 fois grâce à la bande passante mémoire supérieure (1,2 TB/s contre 819 GB/s). En termes de consommation, le M3 Ultra atteint un pic d’environ 200 W, tandis que le M5 Ultra consomme 300 W, soit l’équivalent de la puissance d’un grille‑pain domestique.

mlx_lm.benchmark --model Qwen/Qwen3.8-27B -p 8192 -g 128 -b 1

Ce même benchmark, exécuté avec un contexte de 8 192 tokens et une génération de 128 tokens, illustre la capacité du Mac Studio à gérer des charges lourdes tout en restant énergétiquement raisonnable.

Parallélisation et RDMA

Le modèle Muse Spark Open ne peut pas être chargé en pleine précision BF16 sur une seule machine : il nécessiterait plus de 1,6 TB de RAM. En quantifiant à 4 bits (NVFP4), le modèle occupe 493 Go, mais la mémoire intermédiaire empêche toujours un chargement monolithique. La solution proposée repose sur la pipeline parallelisation entre deux Mac Studio reliés par le driver RDMA over Thunderbolt 5 (macOS 26.2). Chaque station exécute la moitié des couches, échange les sorties intermédiaires via le backend jaccl, et poursuit le calcul.

mlx.launch --hostfile hostfile.json --backend jaccl \
  --env MLX_METAL_FAST_SYNCH=1 -- \
  mlx_lm.benchmark --model mistralai/Mistral-Medium-3.5-128B \
  -p 8192 -g 128 -b 1 --prefill-step-size 8192 --pipeline

Le flag MLX_METAL_FAST_SYNCH=1 accélère la synchronisation CPU‑GPU, réduisant l’overhead de communication. Les mesures montrent que, pour des contextes très larges (65 536 tokens), la pré‑remplissage (prefill) devient ~1,8 fois plus rapide que sur une seule machine, tandis que le débit de décodage reste comparable.

Limites et perspectives

Bien que le cluster de quatre Mac Studio atteigne plus de 36 tokens/s avec Muse Spark Open, la scalabilité reste liée à la bande passante Thunderbolt et à la capacité de la RAM unifiée. Aucun benchmark public n’est fourni pour des configurations supérieures à quatre nœuds, ce qui limite l’évaluation de la linéarité de la parallélisation. De plus, la quantisation NVFP4, bien que réduisant la taille du modèle, impose une perte de précision non détaillée dans l’article. Enfin, le support de jaccl reste expérimental, et son adoption dans des environnements de production devra être validée.