Présentation

Le blog de Hugging Face décrit une méthode de streaming d’experts MoE (Mixture‑of‑Experts) directement depuis le SSD, atteignant une perte de performance inférieure à 6 % par rapport à l’inférence native de Strata sur la génération de tokens. Le modèle cible, Qwen‑3.8‑Flash‑Next, compte 180 milliards de paramètres, dont plus de 90 % sont des poids d’experts, ce qui rend le stockage sur GPU prohibitif même avec deux RTX 4090.

Architecture du streaming MoE

Strata conserve uniquement les experts « chauds » en VRAM ; les autres sont stockés en RAM ou sur disque. Le projet moe‑expert‑streaming implémente un cache LRU sur le GPU et un pool de slots partagé entre les couches, de sorte que le kernel grouped_mm peut traiter les experts comme un bloc continu, sans matrice personnalisée. Les experts sont quantifiés à 3 bits (49 GiB sur disque) et pré‑chargés par 8 threads d’I/O, chaque lecture étant contiguë.

model = AutoModelForCausalLM.from_pretrained(
    f"{path}/dense",
    dtype=torch.bfloat16,
    device_map={"": "mps", "experts.*": "disk"},
    quantization_config=MetalConfig(bits=8),
    experts_offload={
        "cache_bytes": 12 << 30,
        "quantized_experts": f"{path}/experts-q3",
    },
)

Comparaison des approches d’offloading

llama.cpp utilise mmap pour placer les experts en RAM et les calcule sur le CPU, ne transférant que les activations via PCIe. Cette méthode reste efficace tant que les experts tiennent en RAM, mais le cache de GPU introduit par --moe-cache-mib fragmente le graphe (2 découpages par token deviennent 50) et entraîne une perte d’environ 10 % même en pleine capacité.

vLLM propose --cpu‑offload‑gb qui place les poids dans la RAM épinglée ; chaque token doit relire les experts via PCIe, sans cache. En ne conservant que les experts (et non les couches denses) et en appliquant la quantification FP8, la vitesse double, mais reste inférieure à 1 token/s lorsqu’on charge des groupes de couches à l’avance.

Transformers, via Accelerate, déplace module par module les poids vers le GPU. Pour un MoE, chaque module correspond à l’ensemble du banc d’experts d’une couche, entraînant le transfert de tous les experts à chaque token. Sur un Mac avec mémoire unifiée, l’offload « CPU » ne libère aucune bande passante.

Performances et limites

Sur un A10G (24 GiB) avec RAM suffisante, le streaming d’experts a atteint 34.6 tokens/s contre 38.1 tokens/s pour la version « vanilla », soit un écart de 9 %. Sur un Mac M4 avec 32 GiB, Qwen‑3.8‑Flash‑Next atteint 13.5 tokens/s, plus lent que Strata mais supérieur à llama.cpp qui ne supporte pas le streaming natif. La clé de l’amélioration réside dans le pool de slots qui permet à grouped_mm de fonctionner sans modification, réduisant le coût d’appel du kernel.

Les limites restent liées à la bande passante du SSD : le système doit être capable de fournir les experts avant que le router ne les sollicite, sinon le goulot d’étranglement passe de la GPU à l’I/O. De plus, le modèle possède une table n‑gram de 51 GiB qui nécessite un chemin disque dédié, augmentant la complexité du pipeline.