Contexte et limites des interconnexions actuelles
Les travaux d’entraînement distribués sur plusieurs nœuds utilisent traditionnellement l’InfiniBand ou les équivalents cloud (EFA, GPUDirect‑TCPX). Une comparaison directe montre que remplacer le NVLink par l’InfiniBand entraîne une perte de 43 % de débit d’entraînement, selon une mesure de Hugging Face. Cette pénalité provient du fait que les motifs de communication critiques – all‑reduce pour le tensor parallelism et all‑to‑all pour l’expert parallelism – ne peuvent pas être masqués par le calcul et sont donc limités par la bande passante du réseau.
Architecture du tissu NVL72
Le système NVL72 supprime la frontière node‑to‑node du NVLink en connectant les 72 GPU d’un rack via un maillage NVSwitch. Chaque GPU possède 18 ports NVLink à 100 GB/s bidirectionnels, soit 1,8 TB/s par puce. Les 18 NVSwitch acceptent chacun les 72 lignes NVLink, ce qui génère une bande passante interne agrégée de 130 TB/s pour le rack. Le résultat est un réseau non‑blocking où la latence est uniforme, permettant à n’importe quel GPU d’échanger des données avec n’importe quel autre GPU du même rack sans passer par l’InfiniBand.
Conséquences sur les stratégies de parallélisme
Le tensor parallelism divise les matrices de poids et nécessite deux all‑reduce par couche de transformeur. Sur un réseau NVLink, ces all‑reduce sont exécutés à pleine bande passante ; sur InfiniBand, le débit chute de 43 %, réduisant directement le throughput. L’expert parallelism, qui repose sur deux all‑to‑all (dispatch et combine), consomme jusqu’à 60 % du temps d’entraînement sur des serveurs 8‑GPU classiques, car le trafic passe par l’InfiniBand. En plaçant les 64 GPU d’un groupe d’experts dans le même domaine NVLink du NVL72, le goulot d’étranglement disparaît. Pour l’inférence, le benchmark vLLM montre qu’un découpage tensor‑parallel sur deux GPU augmente la capacité du cache KV de 13,9 × et le débit de 3,9 ×. De même, le modèle DeepSeek‑R1 exécuté sur un NVL72 GB200 avec 32‑way expert parallelism délivre jusqu’à 4,4 × plus de throughput par GPU que des serveurs B200 8‑GPU limités à 8‑way, grâce à la bande passante NVLink constante.
Gestion de la résilience et de la fragmentation
Conserver la localité au niveau du rack est essentiel : un job réparti sur plusieurs racks reste limité par l’InfiniBand. Les pannes de nœuds ou les terminaisons asynchrones des jobs fragmentent les ressources, rendant difficile le maintien de la topologie optimale. La plateforme SkyPilot adresse ce problème en plaçant les jobs en fonction de la topologie du réseau, en récupérant in‑place les nœuds défaillants et en défragmentant automatiquement les clusters partagés. Cette approche permet de laisser quelques nœuds libres dans chaque rack, augmentant ainsi la capacité utilisable de 27 % sans sacrifier la bande passante NVLink.
