Contexte et besoin d’une gestion à l’échelle du rack
Les déploiements d’intelligence artificielle atteignent aujourd’hui des tailles de supercalculateur. Au‑delà de l’achat de GPU, le défi principal réside dans le maintien opérationnel des racks, commutateurs, unités de refroidissement et alimentation. Selon les responsables de Dell, les scripts traditionnels ne suffisent plus pour orchestrer ces environnements complexes, ce qui crée une demande de nouveaux outils capables de gérer l’ensemble du cycle de vie, du déploiement à la surveillance quotidienne.
Solution Dell OpenManage Rack Scale et Fabric Manager
Dell a présenté OpenManage Rack Scale, capable de gérer 100 000 appareils dès sa première version, contre 8 000 serveurs pour son prédécesseur OpenManage Enterprise. Le produit considère le rack comme l’unité de base, intégrant compute, alimentation, commutateurs et systèmes de distribution de liquide de refroidissement. En parallèle, Dell Fabric Manager transforme les conceptions validées avec Nvidia et AMD en plans déployables sur différents systèmes d’exploitation réseau et silicium, automatisant ainsi la mise en service du réseau.
Architecture de télémétrie et assistance IA
Chaque serveur équipé du contrôleur iDRAC transmet plus de 320 métriques à la plateforme de gestion. Dell intègre un chatbot assisté par IA, alimenté par des modèles de langage locaux, capable d’interroger ces données en temps réel. Cette approche permet de détecter des anomalies, comme une fuite de liquide de refroidissement, qui pourrait endommager des équipements valant plusieurs millions de dollars. Le processus consiste à collecter la télémétrie, la corréler, exécuter des algorithmes d’apprentissage et fournir des diagnostics automatisés.
Impacts observés et limites potentielles
Le responsable produit a indiqué que la bande passante requise pour les charges IA augmente d’un facteur entre 9 et 10, bien au‑delà des prévisions de croissance de 3,5 fois. Cette pression se concentre sur le réseau, justifiant l’importance du Fabric Manager. Toutefois, la dépendance à des modèles locaux d’IA soulève des questions de mise à jour et de consommation de ressources sur le rack. De plus, la gestion de 100 000 appareils nécessite une infrastructure de stockage et de traitement des métriques capable de soutenir un débit élevé, sans quoi la visibilité en temps réel pourrait être compromise.