Contexte énergétique des déploiements IA

Lors du salon SC26, les intervenants ont souligné que les entreprises qui construisent des usines d'IA rencontrent désormais un goulet d'étranglement lié à la consommation électrique et à la dissipation thermique. Les racks qui, il y a quelques années, plafonnaient à environ 10 kilowatts voient leurs densités grimper vers un mégawatt. Cette évolution transforme la métrique de dimensionnement : le mégawatt devient l’unité de référence pour estimer la capacité de calcul et le nombre de FLOPS que l’on peut extraire d’une installation.

Jack Hogan, vice‑président de SHI International, indique que les clients peuvent acquérir les GPU requis, mais que l’alimentation et le refroidissement nécessaires ne sont pas toujours disponibles. Le problème n’est plus l’accès aux puces, mais la capacité du site à fournir une puissance continue suffisante et à évacuer la chaleur générée sans dépasser les limites de l’infrastructure existante.

Contraintes d'infrastructure et de refroidissement

SHI, fort de 37 ans d’expérience, propose des racks personnalisés et des évaluations pré‑site afin que les systèmes soient opérationnels dès leur arrivée. Un projet récent dans le New Jersey illustre ce modèle : l’entreprise héberge et exploite le système du client dans son propre centre de données, garantissant que les alimentations et les systèmes de climatisation sont dimensionnés pour le niveau de densité visé. Cette approche montre que la planification physique doit précéder l’achat de matériel.

Le refroidissement devient un facteur limitant lorsqu’on passe de dizaines de kilowatts à plusieurs centaines. Les solutions traditionnelles, comme le refroidissement par air, ne suffisent plus, ce qui pousse les opérateurs à envisager le refroidissement liquide ou des architectures de flux d’air optimisées. Le coût de ces solutions, ainsi que la complexité de leur déploiement, influence directement le retour sur investissement des projets d’IA.

Implications pour l'edge inference

Sur le périmètre de l’edge, les exigences diffèrent. Les charges de travail telles que le traitement vidéo en temps réel génèrent des données qui doivent être analysées « in‑situ », limitant la possibilité de les renvoyer vers un centre de données central. Hogan précise que les réseaux actuels ne sont pas toujours adaptés pour transporter ces volumes sans perte de performance, ce qui crée une tension entre la puissance disponible sur le site et la bande passante réseau.

Pour répondre à ces contraintes, SHI recommande de choisir le modèle d’IA en fonction du contexte matériel : un grand modèle de langage peut être inutile sur un dispositif edge où un petit modèle spécialisé offre un meilleur ratio énergie‑performance. Cette démarche, qui part de l’objectif métier pour remonter à la sélection du matériel, vise à éviter que des GPU puissants restent inactifs faute d’alimentation ou de refroidissement adéquats.