Introduction
L'intelligence artificielle (IA) nécessite une grande quantité d'électricité pour fonctionner, mais les techniques de traitement actuelles dépassent les capacités des opérateurs de centres de données pour gérer leur relation avec le réseau électrique, les forçant à réduire leur consommation d'énergie de jusqu'à 30 %.
Contexte Technique
La start-up Niv-AI est sortie de la phase de confidentialité avec 12 millions de dollars de financement initial pour résoudre ce problème en mesurant avec précision la consommation d'énergie des GPU grâce à de nouveaux capteurs et en développant des outils pour la gérer de manière plus efficace.
Les laboratoires de pointe utilisent des milliers de GPU pour former et exécuter des modèles avancés, ce qui entraîne des pics de demande d'énergie à l'échelle des millisecondes lorsque les processeurs passent d'une tâche de calcul à une autre ou communiquent avec d'autres GPU.
Analyse et Implications
Ces pics de demande rendent difficile pour les centres de données la gestion de l'énergie qu'ils tirent du réseau. Pour éviter de se retrouver sans électricité suffisante, les centres de données paient pour un stockage d'énergie temporaire pour couvrir les pics ou réduisent leur utilisation de GPU.
Ces deux cas réduisent le rendement des investissements dans les puces coûteuses. Niv-AI entend déployer des capteurs au niveau des racks pour détecter l'utilisation de l'énergie au niveau des millisecondes sur les GPU qu'elle possède et chez ses partenaires de conception.
Perspective
L'objectif est de comprendre les profils d'énergie spécifiques des différentes tâches d'apprentissage profond et de développer des techniques d'atténuation qui permettent aux centres de données de débloquer plus de leur capacité existante.
Niv-AI prévoit d'avoir un système opérationnel dans une poignée de centres de données américains dans les six à huit prochains mois, ce qui constitue une idée attrayante pour les hyperscalers qui tentent de construire de nouveaux centres de données face à des difficultés d'utilisation des terres et de chaîne d'approvisionnement.
