Contexte et enjeux
Le coût du calcul IA explose, et les opérateurs de data‑centers doivent désormais optimiser l’utilisation de leurs grappes de GPU plutôt que d’acheter davantage de matériel. Clockwork.io indique que, lors du entraînement du modèle Llama 3 sur 16 384 GPU, Meta a enregistré une panne matérielle toutes les trois heures en moyenne, ce qui a nécessité des restaurations de snapshots pouvant durer jusqu’à 90 minutes. Pendant ces intervalles, des milliers de GPU restent inactifs, et le travail déjà accompli doit parfois être répété, ce qui réduit le bon‑throughput global.
Solution logicielle de Clockwork
Clockwork propose une couche logicielle programmable placée entre les GPU et les charges de travail IA. Cette couche fournit une télémétrie à précision nanoseconde capable d’identifier les défaillances avant qu’elles n’entraînent un redémarrage complet du cluster. Le produit existant LinkPass assure le basculement du trafic IA autour de pannes de liens optiques, tandis que TorchPass migre les charges de travail entre GPU défaillants. La nouveauté TorchSnap capture des snapshots multinœuds de charges d’inférence distribuées sans modification du code développeur, permettant une reprise quasi instantanée. Les équipes peuvent également injecter une logique de point de contrôle au niveau applicatif afin de réduire la perte de progression et d’éviter la recomputation.
Adoption et retours d'expérience
Depuis son dernier tour de financement, Clockwork a vu une adoption rapide. LinkedIn, filiale de Microsoft, a déployé LinkPass sur l’ensemble de son parc GPU, éliminant plusieurs milliers d’heures d’indisponibilité chaque mois. Together AI commercialise TorchPass comme service sur ses clusters, offrant aux clients une tolérance aux pannes intégrée. Le néocloud WhiteFiber utilise la technologie Clockwork pour auditer la fiabilité de ses grappes avant d’accepter de nouvelles charges IA. Greg Papadopoulos, partenaire chez NEA, souligne que « mettre suffisamment de GPU dans une machine rend inévitable une panne », et que la couche logicielle de Clockwork devient une composante essentielle de toute architecture GPU à grande échelle.
Analyse des limites et perspectives
La solution repose sur une instrumentation logicielle qui, bien que légère, introduit un point supplémentaire de complexité dans la pile d’exécution. Son efficacité dépend de la capacité du matériel à exposer des métriques en temps réel, ce qui peut varier selon les fournisseurs de GPU. De plus, l’absence de standards ouverts pour la synchronisation de snapshots multicluster limite l’interopérabilité entre solutions concurrentes. Enfin, le modèle économique, basé sur des licences d’entreprise et des services cloud, nécessite une adoption à grande échelle pour amortir les coûts, ce qui pourrait freiner les petites équipes de recherche. Malgré ces contraintes, la capacité à réduire les temps d’arrêt de plusieurs dizaines de minutes représente un gain tangible pour les déploiements IA à l’échelle du datacenter.
