Présentation du partenariat
Cloudera et Vast Data ont annoncé un partenariat pour accélérer la livraison de données et prévenir la famine de processeurs graphiques (GPU). Ce partenariat vise à créer un environnement de production hautement évolutif pour l'ingestion, le raffinement, la gouvernance et la livraison de grandes quantités de données d'entreprise pour alimenter les systèmes d'intelligence artificielle (IA).
Architecture technique
La plate-forme développée conjointement par les deux entreprises peut fonctionner à la fois sur site et dans des environnements cloud, offrant ainsi aux entreprises la flexibilité de déployer l'IA dans l'emplacement le plus approprié en fonction de leurs besoins en termes de performances, de coûts et de conformité. Cloudera apporte son architecture de lac de données (data lakehouse) avec des services de données portables et conteneurisés qui couvrent l'ingénierie de données, le streaming, l'apprentissage automatique et la gouvernance.
Vast Data contribue avec son système d'exploitation Vast AI, basé sur une architecture « disaggregée, partagée tout » qui prend en charge des volumes de données à l'échelle de l'exabyte avec des services de stockage haute performance unifiés et des services de base de données vectorielle intégrés à la bibliothèque cuVS d'Nvidia, qui permet la recherche et le regroupement de données accélérés par GPU.
Implications et limites
Le partenariat vise à résoudre le problème de la « famine de GPU », où les processeurs graphiques coûteux qui alimentent les charges de travail d'IA restent inactifs en attendant les données nécessaires à leur traitement. En garantissant un débit rapide et une faible latence pour alimenter les systèmes d'IA, les entreprises peuvent optimiser l'utilisation de leurs ressources GPU. Abhas Ricky, directeur général de l'IA appliquée chez Cloudera, souligne que les plus grandes entreprises mondiales ont dépensé des milliards de dollars en GPU mais ne parviennent pas à les utiliser pleinement en raison de goulets d'étranglement dans les données.
Mise en œuvre et résultats attendus
La collaboration entre Cloudera et Vast Data ne se limite pas à résoudre le problème de la famine de GPU ; elle ouvre également la voie à l'exécution d'agents d'IA autonomes dans des environnements d'IA sécurisés, privés et souverains, soumis à des contrôles de conformité stricts. Les entreprises peuvent utiliser le service d'inférence d'IA de Cloudera, accéléré par les microservices NIM d'Nvidia, pour déployer des modèles d'IA et les alimenter avec des données sensibles.
Le nouveau « usine d'IA » est disponible via les équipes de vente et les écosystèmes de partenaires des deux entreprises, avec des variations spécifiques à l'industrie prévues pour l'avenir. Selon Jeff Denworth, co-fondateur de Vast Data, la plupart des entreprises possèdent déjà les données nécessaires pour alimenter l'IA, mais elles peinent à créer les pipelines de données continus pour l'inférence, le raffinement et l'analyse de données pour en tirer parti.
