Présentation de WekaIO
WekaIO Inc. a annoncé une refonte majeure de sa plateforme de gestion de données distribuées, ainsi que le lancement de son premier matériel conçu spécifiquement pour les charges de travail d'inférence artificielle.
Architecture et fonctionnement
La nouvelle version du logiciel, appelée WEKA NeuralMesh 6, est conçue pour éliminer les goulots d'étranglement de stockage et de mémoire qui freinent les charges de travail d'inférence. Elle est associée à de nouveaux appareils de stockage, les WEKApod Nitro, WEKApod Prime et WEKApod Prime Max, qui promettent de fournir la combinaison parfaite de capacité et de performance pour les charges de travail d'inférence à grande échelle.
Le logiciel NeuralMesh 6 introduit une nouvelle technologie de grille de mémoire augmentée, qui peut étendre la mémoire des unités de traitement graphique en plaçant le cache de clés critiques dans le stockage NVMe. Cela permet de contourner les surcoûts de recalcul qui drainent silencieusement les unités de traitement graphique lors des charges de travail d'inférence.
NeuralMesh 6 avec NVMe a livré 10 fois plus de jetons et a servi 10 fois plus d'utilisateurs concurrents sur Oracle Cloud Infrastructure que la mémoire dynamique aléatoire standard.Implications et limites
Les entreprises font face à des contraintes physiques majeures, telles que la réduction de l'espace disponible dans les centres de données et les difficultés des réseaux électriques à répondre aux demandes de puissance de ces installations. WekaIO tente de maximiser les ressources disponibles avec son nouveau matériel et logiciel.
Le directeur général de WekaIO, Liran Zvibel, a déclaré que l'entreprise est et restera une entreprise de logiciels en premier lieu, mais que la construction de son propre matériel était nécessaire pour répondre aux besoins de ses clients en termes de coûts d'inférence.
