Contexte et problème

Les serveurs d’inférence IA sont généralement livrés avec un ratio fixe entre GPU et mémoire. Ce ratio reste inchangé pendant toute la durée de vie du serveur, alors que les modèles déployés évoluent rapidement. Cette rigidité crée un gaspillage de ressources lorsque le modèle nécessite plus de mémoire que prévu, ou au contraire, laisse la mémoire sous‑exploitée. En outre, la chaîne d’approvisionnement subit une tension importante : la mémoire constitue l’un des composants les plus rares, ce qui limite la capacité d’expansion des datacenters.

Principe du pooling dynamique

Selon Sumit Puri, co‑fondateur de Liqid, la technologie centrale repose sur le « pooling » et le partage des ressources critiques, à savoir les GPU et la mémoire, au niveau du rack. Au lieu d’allouer ces ressources de façon statique à chaque serveur, Liqid crée des pools communs dans le rack et les assigne dynamiquement aux serveurs en fonction du modèle ou de la charge de travail. Cette approche nécessite un contrôleur capable de réallouer la bande passante mémoire et les cœurs GPU en temps réel, tout en maintenant la cohérence des données entre les nœuds.

Tokenomics et impact économique

Liqid mesure la rentabilité à l’aide de trois indicateurs : tokens par seconde, tokens par watt et tokens par dollar. En livrant exactement la quantité de mémoire requise, le système augmente le nombre de tokens générés par watt, car moins d’énergie est dépensée pour des mémoires inactives. De même, le coût en dollars diminue grâce à une utilisation plus dense du stock de mémoire, atténuant ainsi les effets de la pénurie. Le modèle économique « Liqid as a Service » propose une offre gérée en single‑tenant, avec des appliances préconfigurées, ce qui simplifie le déploiement pour les entreprises qui préfèrent consommer des modèles plutôt que de les entraîner.

Perspectives et limites

Le pooling dynamique promet une meilleure adaptation aux modèles futurs, mais il repose sur une orchestration logicielle robuste et sur la capacité du matériel à supporter des reconfigurations fréquentes sans perte de performance. Les risques potentiels incluent la latence introduite lors du réaffectation de la mémoire et la complexité de la gestion des conflits d’accès simultané aux GPU. De plus, la dépendance à un fournisseur unique pour le service « as a Service » peut créer un verrouillage technologique. Malgré ces réserves, la solution répond à un besoin pressant de flexibilité et de réduction des coûts dans un contexte de pénurie de mémoire.