Contexte du goulot d’étranglement mémoire
Les modèles de langage de grande taille (LLM) dépassent aujourd’hui les capacités de mémoire des GPU les plus puissants. Un modèle de 175 milliards de paramètres, comme GPT‑3, nécessite approximativement 700 Go de VRAM pour un entraînement complet, alors que les cartes Nvidia H100 offrent 80 Go. Cette discordance impose le recours à la parallélisation de modèle, à la fragmentation de lots ou à l’utilisation de serveurs multi‑GPU, ce qui augmente la latence et le coût énergétique. Le problème est devenu un facteur limitant pour les start‑ups et les laboratoires qui souhaitent itérer rapidement sur des architectures plus grandes.
Approche technique de MemorAI
MemorAI, start‑up en phase de stealth, a levé 400 M$ pour commercialiser une pile logicielle capable de réduire la consommation mémoire d’un facteur de deux à trois sans perte de précision. La solution repose sur trois leviers :
Compression dynamique des tenseurs : les poids et activations sont stockés en format 8‑bits quantifié à la volée, avec un schéma de recalibrage qui maintient l’erreur de quantification en dessous de 0,1 % du signal original. Cette technique exploite les propriétés de distribution gaussienne des gradients pour appliquer un facteur de compression adaptatif.
Re‑émission sélective (rematerialisation) : au lieu de conserver toutes les activations intermédiaires en VRAM, le moteur de MemorAI reconstruit les couches critiques uniquement lorsqu’elles sont nécessaires au calcul du gradient. Le planificateur d’exécution analyse le graphe de calcul et identifie les nœuds dont le coût de recomputation (en FLOPs) est inférieur au coût de stockage (en Go).
Off‑loading hiérarchique vers la RAM et le NVMe : les blocs de mémoire qui dépassent la capacité du GPU sont déplacés vers la mémoire système via un protocole PCIe 5.0 à 64 GT/s, puis vers un cache NVMe‑optimisé. Un algorithme de préfetching basé sur les modèles d’accès de la couche d’attention antérieure minimise les temps d’attente, maintenant la latence d’accès en dessous de 5 µs pour les blocs les plus fréquemment réutilisés.
Évaluation des performances et limites
Les premiers benchmarks internes montrent que, sur un modèle de 70 B paramètres, la consommation VRAM passe de 280 Go à 110 Go, soit une réduction de 60 %. Le temps d’entraînement augmente de 12 % en moyenne, un compromis jugé acceptable pour les équipes qui ne disposent que de 4 GPU H100. En inférence, la latence de génération passe de 45 ms à 48 ms par token, tandis que le débit reste stable grâce à l’optimisation du pipeline d’IO.
Les limites restent liées à la dépendance au bus PCIe 5.0 ; les serveurs équipés de PCIe 4.0 voient la pénalité de latence grimper à 15 µs, réduisant l’efficacité globale à 30 % de gain mémoire. De plus, la compression 8‑bits n’est pas adaptée aux modèles très sensibles aux valeurs extrêmes, comme les réseaux de diffusion, où une perte de précision supérieure à 0,5 % peut dégrader la qualité des images générées.
Perspectives d’adoption
MemorAI cible les laboratoires de recherche et les fournisseurs de cloud qui cherchent à maximiser le ratio modèles/GPU sans investir dans du matériel supplémentaire. La société prévoit de publier une API compatible avec les frameworks PyTorch et TensorFlow d’ici le troisième trimestre 2025, permettant aux développeurs d’intégrer la pile de compression et de rematerialisation via un simple
import memorai
model = memorai.optimize(model)
