DeepX réalise inférence de 100 milliards de paramètres sous 5 W

Présentation du projet

DeepX a annoncé la mise en production de sa seconde génération de puce d’inférence, baptisée DeepX‑2. Le communiqué indique que la puce supporte des modèles contenant jusqu’à 100 milliards de paramètres tout en consommant moins de 5 W. Cette performance s’inscrit dans le cadre d’une stratégie visant à placer l’inférence de très grands modèles d’IA à la portée de systèmes embarqués ou de terminaux à faible enveloppe énergétique.

Architecture et PIM avec LPDDR5x

Le gain de performance annoncé, compris entre 6 et 7 fois par rapport à la génération précédente, provient de l’intégration du Processing‑In‑Memory (PIM) basé sur la technologie LPDDR5x. En plaçant les unités de calcul directement dans les rangées de mémoire, le flux de données entre le processeur et la RAM est fortement réduit, limitant ainsi les goulots d’étranglement liés à la bande passante. La spécification LPDDR5x offre une densité de cellules plus élevée et des temps d’accès plus courts que la génération LPDDR5, ce qui améliore la latence des opérations de matrice‑vecteur typiques des réseaux de neurones.

Analyse de la consommation et des performances

Le ratio paramètres par watt indiqué par DeepX (100 Mrd / <5 W) représente un bond significatif par rapport aux solutions GPU classiques, où la consommation dépasse souvent les dizaines de watts pour des modèles de taille comparable. Cette efficacité résulte de deux leviers : d’une part, la réduction du trafic mémoire grâce au PIM, d’autre part, l’optimisation du datapath interne pour les opérations de multiplication‑accumulation (MAC) en 8‑bits ou 4‑bits, ce qui diminue le nombre de cycles nécessaires à chaque calcul. Le gain de 6‑7× de performance, quant à lui, se mesure sur des benchmarks d’inférence standards (par ex. BERT‑large, GPT‑2) où la latence moyenne chute de plusieurs dizaines de millisecondes.

Limites et perspectives

Malgré ces avancées, la puce DeepX‑2 reste soumise à plusieurs contraintes. La densité de calcul intégrée dans la mémoire impose une gestion fine de la chaleur, surtout lorsqu’on approche la limite de <5 W dans des environnements non‑cooled. De plus, le support de modèles au-delà de 100 Mrd de paramètres nécessiterait soit une augmentation du nombre de puces, soit une évolution vers des technologies de mémoire encore plus rapides (HBM ou DDR5). Enfin, l’adoption dépendra de l’écosystème logiciel : les frameworks d’IA devront proposer des bibliothèques capables de compiler les graphes de calcul vers l’architecture PIM, ce qui n’est pas encore généralisé. En l’absence de données détaillées sur le processus de fabrication ou les taux d’erreur, l’évaluation de la robustesse à long terme reste partielle.