Présentation de l'inférence agentic

L'inférence agentic est en train de réorganiser l'infrastructure de l'intelligence artificielle (IA). Initialement centrée sur l'entraînement, l'attention se déplace désormais vers l'expansion des fenêtres de contexte, la raison augmentée par la mémoire et la nécessité de fournir en continu des données aux unités de traitement graphique (GPU).

Architecture et fonctionnement

Les entreprises qui adoptent des systèmes agentic font face à de nouveaux défis en termes de stockage. Le stockage est devenu un élément critique de la performance de l'IA, car il doit être capable de fournir des données aux GPU de manière efficace. Selon Greg Matson, senior vice-président et chef du marketing et des produits chez Solidigm, « le stockage est en train de devenir un nouveau niveau de stockage qui étend la mémoire du système ».

ROCm

Les entreprises comme Advanced Micro Devices (AMD) répondent à ces défis en optimisant leur pile logicielle pour fournir une couche cohérente pour les clusters de centres de données, les déploiements de pointe et les ordinateurs personnels équipés d'IA. La pile logicielle ROCm d'AMD est conçue pour fournir une couche cohérente pour les différents composants de l'infrastructure.

Implications et limites

L'inférence agentic a des implications importantes pour l'infrastructure de l'IA. Les entreprises doivent désormais prendre en compte les besoins de stockage et de calcul pour leurs systèmes agentic. Les accélérateurs spécialisés, comme les GPU et les ASIC, sont nécessaires pour traiter les grandes quantités de données requises par les systèmes agentic. De plus, les entreprises doivent également prendre en compte les questions de souveraineté des données et de contrôle pour leurs systèmes agentic.

Exemples et applications

Des entreprises comme Tensordyne et d-Matrix sont en train de développer des solutions pour répondre aux besoins de l'inférence agentic. Tensordyne a développé un processeur d'inférence appelé Napier qui utilise un système de nombres logarithmiques pour réduire la consommation d'énergie. D-Matrix a développé un accélérateur appelé Corsair qui est conçu pour fonctionner avec les GPU Nvidia Hopper et Blackwell. Ces solutions sont des exemples de la manière dont les entreprises sont en train de répondre aux défis de l'inférence agentic.