Présentation du défi

La transition de l'expérimentation de l'IA à un déploiement à grande échelle a exposé une réalité cruelle pour les clients d'entreprise : la gestion des coûts liés à l'IA est devenue un défi majeur. Les approches réactives ont conduit à des factures de tokens explosant, obligeant les dirigeants des technologies de l'information à repenser leurs investissements en infrastructure pour obtenir des rendements financiers durables.

Contexte technique

Les entreprises qui poussent l'IA au-delà de la simple sollicitation et vers des flux de travail autonomes sont confrontées au fardeau financier de l'exécution de modèles de frontière sur de grands clusters de GPU. La tokenomie, l'économie de la consommation de tokens d'IA, est devenue le défi déterminant pour les dirigeants des technologies de l'information d'entreprise qui naviguent ce changement.

Architecture et optimisation

Au lieu de s'appuyer uniquement sur des modèles de frontière basés sur le cloud coûteux, les entreprises adoptent une approche hybride qui associe chaque cas d'utilisation au matériel le plus efficace disponible, qu'il s'agisse d'un CPU ou d'une alternative de GPU à faible coût. AMD a mis en œuvre la gestion des tokens d'IA en interne, en dirigeant les charges de travail vers ses GPU MI350P plutôt que vers les modèles de frontière basés sur le cloud.

MI350P

Les résultats de ce pilote ont validé l'approche à la fois en termes de coûts et de performances, avec une réduction de 43 % de la facture de tokens et une augmentation de 2,9 fois de la vitesse de réponse.

Implications et limites

Les organisations qui réussiront dans la prochaine phase du déploiement de l'IA seront celles qui maîtriseront la gestion des tokens d'IA et l'économie du calcul ainsi que la modernisation du matériel. La libération de l'espace et de la puissance grâce à la consolidation des centres de données donne aux entreprises des capitaux pour réinvestir dans des infrastructures conçues pour l'IA.