Contexte budgétaire et pression des tokens
Lors du Dell AI Leadership Symposium, Helen O’Sullivan, responsable du développement IA chez Dell, a indiqué que de nombreux clients de la Bay Area voient leurs budgets de tokens s’épuiser en quelques semaines alors qu’ils les avaient prévus pour plusieurs mois. Cette accélération du débit de tokens provient de l’utilisation croissante de modèles de pointe (frontier models) dans le cloud, dont le coût d’inférence est facturé à la consommation de jetons. La situation pousse les entreprises à réexaminer où placer leurs charges d’inférence afin de réduire la facture d’opération.
Rééquilibrage matériel entre GPU et CPU
Selon O’Sullivan, les acheteurs restent majoritairement focalisés sur les unités de traitement graphique (GPU) même si les charges de travail évoluent vers des agents autonomes (agentic AI). Intel, représenté par Tim Wood, décrit une architecture « agentic AI » qui s’étend de l’orchestration à l’inférence en passant par le edge computing, en mettant davantage l’accent sur les processeurs centraux (CPU). Wood souligne que les data‑centers possèdent déjà des CPU avec une marge de capacité suffisante pour exécuter certaines applications d’IA de nouvelle génération, ce qui peut alléger la dépendance aux GPU.
Approche consultative et évaluation du stack complet
Les deux entreprises adoptent une démarche consultative : elles comparent le capital‑expenditure (CapEx) lié à l’acquisition de nouvelles infrastructures GPU avec l’opération‑expenditure (OpEx) des services cloud basés sur les tokens. O’Sullivan rappelle que les clients se concentrent souvent sur la vitesse d’obtention d’un GPU, mais que la performance réelle dépend de la disponibilité des données et de la capacité du système à gérer les flux de tokens. Elle recommande de tester les modèles à poids ouvert (open‑weight) dans des environnements sandbox afin de mesurer la consommation de ressources avant tout déploiement en production.
Implications et limites de la stratégie hybride
Le modèle hybride CPU‑GPU proposé par Dell et Intel permet de réduire le coût d’inférence en déplaçant une partie des charges vers l’on‑premise, mais il introduit des contraintes supplémentaires. D’une part, les équipes doivent gérer la complexité d’un stack hétérogène, incluant l’orchestration entre les ressources locales et le cloud. D’autre part, la disponibilité de modèles open‑weight capables de rivaliser avec les performances des modèles de pointe n’est pas toujours garantie, ce qui peut limiter les gains de coût. Enfin, l’absence de métriques publiques détaillées sur la consommation de tokens rend difficile la comparaison précise entre les options CPU et GPU, obligeant les décideurs à s’appuyer sur des estimations internes.
