Pression des tokens sur les budgets IA

Lors du symposium, Helen O’Sullivan de Dell a indiqué que plusieurs clients de la baie de San Francisco épuisent leur budget de tokens en quelques semaines alors qu’ils l’avaient prévu pour plusieurs mois. Cette accélération du coût d’utilisation des modèles de génération de texte pousse les entreprises à rechercher des alternatives on‑premise afin de réduire les dépenses liées aux appels aux modèles hébergés dans le cloud. Tim Wood, directeur des ventes chez Intel, a rappelé que les centres de données existants contiennent déjà des CPU capables de supporter certaines charges de travail IA de nouvelle génération, offrant ainsi une marge de manœuvre pour exploiter la capacité inutilisée et atténuer la pression financière.

Gouvernance et sécurité des agents IA en temps réel

Le déploiement d’agents autonomes nécessite un contrôle d’exécution capable d’intercepter les actions telles que les requêtes HTTP ou l’envoi d’e‑mails vers des comptes privés, comme le souligne Shiv Agarwal de Singulr AI. Les intervenants ont mentionné l’usage de virtual private clouds (VPC) pour garantir que les données sensibles restent confinées à un environnement contrôlé, limitant ainsi les fuites potentielles. Victor Jakubiuk de MisaLabs a ajouté que la vitesse d’évolution des modèles impose aux équipes de sécurité de mettre à jour continuellement les politiques de gouvernance afin que le comportement des agents reste conforme aux exigences internes, même lorsque les capacités du modèle s’étendent rapidement.

Déploiement hybride et culture du bricolage en IA d’entreprise

Deepgram, en partenariat avec Dell et Fortanix, travaille à faire tourner ses modèles de reconnaissance vocale directement sur les appareils, sans passer par le cloud, afin de répondre à des scénarios « air‑gapped ». Nick Mann a décrit l’objectif de placer les modèles sur du matériel client, du côté du dispositif, pour des usages allant des systèmes de réponse vocale interactive aux ordinateurs portables destinés aux étudiants. Cette orientation reflète la préférence des acheteurs technophiles de la Silicon Valley pour des solutions construites en interne plutôt que des produits empaquetés. Dell renforce son écosystème en intégrant des partenaires comme Intel, SHI International et Microsoft, tout en ouvrant des collaborations avec des fonds de capital‑risque, comme l’a indiqué Sean O’Connor, afin de soutenir cette dynamique de construction sur mesure.