Introduction

L'adoption de l'intelligence artificielle (IA) au sein des entreprises s'accélère, ce qui oblige à repenser les coûts de l'IA générative. Les coûts de jeton déraisonnables, les exigences de souveraineté des données et l'écart croissant entre les pilotes d'IA et le retour sur investissement (ROI) en production poussent les organisations à reconsidérer où leurs modèles s'exécutent et quels types de modèles d'IA verticaux ils ont vraiment besoin.

Contexte Technique

La réponse pointe de plus en plus vers des infrastructures sur site et des modèles d'IA verticaux conçus pour des secteurs spécifiques, plutôt que de grands modèles polyvalents consommant des jetons à grande échelle dans le cloud, selon Satish Iyer, vice-président et directeur technique de l'innovation et des écosystèmes chez Dell Technologies Inc. L'objectif de Dell est de ramener l'IA là où se trouvent les données des clients, en soutenant le parcours des entreprises pour qu'elles puissent exploiter l'IA sans se soucier du coût des jetons.

Analyse et Implications

Les modèles d'IA verticaux alimentent la prochaine vague de ROI des entreprises. L'urgence derrière cette conversation est réelle, avec plus de 5 000 déploiements d'usines d'IA de Dell dans le monde, et les entreprises des services financiers, des soins de santé et des télécommunications à la pointe de l'adoption. La pression sur les dépenses de jetons est maintenant une conversation de niveau de conseil d'administration, avec les principaux développeurs d'H2O.ai brûlant 1 000 dollars par jour en jetons, mais de nombreux utilisateurs générant beaucoup moins de retour sur investissement mesurable.

Perspective

L'approche d'H2O.ai reflète un changement plus large du marché vers des modèles d'IA verticaux qui combinent les capacités prédictives et génératives dans un cadre spécifique à l'industrie. L'avenir réside dans la distillation de grands modèles en actifs plus déployables qui peuvent s'exécuter sur le bord, là où les données sont générées et où les décisions doivent être prises localement. Il est essentiel de surveiller l'évolution de ces modèles d'IA verticaux et leur impact sur les coûts et la souveraineté des données pour les entreprises.