Présentation de l'évolution de l'IA
L'évolution de l'IA dans les entreprises au cours des dernières années a connu plusieurs étapes clés. En 2022, les budgets IT étaient gelés en raison de la récession, mais le lancement de ChatGPT a changé la donne. Les dirigeants non techniques ont pu interagir avec l'IA grâce à une interface de chat simple, ce qui a débloqué les budgets pour les projets de génération d'IA (GenAI) en 2023.
En 2023, les équipes IT se sont concentrées sur les projets de GenAI, et en 2024, 90% de ces projets ont été abandonnés en raison de leur manque de promesse. Les 10% restants ont commencé à passer par les processus de gouvernance, de conformité et de mesure du retour sur investissement (ROI) pour une mise en production.
Le problème de la gestion de multiples fournisseurs
La gestion de multiples fournisseurs d'IA pose des problèmes importants. Les équipes doivent gérer plusieurs modèles, chacun avec son propre API, tarification, profil de latence et limite de débit. Cela peut entraîner une fragmentation et une opacité des coûts, ainsi que des lacunes en matière de gouvernance.
Les équipes doivent souvent construire des solutions locales pour gérer ces complexités, ce qui n'est pas une architecture durable. Le problème ne vient pas des équipes, mais du fait que les outils n'ont pas encore rattrapé ce retard.
La visibilité des coûts, un problème majeur
La visibilité des coûts est un problème de premier ordre. Les organisations doivent pouvoir comparer les coûts par résultat entre les fournisseurs et voir en temps réel quels itinéraires brûlent le budget sans valeur proportionnée. Les équipes d'ingénierie qui anticipent ce besoin auront un avantage structurel sur celles qui ne le font pas.
Exemple de code pour la gestion des coûts :
# Définition d'un modèle de coût
coût_par_modèle = {
'modèle_1': 10,
'modèle_2': 20,
'modèle_3': 30
}
# Calcul du coût total
coût_total = sum(coût_par_modèle.values())
Le contrôle, la nouvelle barrière
Le contrôle devient de plus en plus important. Les équipes ne compétent plus sur les modèles utilisés, mais sur leur capacité à déployer l'IA de manière fiable, efficace et sûre à grande échelle. Cela signifie router les requêtes de manière intelligente, avoir une visibilité en temps réel sur ce que fait l'IA et pourquoi, et établir des politiques au niveau de l'organisation.
C'est pourquoi Mozilla a décidé de construire Otari, une plate-forme qui vise à fournir une couche de contrôle pour l'IA, permettant aux organisations de gérer leurs modèles et leurs coûts de manière efficace et transparente.
