Introduction

La gestion de coûts liés à l'intelligence artificielle (IA) est en train de créer une nouvelle taxonomie pour les praticiens de FinOps, mais la discipline de base, qui consiste à comprendre ce que l'on utilise, pourquoi et à quel coût, reste la même.

Contexte Technique

Deeja Cruz, analyste senior FinOps chez Datadog, souligne que le plus grand enseignement pratique que les entreprises peuvent tirer du cloud pour l'IA est de maintenir des balises d'attribution de haute qualité. Sans elles, la capacité d'allouer les dépenses et d'identifier les opportunités d'optimisation s'effondre, quelle que soit la sophistication de la charge de travail IA.

Cruz donne l'exemple d'un collègue sans formation en développement qui a identifié une opportunité d'économie de coûts dans une configuration de bucket de stockage, a utilisé un modèle de langage pour générer les modifications de code nécessaires, a envoyé la demande de tirage au propriétaire du bucket pour approbation et a vu des économies de coûts reflétées dans les données de coûts quelques jours plus tard.

Analyse et Implications

La gestion de coûts IA exige une gouvernance de modèle et une propriété transversale. Datadog développe une stratégie de sélection de modèle multi-modèle, en évaluant quel modèle est approprié pour une charge de travail donnée au lieu de recourir à l'option la plus coûteuse par défaut.

La propriété des dépenses IA chez Datadog est émerge organiquement à travers un partenariat entre l'équipe FinOps et une équipe interne de développement d'expérience de développement, avec FinOps qui possède la prévision et l'attribution, tandis que l'équipe de développement gère la gouvernance des outils et les commentaires des développeurs.

Perspective

Il est essentiel de déterminer qui possède quoi, qui est le chef de file d'un effort particulier et qui est le soutien. Cette approche est un sport d'équipe, selon Cruz. Les entreprises doivent donc se concentrer sur la mise en place d'une gouvernance solide et d'une collaboration transversale pour gérer efficacement les coûts liés à l'IA.