Leçons tirées de la construction d'un normaliseur OTel pour GenAI

Introduction

L'adoption de l'OpenTelemetry (OTel) dans l'espace de l'observabilité de l'IA (GenAI) est en constante évolution. Cependant, malgré les efforts pour standardiser les échanges de données, les différences dans les attributs émis par les SDK et les fournisseurs de services IA posent des défis importants pour les équipes de développement.

Contexte Technique

Les ingénieurs de Groundcover ont constaté que la standardisation de l'OTel n'est pas aussi uniforme qu'elle le semble. Les SDK et les fournisseurs de services IA émettent des attributs différents, ce qui rend difficile l'obtention d'une vue unifiée des données. Pour résoudre ce problème, Groundcover a développé un normaliseur qui ingère les spans GenAI de différents SDK et fournisseurs, puis produit une vue canonique unique pour les données GenAI.

Le processus de normalisation implique trois axes indépendants : les SDK d'instrumentation, les frameworks d'orchestration et les fournisseurs de services IA. Chacun de ces axes présente des défis uniques, tels que les conflits de noms, les incompatibilités structurelles et les particularités spécifiques aux fournisseurs.

Analyse et Implications

L'analyse des données a révélé que les SDK et les fournisseurs de services IA émettent des attributs différents, même s'ils utilisent la même convention de nommage. Par exemple, le nombre de jetons peut être représenté de différentes manières, ce qui rend difficile la normalisation des données. De plus, les fournisseurs de services IA peuvent avoir des définitions différentes de ce que signifie « jetons d'entrée », ce qui complique encore la normalisation des coûts.

Les implications de ces résultats sont importantes, car elles soulignent la nécessité d'un normaliseur pour garantir l'interopérabilité des données GenAI. Le normaliseur de Groundcover est conçu pour résoudre ces problèmes en fournissant une vue canonique unique des données GenAI, quel que soit le SDK ou le fournisseur utilisé.

Perspective

À l'avenir, il sera important de surveiller l'évolution de la standardisation de l'OTel et de son adoption dans l'espace de l'IA. Les équipes de développement devront continuer à travailler pour garantir l'interopérabilité des données GenAI et pour résoudre les défis posés par les différences dans les attributs émis par les SDK et les fournisseurs de services IA. Le normaliseur de Groundcover est un pas important dans cette direction, mais il faudra continuer à améliorer et à adapter les solutions pour répondre aux besoins changeants de l'industrie.