Introduction
L'utilisation d'agents IA peut générer des coûts importants, mais il est souvent difficile de comprendre où ces coûts proviennent. Les développeurs utilisant les outils MCP (Model Context Protocol) sont souvent dans le noir en ce qui concerne l'observabilité de leurs applications.
Contexte Technique
Le protocole MCP est une norme pour connecter les applications IA aux sources de données et aux outils. Cependant, les outils MCP ne fournissent pas d'informations détaillées sur les coûts et les performances des appels d'outils. C'est là que benchmark-broccoli intervient, en tant que proxy transparent qui mesure les jetons, les coûts estimés et les latences pour chaque appel d'outil.
benchmark-broccoli est écrit en TypeScript et fonctionne comme un proxy stdio qui intercepte les communications entre le client et le serveur, enregistrant chaque interaction et fournissant des métriques exploitables.
Analyse et Implications
Grâce à benchmark-broccoli, les développeurs peuvent comprendre exactement quels outils sont coûteux, quels prompts sont inefficaces et où se concentrer pour optimiser leurs efforts. Le proxy fournit des métriques telles que les comptes de jetons, les estimations de coût et les suivis de latence, ainsi que des regroupements de sessions pour aider à comprendre les coûts par prompt.
Les développeurs peuvent utiliser ces informations pour justifier leurs choix de modèles avec des chiffres réels, optimiser l'efficacité des prompts et éviter les factures d'IA surprises.
Perspective
benchmark-broccoli est un outil puissant pour les développeurs qui travaillent avec les serveurs MCP. Il est facile à configurer et à utiliser, et fournit des informations précieuses pour optimiser les coûts et les performances des applications IA.
Les prochaines étapes pour benchmark-broccoli incluent l'ajout de fonctionnalités telles que la prise en charge des comptes et des identités, les alertes pour les coûts et les latences élevés, et l'analyse comparative des sessions pour les tests A/B.
