Qubot, l'agent d'analyse de données interne de GitHub

Introduction

Les grandes organisations de données et d'analyse ont souvent du mal à rendre l'accès aux données et aux informations vraiment autonome. L'industrie a tenté de résoudre ce problème pendant des décennies, mais sans grand succès, jusqu'à l'arrivée de l'IA. GitHub a développé Qubot, un agent d'analyse de données interne qui permet à ses employés de poser des questions sur les données de l'entreprise en langage naturel et d'obtenir des réponses en quelques secondes.

Contexte Technique

L'architecture de Qubot se compose de trois principaux composants : l'interface utilisateur, la couche de contexte et le moteur de requête. L'interface utilisateur est accessible via Slack, VS Code et la CLI Copilot. La couche de contexte est construite de manière fédérée, avec des connaissances adaptées au type de données. Le moteur de requête se connecte aux deux moteurs de requête Kusto et Trino, qui alimentent la plupart des charges de travail d'analyse de GitHub.

Analyse et Implications

Qubot a été largement adopté au sein de GitHub, avec des centaines d'utilisateurs enthousiastes exécutant des milliers de requêtes. Le nombre de questions posées dans les canaux Slack de données et d'analyse a considérablement diminué, car les employés peuvent maintenant explorer les données avec plus d'autonomie et ne contacter les équipes de support que pour les questions compliquées. Cela a également permis aux employés qui n'osaient pas accéder au entrepôt de données de le faire pour prendre des décisions éclairées.

Perspective

Qubot a montré que la couche de contexte est essentielle pour enrichir les capacités de raisonnement de Copilot et créer un agent d'analyse expert. Les expériences ont montré que le contexte structuré et bien entretenu non seulement rend Qubot plus précis, mais également trois fois plus rapide pour retourner la bonne réponse. Cela a des implications profondes sur la discipline de l'ingénierie d'analyse, car cela rend ce type d'artefact une priorité dans la façon dont les données sont modélisées, plutôt qu'une après-pensée.