EY améliore RAG avec des graphes de connaissances multimodaux

Présentation de RAG

Retrieval-augmented generation (RAG) est une méthode standard pour ancrer les grands modèles de langage dans les informations d'entreprise. Cependant, des recherches récentes d'EY montrent que la plupart des implémentations de RAG négligent une grande quantité de données utiles.

Limites des systèmes RAG classiques

Les systèmes RAG conventionnels sont principalement conçus pour récupérer du texte. Les documents d'entreprise contiennent souvent des faits critiques dans des tableaux, des diagrammes d'ingénierie, des équations et des images. EY a développé un cadre RAG multimodal qui récupère ces matériaux aux côtés du texte et les relie à travers un graphe de connaissances, produisant des réponses plus complètes, contextualisées et plus faciles à vérifier.

Fonctionnement du cadre RAG multimodal

Le cadre commence par séparer le contenu textuel et illustratif en différentes lignes de traitement. Le texte est segmenté et enrichi par extraction de mots clés et résolution d'entités nommées, un processus qui relie les enregistrements ou les variations de noms qui représentent la même entité du monde réel. Les illustrations sont attribuées des métadonnées descriptives à l'aide de légendes existantes, de texte voisin, d'analyse de boîtes de délimitation, de reconnaissance optique de caractères et de descriptions générées par un modèle de langage.

Exemple de code pour la résolution d'entités nommées :
   # Résolution d'entités nommées
   entité_nom = "Entreprise X"
   entité_type = "Organisation"
   

Le système stocke le texte et les illustrations dans des index de vecteurs séparés, réduisant l'espace de recherche et permettant à une requête de cibler le texte, les images ou les deux. Chaque élément de contenu devient un nœud dans un graphe de connaissances avec des relations pondérées reliant les passages et les illustrations pertinents.

Avantages et implications

Le cadre RAG multimodal d'EY améliore l'exactitude des réponses en récupérant des informations pertinentes à partir de différents types de contenu. Cette approche peut être particulièrement utile dans les entreprises qui dépendent fortement de l'information visuelle, comme les entreprises industrielles ou les entreprises des sciences de la vie. Le cadre peut également être utilisé pour améliorer la prise de décision dans les processus de workflow automatisés.