Ensemble LLM augmente précision à 86 % via vérification de sources

Méthodologie expérimentale

Le groupe a exécuté cinq modèles de petite taille – Llama 3.2 3B, Mistral 7B, Gemma 2 2B, Phi‑3 mini et Qwen 2.5 3B – sur un même serveur Apple M3 Pro équipé de 36 Go de RAM. Le processus complet, incluant génération de requêtes, récupération de cinq passages (Wikipedia ou résumés de publications) et production de réponses avec jusqu’à trois citations, a duré environ huit heures pour 1 000 questions.

Chaque réponse a été stockée avant toute sélection finale. Un modèle de vérification distinct, Claude Sonnet 5.5, a reçu uniquement la phrase de réponse et un passage cité, puis a classé le lien comme « support », « contradiction » ou « insuffisant ». Le modèle de vérification n’a jamais vu la réponse correcte.

Règle de vérification et preuve formelle

La règle commence par l’option obtenue par majorité simple, en cassant les égalités de façon déterministe. Un changement d’option n’est effectué que si le vérificateur indique que le passage cité soutient la nouvelle réponse. Les auteurs ont formalisé ce mécanisme dans Lean 4, démontrant que tout échange d’une réponse correcte vers une réponse erronée implique nécessairement qu’un passage de support a été attribué à la réponse fausse.

Résultats quantitatifs

Sur l’ensemble de 1 000 questions, la majorité simple atteignait 77,1 % de précision, tandis que la règle de vérification la portait à 85,0 %. Dans le sous‑ensemble de 526 questions où les modèles proposaient un mélange de réponses correctes et incorrectes, la règle a corrigé 91 réponses erronées et en a introduit 12 nouvelles, faisant passer la précision de 71,5 % à 86,5 %.

Après ajustement – conservation de la réponse initiale lorsqu’elle était déjà soutenue – le même protocole appliqué à 547 questions mixtes a corrigé 73 réponses et en a détérioré 3, portant la précision à 85,9 % (de 73,1 %). Le taux d’erreur introduite est tombé à 0,75 % (pire cas 2,2 %).

En comparaison, Claude Sonnet 5.5, utilisé directement comme juge, a choisi la bonne réponse dans 93,9 % des 526 cas mixtes, avec un coût moyen de 0,014 $ par question contre 0,021 $ pour la vérification de source.

Analyse des limites et perspectives

Le test initial a révélé que la règle dépassait la limite de 5 % d’erreurs introduites (12 sur 376, soit 3,2 %, avec une marge possible jusqu’à 5,5 %). De plus, la suppression ou le remplacement des passages cités a fait disparaître 76 des 91 corrections, confirmant la dépendance du système aux informations de source.

Une expérience de recombinaison a montré que le retrait d’un modèle du groupe modifie le résultat final dans 9,4 % des cas, soulignant la sensibilité du processus à la composition du panel de modèles. Tous les états – réponses, vérifications et sélections – sont conservés, ce qui permet de re‑appliquer de nouvelles règles sans coûts additionnels de requêtes.

Les auteurs publient le papier, le code et les jeux de données sur GitHub, offrant ainsi une infrastructure reproductible pour explorer d’autres stratégies de combinaison ou de vérification dans les systèmes LLM.