Agents Latents : Une Procédure Post-Formation pour Débat Multi-Agents Internalisés

Introduction

Les modèles de langage à grande échelle (LLM) ont montré des capacités de raisonnement améliorées grâce au débat multi-agents. Cependant, cette approche nécessite des ressources computationnelles importantes pour générer de longs transcripts avant de répondre aux questions. Pour remédier à cette inefficacité, une nouvelle méthode a été développée pour intégrer le débat multi-agents dans un seul LLM via un pipeline de fine-tuning en deux étapes.

Contexte Technique

La méthode proposée combine l'apprentissage de la structure de débat avec l'internalisation via la planification dynamique de récompenses et la limitation de la longueur. Cette approche permet de réduire considérablement les ressources computationnelles nécessaires, avec une diminution de jusqu'à 93% du nombre de tokens utilisés, tout en conservant ou en améliorant les performances du débat multi-agents explicite.

Les résultats montrent que les modèles internalisés créent des sous-espaces spécifiques aux agents dans l'espace d'activation, correspondant à différentes perspectives d'agents. Cette découverte offre une nouvelle perspective pour comprendre les capacités multi-agents dans les modèles distillés.

Analyse et Implications

L'internalisation du débat multi-agents dans les LLM ouvre des perspectives pratiques pour le contrôle des comportements de raisonnement internes. En intégrant des agents malveillants dans le LLM via le débat internalisé, puis en appliquant une direction négative pour les supprimer, il est possible de localiser et de contrôler plus facilement les comportements nuisibles, avec de plus petites réductions des performances générales par rapport à la direction des modèles de base.

Perspective

Les résultats de cette étude offrent des lignes directrices pratiques pour comprendre et contrôler les comportements de raisonnement internalisés dans les modèles de langage distillés. L'approche proposée permet de réduire les coûts computationnels associés au débat multi-agents tout en conservant ou en améliorant ses avantages. Il est important de poursuivre les recherches dans ce domaine pour explorer les limites et les potentialités de l'internalisation du débat multi-agents dans les LLM.