Principe et architecture
HybridAgents introduisent un HybridLink léger qui assure la transition dynamique entre le mode texte, utilisé pour l’interaction avec l’environnement externe, et le mode latent, où le raisonnement interne s’effectue sous forme de vecteurs. Cette liaison conserve un mémoire de travail continue, garantissant que le contexte hybride reste lossless d’un tour à l’autre. Le design évite la perte d’information typique des systèmes purement textuels, tout en conservant la capacité d’appeler des outils externes grâce à la couche texte.
Algorithmes d’entraînement hybride
Deux procédures post‑formation sont proposées. HybridSFT stabilise la génération hybride en apprenant au modèle de base à coordonner ses sorties avec le HybridLink, ce qui prévient les dérives lorsqu’un outil doit être invoqué. Ensuite, HybridRL applique un apprentissage par renforcement pour déterminer, à chaque étape, s’il faut « penser » dans l’espace latent ou « agir » via texte. Cette décision est guidée par une fonction de récompense qui intègre la réduction de tokens et le temps d’inférence, ce qui conduit à des politiques plus économes en ressources.
Évaluation et implications
Les auteurs testent HybridAgents sur trois tailles de modèle à travers onze benchmarks couvrant les mathématiques, les sciences, la médecine, la recherche d’information et le raisonnement agentique. Par rapport aux agents LLM de pointe, HybridAgents affichent une amélioration moyenne de 10,4 % de la performance. En même temps, le nombre de tokens générés diminue de 35,5 % à 54,7 %, ce qui se traduit par un gain de vitesse d’inférence compris entre 1,8× et 2,6×. Le coût d’exécution est ainsi réduit de 2,7× à 3,7×. Ces gains proviennent directement du passage partiel au raisonnement latent, qui évite la surcharge de décodage texte pour les étapes de calcul interne. Cependant, la méthode dépend d’une implémentation efficace du HybridLink ; toute latence supplémentaire dans la conversion texte‑latent pourrait atténuer les bénéfices. De plus, la généralisation au-delà des tâches évaluées reste à vérifier, notamment pour des environnements où l’accès aux outils nécessite des appels asynchrones complexes.
