Contexte et objectifs
Le papier Dream-RSI, soumis le 14 septembre 2026 et présenté sur 12 pages, cible le problème central de l’exploration dans les agents d’IA autonomes. Les auteurs soulignent que les stratégies fixes ne s’adaptent pas aux espaces de recherche qui s’étendent, tandis que l’optimisation en ligne doit gérer des méta‑espaces vastes avec un retour d’information retardé et coûteux. L’objectif déclaré est de fournir un cadre capable de générer, d’évaluer et de réintégrer rapidement des politiques d’exploration, afin de soutenir la progression récursive des agents.
Architecture de Dream-RSI
Dream‑RSI introduit une couche d’orchestration légère qui rend l’exploration explicite et programmable, sans modifier le code de l’agent sous‑jacent. Le cœur du système repose sur un « replay simulator » construit à partir de l’historique cumulé des arbres de découverte. Chaque nœud de cet historique représente une solution déjà évaluée dans les domaines ciblés : ingénierie d’algorithmes, optimisation mathématique et optimisation de kernels GPU. En « dreaming » dans ce simulateur, le cadre obtient un feedback hors‑politique immédiat et à faible coût, évitant ainsi les évaluations en ligne répétitives et onéreuses. Le nouveau policy, affiné grâce à ce retour, est ensuite redéployé dans l’environnement réel, où il génère de nouvelles découvertes qui enrichissent à leur tour le simulateur, créant une boucle d’auto‑amélioration continue.
Évaluation expérimentale et limites
Les expériences rapportées couvrent trois cas d’usage : amélioration d’algorithmes classiques, recherche de solutions d’optimisation non linéaire et génération de kernels GPU plus performants. Dans chaque scénario, Dream‑RSI atteint une qualité de découverte comparable ou supérieure aux approches traditionnelles, tout en réduisant le coût total de découverte de plusieurs ordres de grandeur, selon les métriques de temps de calcul et de nombre d’évaluations requises. Cependant, la dépendance au registre historique introduit un biais potentiel : si les solutions antérieures sont limitées ou sous‑optimales, le simulateur reproduira ces lacunes. De plus, le mécanisme de « dreaming » ne résout pas le problème fondamental du feedback différé lorsqu’une nouvelle classe de problèmes apparaît, ce qui peut ralentir l’adaptation initiale.
