Présentation du piège
Le piège d'une étape est une erreur commune dans la recherche en intelligence artificielle (IA) qui consiste à penser que la majorité des prédictions apprises par un agent IA peuvent être des prédictions à une étape, avec des prédictions à long terme générées au besoin en itérant les prédictions à une étape.
Fonctionnement du piège
Ce piège se produit notamment lorsque les prédictions à une étape constituent un modèle du monde et de son évolution dans le temps. Il est tentant de penser qu'il suffit d'apprendre un modèle de transition à une étape et de l'étendre pour prédire toutes les conséquences à long terme d'un comportement. Le modèle à une étape est considéré comme analogue à la physique ou à un simulateur réaliste.
Cependant, si les prédictions à une étape ne sont pas parfaitement précises, alors les prédictions à long terme seront erronées. En pratique, l'itération des prédictions à une étape produit généralement de mauvais résultats, car les erreurs à une étape se cumulent et aboutissent à de grandes erreurs dans les prédictions à long terme.
Implications et limites
Le calcul des prédictions à long terme à partir de prédictions à une étape est également prohibitivement complexe sur le plan computationnel. Dans un monde stochastique ou pour une politique stochastique, le futur n'est pas une trajectoire unique, mais un arbre de possibilités, chacune devant être imaginée et pondérée par sa probabilité.
La complexité computationnelle du calcul d'une prédiction à long terme à partir de prédictions à une étape est exponentielle en fonction de la longueur de la prédiction, ce qui la rend généralement inapplicable. La solution consiste à former des modèles abstraits temporels du monde en utilisant des options et des GVFs, comme indiqué dans les références.
Exemples de solutions
Les références suivantes proposent des solutions pour éviter le piège d'une étape :
Sutton, R.S., Precup, D., Singh, S. (1999). Between MDPs and semi-MDPs: A Framework for Temporal Abstraction in Reinforcement Learning.Sutton, R. S., Modayil, J., Delp, M., Degris, T., Pilarski, P. M., White, A., Precup, D. (2011). Horde: A scalable real-time architecture for learning knowledge from unsupervised sensorimotor interaction.
