Présentation

Pantograph travaille sur l'entraînement de modèles de robotique autonomes capables d'agir pendant des heures. Le modèle Pan, un modèle de 4 milliards de paramètres, peut combattre des mobs, explorer pour trouver des objets spécifiques, compléter des environnements de plateforme difficiles et construire des structures sur commande.

Contexte technique

Le modèle Pan a été entraîné à partir de 500 000 heures de vidéos de gameplay Minecraft diverses. L'entraînement est agnostique par rapport aux actions, et l'espace d'action n'intervient qu'au cours de la post-formation. Le modèle utilise l'apprentissage par renforcement pour apprendre des comportements dirigés vers un objectif.

Architecture et fonctionnement

Le modèle Pan utilise une technique appelée « goal-conditioning » pour apprendre des comportements dirigés vers un objectif. Cette technique consiste à utiliser ce qui se passe plus tard dans une vidéo comme objectif pour la partie précédente. Le modèle peut également apprendre des fonctions qui ne dépendent que des états, telles que des fonctions de valeur.

import torch
import torch.nn as nn

class PanModel(nn.Module):
    def __init__(self):
        super(PanModel, self).__init__()
        self.value_function = nn.Sequential(
            nn.Linear(256, 128),
            nn.ReLU(),
            nn.Linear(128, 1)
        )

    def forward(self, state):
        value = self.value_function(state)
        return value

Implications et limites

Les résultats montrent que les modèles formés avec une pré-formation dirigée vers un objectif sont meilleurs pour accomplir leurs objectifs dans les mondes d'évaluation, y compris pour les objectifs variés et hors distribution. Cependant, le modèle a des limites, notamment en ce qui concerne les mécanismes et les tâches dextres. Les prochains travaux devraient se concentrer sur l'amélioration de ces capacités et sur l'exploration de nouvelles approches pour l'apprentissage par renforcement.