Contexte et objectifs

Le laboratoire russe Mostik a publié une étude montrant que deux réseaux de neurones peuvent développer un langage interne pour résoudre une tâche collaborative, sans jamais recevoir de texte en entrée. L’objectif affiché est de réduire la dépendance aux données linguistiques annotées, en forçant les agents à créer un canal de communication purement numérique. L’article indique que les chercheurs, tous issus de la tradition mathématique, ont appliqué des concepts de théorie des jeux et d’information mutuelle pour structurer l’apprentissage.

Architecture du système

Chaque agent repose sur un Transformer de 6 couches, avec un espace latent de 64 dimensions servant de « message ». Les vecteurs sont transmis via une couche Linear(64, 64) avant d’être décodés par le second agent. Les deux modèles partagent la même architecture mais n’échangent aucun paramètre pendant l’entraînement. Le système s’appuie sur le cadre PyTorch et utilise l’optimiseur AdamW avec un taux d’apprentissage de 3e-4.

class Agent(nn.Module):
    def __init__(self):
        super().__init__()
        self.encoder = nn.TransformerEncoder(
            nn.TransformerEncoderLayer(d_model=64, nhead=8), num_layers=6)
        self.msg_head = nn.Linear(64, 64)
    def forward(self, x):
        h = self.encoder(x)
        return self.msg_head(h.mean(dim=1))

Méthodologie d’apprentissage

Les agents sont entraînés dans un environnement de type « grid‑world » où ils doivent coopérer pour atteindre un objectif commun (par exemple, déplacer un objet vers une zone cible). Le processus d’apprentissage combine policy gradient (REINFORCE) pour la partie action et une perte de mutual information maximisation pour encourager la production de messages informatifs. Le papier cite 10 millions d’interactions, soit environ 2 × 10⁶ épisodes, chaque épisode durant 20 pas de temps. Le taux de succès atteint 92 % sur la tâche test, contre 68 % lorsqu’on désactive le canal de communication.

Évaluation et limites

Les auteurs évaluent la robustesse du protocole en introduisant du bruit gaussien (σ=0.1) sur les vecteurs transmis ; la performance chute de 4 points, montrant une certaine tolérance. Cependant, l’étude ne fournit pas de comparaison avec des modèles pré‑entraînés sur du texte, ce qui rend difficile de mesurer l’avantage absolu du protocole. De plus, la dimensionnalité fixe à 64 bits limite la capacité d’expression et pourrait ne pas s’étendre à des tâches plus complexes. Enfin, la publication ne détaille pas les exigences matérielles, mais le texte mentionne l’usage de deux GPU NVIDIA A100, suggérant un coût énergétique non négligeable.