Introduction
L'apprentissage par renforcement (RL) est devenu un élément clé de la formation de grands modèles de langage (LLM) après leur formation initiale. Cependant, on comprend peu comment l'adaptation RL est répartie à travers les calques des transformateurs. Les approches existantes mettent généralement à jour tous les paramètres du modèle de manière uniforme, en supposant implicitement que chaque calque contribue de manière similaire aux gains obtenus lors de la formation RL.
Contexte Technique
Dans cette étude, les chercheurs ont examiné de manière systématique la formation RL calque par calque. Ils ont découvert que la formation d'un seul calque de transformateur peut récupérer la plupart des gains réalisés par la formation RL à paramètres complets, et dans certains cas même les surpasser. Pour quantifier ce phénomène, ils ont introduit la notion de contribution de calque, qui mesure la fraction de l'amélioration RL récupérée par la formation d'un calque en isolation.
Analyse et Implications
Les résultats montrent que les gains RL sont fortement concentrés dans un petit sous-ensemble de calques, et dans de nombreux cas, même dans un seul calque. De plus, le même modèle structurel émerge de manière cohérente : les calques à forte contribution se concentrent au milieu de la pile de transformateurs, tandis que les calques près des extrémités d'entrée et de sortie contribuent de manière significativement moindre. Ces constats ont des implications importantes pour l'optimisation de la formation RL et pour la compréhension de la manière dont les modèles de langage apprennent et s'adaptent.
Perspective
Les résultats de cette étude ouvrent de nouvelles perspectives pour la recherche en apprentissage automatique et en traitement du langage naturel. Ils suggèrent que la formation de modèles de langage pourrait être améliorée en ciblant spécifiquement les calques les plus importants pour la tâche en question, plutôt que de mettre à jour tous les paramètres de manière uniforme. Cela pourrait conduire à des modèles plus efficaces et plus spécialisés, capables de réaliser des tâches complexes avec une plus grande précision et une meilleure utilisation des ressources.
