Introduction
Les modèles de langage entraînés sur des textes naturels apprennent à représenter les nombres à l'aide de caractéristiques périodiques avec des périodes dominantes à $T=2, 5, 10$. Cette capacité à représenter les nombres de manière périodique est une propriété fascinante de ces modèles.
Contexte Technique
Les recherches ont montré que différents types de modèles de langage, tels que les Transformers, les RNN linéaires, les LSTMs et les embeddings de mots classiques, apprennent tous des caractéristiques périodiques. Cependant, seuls certains de ces modèles apprennent des caractéristiques géométriquement séparables qui peuvent être utilisées pour classer linéairement un nombre modulo $T$.
Les mécanismes sous-jacents à cette capacité de représentation des nombres sont complexes et impliquent une hiérarchie à deux niveaux de caractéristiques périodiques. La preuve de la rareté dans le domaine de Fourier est nécessaire mais pas suffisante pour la séparabilité géométrique modulo $T$.
Analyse et Implications
L'analyse empirique a montré que l'entraînement des modèles peut conduire à des caractéristiques géométriquement séparables, et que les données, l'architecture, l'optimiseur et le tokenizer jouent tous un rôle clé dans ce processus. Les modèles peuvent acquérir ces caractéristiques de deux manières différentes : en les apprenant à partir de signaux de co-occurrence complémentaires dans les données linguistiques générales, ou à partir de problèmes d'addition multi-jetons.
Perspective
Ces résultats mettent en évidence le phénomène d'évolution convergente dans l'apprentissage des caractéristiques : une gamme diversifiée de modèles apprennent des caractéristiques similaires à partir de signaux d'entraînement différents. Il est important de continuer à étudier les mécanismes sous-jacents à cette capacité de représentation des nombres et de comprendre les implications de ces découvertes pour le développement de modèles de langage plus avancés.
