NanoGPT Slowrun : Modélisation de Langage avec Données Limitées

Introduction

Le projet NanoGPT Slowrun est une initiative ouverte visant à mettre en œuvre des algorithmes d'apprentissage efficaces en termes de données. L'objectif est de résoudre le problème de la généralisation avec des données limitées et un calcul pratiquement infini.

Contexte Technique

Les lois d'échelle actuelles nécessitent des augmentations proportionnelles à la fois en données et en calcul pour évoluer. Cependant, la croissance asymétrique de ces deux facteurs signifie que l'intelligence sera eventually limitée par les données et non par le calcul. Le projet NanoGPT Slowrun vise à résoudre ce problème en développant de nouveaux algorithmes d'apprentissage qui fonctionnent avec des données limitées et un calcul pratiquement infini.

Le projet utilise un référentiel ouvert où les participants peuvent soumettre des améliorations sous forme de demandes de tirage (PR) qui sont fusionnées si elles réduisent la perte de validation. Les règles sont simples : entraîner sur 100 millions de jetons à partir de FineWeb, utiliser autant de calcul que souhaité, et la perte de validation la plus basse gagne.

Analyse et Implications

Les résultats obtenus jusqu'à présent montrent que Muon surpasse tous les optimiseurs testés, que la formation multi-époque est importante, et que l'augmentation du nombre de paramètres fonctionne si elle est associée à une régularisation agressive. La baseline actuelle est de 5,5 fois plus efficace en termes de données que modded-nanogpt.

Les implications de ce projet sont importantes, car elles pourraient conduire à des avancées significatives dans le domaine de la modélisation de langage et de l'apprentissage automatique. Les directions de recherche ouvertes incluent les optimiseurs de second ordre, les méthodes de gradient naturel, les modèles de diffusion, l'apprentissage par curriculum et les alternatives au gradient de descente.

Perspective

Le projet NanoGPT Slowrun est une initiative prometteuse qui pourrait conduire à des avancées significatives dans le domaine de la modélisation de langage et de l'apprentissage automatique. Les résultats obtenus jusqu'à présent sont encourageants, et les directions de recherche ouvertes offrent de nombreuses possibilités d'exploration. Il est important de continuer à suivre les progrès de ce projet et de soutenir les efforts de recherche dans ce domaine.