Présentation du modèle

Un modèle langage de 12 milliards de paramètres a été présenté, capable de surpasser les modèles Frontier sur des tâches spécifiques. Ce modèle utilise une approche différente, où le modèle lui-même reste figé et une mémoire persistante de solutions vérifiées grandit à côté de lui.

Fonctionnement du modèle

Une fois qu’une famille de problèmes est résolue et a passé une étape de vérification indépendante, chaque nouvelle instance de cette famille est résolue à zéro jeton de génération, de manière déterministe et exacte. Cela signifie que le modèle n’a pas besoin de être réentraîné pour résoudre de nouvelles instances de problèmes qu’il a déjà résolus.

Modèle figé + mémoire persistante de solutions vérifiées

Performances et limites

Au niveau des performances, le modèle est capable de résoudre 180 instances de problèmes sur 180, avec une précision de 100% et sans utiliser de jetons de génération. De plus, le modèle peut fonctionner avec une fenêtre de 6 millions de jetons sur une seule carte graphique de 46 Go, ce qui est supérieur aux capacités des modèles actuels.

Implications et limites

Cependant, il est important de noter que ce modèle n’est pas encore capable de surpasser les modèles Frontier sur toutes les tâches. De plus, la sélection de la mémoire prend environ 1,4 microseconde et la réutilisation complète prend entre 6 et 23 millisecondes. Il est également important de souligner que la recherche d’une similarité approximative peut sélectionner le mauvais élément dans 94,3% des cas.