Constat du Matthew Effect

Les courbes d’évaluation de l’entraînement RL de Olmo 3.1 sur le test AIME 2025 montrent que l’amélioration moyenne masque une disparité forte. Sur les 30 questions, les taux initiaux de pass@32 sont de 0 % (difficile), 3,8 % (moyen) et 22,7 % (facile). Au fil de l’entraînement, les questions faciles passent de « quelque‑peu résolues » à « principalement résolues », tandis que les questions déjà à 0 % restent à 0 %. Cette dynamique, qualifiée d’« Matthew Effect », indique que le RL renforce les compétences déjà présentes plutôt que d’élever les performances sur les cas les plus difficiles.

Analyse des paramètres de sampling

Le facteur clé étudié est le nombre de complétions k générées par prompt. En entraînant Qwen 2.5 0.5B‑Instruct sur GSM8K Platinum, les auteurs varient k ∈ {4, 8, 16, 32} tout en maintenant la taille de lot constante. Contre‑intuitivement, k=4 résout davantage de problèmes durs que k=32 après environ 200 pas d’entraînement. L’explication repose sur la composition du lot : avec k élevé, les prompts faciles génèrent parfois une mauvaise réponse rare, ce qui les maintient dans le lot et consomme du calcul inutile. En revanche, k=4 filtre rapidement les prompts déjà résolus (4/4 bonnes réponses) et concentre le calcul sur les prompts où aucune réponse n’est correcte, donc plus difficiles.

Le suivi de la proportion de prompts par difficulté montre que, dès le début, k=32 introduit plus de prompts durs, mais que cet avantage s’inverse après l’inflexion à 200 pas, où k=4 devient plus efficace. Cette observation souligne que la simple augmentation de k ne garantit pas une meilleure couverture des cas difficiles ; la efficacité du signal dépend de la capacité à éviter le gaspillage de ressources sur des prompts déjà maîtrisés.

Méthode Never Give Up (NGU)

Pour exploiter ces constats, les auteurs proposent Never Give Up (NGU), une adaptation asynchrone du RLHF. Le principe est de choisir dynamiquement k : un petit k pour les prompts faciles, un grand k pour les prompts durs. Le processus s’appuie sur un filtre : si un prompt est résolu dans les premières k complétions, il est immédiatement utilisé pour l’entraînement; sinon, il reste dans le pool jusqu’à ce qu’une solution correcte apparaisse. Le pseudo‑code suivant illustre le cœur de NGU :

for prompt in dataset:
    k = 4 if estimate_difficulty(prompt) < 0.2 else 32
    completions = model.sample(prompt, n=k)
    if any(is_correct(c) for c in completions):
        train_on(prompt, completions)
    else:
        defer(prompt)

Cette logique minimise le temps passé sur les prompts déjà maîtrisés tout en maintenant une exploration suffisante des cas difficiles.

Résultats expérimentaux et limites

Les expériences sur trois domaines — mathématiques (Olmo 3.1), code (DeepCoder) et agentic RL (DeepSWE) — confirment que NGU augmente le taux de réussite sur les sous‑ensembles difficiles de 5 à 12 % selon les benchmarks. Toutefois, les auteurs notent que la mesure de la difficulté repose sur le pass@1 initial, ce qui peut sous‑estimer la complexité réelle de certains prompts. De plus, le cadre asynchrone nécessite une infrastructure capable de gérer des lots de tailles variables, ce qui peut compliquer le déploiement à grande échelle. Enfin, le papier ne fournit pas de comparaison directe avec des approches de curriculum learning ou d’utilisation d’informations privilégiées, laissant une marge d’exploration pour de futures recherches.