Présentation

Le surapprentissage désigne la capacité d’un modèle à mémoriser les exemples d’entraînement tout en échouant sur des données inédites. La pratique standard consiste à réserver une partie des données – validation ou test – pour mesurer la capacité de généralisation. Si le même jeu de validation est exploité de façon itérative, il devient indirectement intégré au processus d’apprentissage et perd son rôle de proxy fiable.

Rôle du jeu de données de validation

Dans la recherche ML, les équipes évaluent leurs modèles sur un petit nombre de jeux de référence qui restent inchangés pendant plusieurs années. Le cycle typique comprend : 

while not converged:
    train(model, train_set)
    score = evaluate(model, benchmark)
    adjust_hyperparameters()
Ce bouclage répété sur le même benchmark devrait, selon la théorie, conduire à un surapprentissage du jeu de validation. Des études qui ont créé de nouveaux jeux de test pour des benchmarks largement réutilisés montrent toutefois que les gains observés sur les jeux originaux se reproduisent sur les jeux neufs, indiquant une réelle amélioration de la capacité de généralisation.

Compression comme critère d’Occam

Le papier "What fits (into few tokens) doesn't overfit" formalise l’idée d’Occam en termes de bits. Si une hypothèse peut être décrite avec un nombre de bits bien inférieur à la taille du jeu d’entraînement, elle ne possède pas la capacité de mémoriser chaque exemple. Le raisonnement repose sur un argument de comptage : le nombre de descriptions courtes est limité, donc la probabilité qu’une description courte coïncide par hasard avec les données d’entraînement est faible. Ainsi, une stratégie compressible qui obtient de bons scores sur le jeu d’entraînement doit capturer une structure sous‑jacente du problème.

Expérimentation avec les agents LLM

Les agents de recherche basés sur de grands modèles de langage (LLM) reproduisent le même processus de hill‑climbing que les humains, mais leur état peut être réinitialisé entre les expériences. En réinitialisant l’agent, en contrôlant strictement les informations visibles et en mesurant la performance sur un jeu de test inédit, les chercheurs ont observé que les agents ne surapprennent pas les benchmarks. Cette observation soutient l’hypothèse que les stratégies retenues par les agents sont hautement compressibles : la « recette » finale se résume à quelques choix d’architecture, d’optimiseur et d’hyperparamètres, ce qui correspond à une description en quelques bits seulement.

En résumé, la résistance au surapprentissage observée tant chez les humains que chez les agents LLM s’explique par la contrainte de compression. Une description courte ne peut pas contenir les données d’entraînement complètes, elle doit donc modéliser les régularités du domaine. Cette perspective offre une explication quantitative au progrès réel observé sur les benchmarks, même après des décennies d’itérations.