Les modèles de langage échouent dans les prédictions tabulaires

Introduction

Les modèles de langage à grande échelle (LLM) sont devenus l'outil par défaut pour une gamme remarquable de tâches, mais ils ont eu très peu de succès dans l'un des flux de travail de machine learning les plus courants : l'analyse prédictive sur des données tabulaires.

Expérimentation

Nous avons étudié un LLM de pointe dans son régime d'inférence le plus pur - un seul passage de génération sur un prompt contenant les données d'entraînement et de test complètes, sans outils, sans structure d'agent et sans fine-tuning - et évalué systématiquement cinq hypothèses pour l'échec : (a) l'incapacité à gérer des données bruyantes ou non linéairement séparables ; (b) le format CSV linéarisé qui obscurcit la structure des colonnes ; (c) la tokenisation des valeurs numériques ; (d) le nombre de points de test classés par requête ; et (e) la dimensionnalité de l'entrée.

Résultats

Les expériences contrôlées ont infirmé les hypothèses (a)-(d). La dimensionnalité, en revanche, est décisive : en balayant des projections linéaires aléatoires de 31 ensembles de données de référence, le LLM est la seule méthode parmi neuf dont la précision diminue à mesure que la dimensionnalité augmente, tandis que chaque ligne de base classique reste plate ou s'améliore.

Comparaison avec les modèles classiques

Une comparaison comportementale avec 252 modèles classiques configurés montre que dans deux dimensions, le LLM prédit comme une méthode locale basée sur la distance (jusqu'à 91,6 % d'accord de grille), mais dans des dimensions plus élevées, aucun modèle classique - même avec du bruit ajusté et dépendant de la dimension - ne reproduit ses prédictions.