Limites des LLM‑as‑classificateurs

Les LLM utilisés directement comme classificateurs renvoient généralement une étiquette dure. Bien que l’on puisse extraire les log‑probabilités du token de verdict, aucune garantie n’existe que ces valeurs soient calibrées. La confiance affichée par le modèle n’est pas non plus fiable, ce qui complique le réglage d’un seuil pour équilibrer précision et rappel. De plus, le prompt accepte du texte structuré, mais le modèle ne montre aucune preuve d’utiliser réellement ces informations. Cette opacité rend difficile l’interprétation du processus décisionnel.

Régression logistique comme pont entre LLM et ML classique

En traitant la sortie du LLM comme une caractéristique, on peut l’insérer dans une régression logistique : 

p(y = 1 | x) = σ(α + β·LLM(x))
Lorsque β tend vers l’infini, le modèle reproduit le comportement du LLM pur, mais cette configuration ne profite d’aucune estimation de paramètres. En entraînant α et β sur un jeu d’entraînement, on obtient des probabilités empiriques, donc calibrées en moyenne. L’ajout d’autres covariables (âge, longueur du texte, etc.) se fait naturellement, et le ré‑échantillonnage permet d’ajuster le modèle à des distributions de classes différentes. Ainsi, on retrouve le contrôle de seuil et la capacité à pondérer précision‑rappel de façon méthodique.

Analyse du cas d’étude : détection d’ironie

Le texte illustre l’approche sur le jeu SemEval‑2018 Task 3, composé de 4 618 tweets (3 834 en entraînement, 784 en test). Le modèle LLM choisi est gemini-3.1‑flash‑lite. Le prompt, présenté ci‑dessous, demande un jugement binaire d’ironie :

"""
Irony is when someone says one thing but means another,…
"""

Chaque tweet est soumis en lot, la réponse du LLM (vrai/faux) sert de variable d’entrée à la régression. Les performances obtenues avec cette combinaison dépassent celles d’un LLM‑as‑classifier isolé, grâce à la calibration offerte par le modèle linéaire et à la possibilité d’ajouter des caractéristiques supplémentaires, comme la log‑probabilité du token de verdict.

Perspectives et contraintes

Cette méthode transforme le problème de « prompt engineering » en un problème de sélection de caractéristiques. Elle nécessite toutefois un jeu de données d’entraînement, ce qui contredit l’idée d’une classification sans données. Le coût de collecte d’étiquettes reste inévitable, mais il est comparable à la création d’un jeu de test standard. Le choix du classifieur (logistique, XGBoost, réseau) reste ouvert, chaque architecture pouvant exploiter différemment les sorties du LLM. Enfin, l’interprétabilité du verdict LLM demeure limitée ; la régression ne révèle que l’influence globale de la caractéristique, pas le raisonnement interne du modèle de langage.