Mécanisme fondamental des LLM
Les modèles de langage à grande échelle (LLM) sont décrits comme des modèles mathématiques de séquences de tokens. L'utilisateur fournit du texte, le modèle calcule la probabilité la plus élevée pour le token suivant et renvoie une suite qui apparaît plausible. Aucun article ne mentionne de composante neurobiologique ou de processus de raisonnement similaire à celui des cerveaux humains. Cette description repose sur les travaux de recherche cités par l’auteur, qui rappelle que « les LLM ne pensent pas », affirmation partagée par l’ensemble de la communauté scientifique.
Parallèle avec le cold reading
Le texte compare l'illusion d’intelligence des chatbots à la technique du cold reading utilisée par les psychiques. Le point de convergence est l’usage de déclarations de validation – souvent appelées effet Forer – qui semblent très spécifiques mais sont en réalité statistiquement génériques. L’auteur cite un article de Terence Eden qui a identifié la présence de ces déclarations dans les réponses de plusieurs chatbots, confirmant que le même mécanisme psychologique est exploité.
Le processus décrit pour le psychique comprend six étapes : sélection de l’audience déjà prédisposée, mise en scène, ciblage démographique, test de la réaction, boucle de validation subjective et conclusion triomphante. Chaque étape repose sur des hypothèses de probabilité : le psychique (ou le LLM) formule une phrase qui a une forte chance d’être reconnue comme vraie par au moins un membre du public, puis renforce la perception de précision grâce à la confiance affichée.
Implications pour l’usage des LLM
Lorsque les utilisateurs lisent une réponse qui semble « personnalisée », ils projettent leurs propres attentes sur le texte, créant ainsi l’illusion d’une compréhension réelle. L’auteur qualifie plusieurs cas d’usage comme « pseudoscience borderline », soulignant que la confiance excessive peut conduire à des décisions erronées, notamment dans le domaine du développement logiciel où les suggestions de code sont souvent prises pour argent comptant.
Le texte insiste sur le fait que l’effet n’est pas inhérent aux modèles, mais réside dans la perception de l’utilisateur. Aucun chiffre quantitatif n’est fourni ; l’analyse repose exclusivement sur la description qualitative du phénomène et sur la comparaison avec les pratiques de lecture à froid.
Limites et perspectives critiques
Le manque de données chiffrées empêche de mesurer l’ampleur exacte de l’effet Forer dans les réponses générées. L’auteur reconnaît que l’argumentation repose sur des observations anecdotiques et sur la littérature existante sur les escroqueries psychiques. Cette transparence indique que, bien que le parallèle soit convaincant, il reste à quantifier l’impact réel sur les utilisateurs professionnels et le risque de mauvaise interprétation des sorties de LLM.
