Contexte de l’étude

Face à la montée en puissance des grands modèles de langage (LLM) comme sources d’information grand public, des chercheurs de l’University College London et de l’UNESCO ont évalué leur capacité à restituer des faits climatiques. L’objectif était de mesurer la fiabilité des réponses lorsqu’un utilisateur interroge un modèle sur des données issues du rapport IPCC, un domaine où les erreurs peuvent influencer les débats publics.

Méthodologie et jeux de données

Le protocole a mobilisé 33 modèles, couvrant les versions récentes des modèles propriétaires (Claude Fable 5, Claude Opus 5, Gemini 3.1 Pro Preview, Gemini 3.6 Flash, GPT‑5.6 Sol) et une gamme d’open‑weight. Les modèles ont été confrontés à 600 questions issues de plusieurs jeux de référence : des QCM tirés de manuels, des questions de compréhension de texte basées sur des extraits d’articles scientifiques, et des interrogations portant sur le degré de confiance des climatologues vis‑à‑vis des conclusions du IPCC.

Résultats quantitatifs

Sur le sous‑ensemble le plus exigeant – les questions de confiance – les modèles de pointe ont atteint environ 78 % de réponses correctes, tandis que les plus petits modèles open‑weight n’ont fourni que 47 % de bonnes réponses. Pour les deux premiers jeux (QCM et compréhension de texte), les modèles de pointe et les grands modèles open‑weight ont obtenu près de 90 % de justesse, alors que les modèles de petite taille se sont situés dans les 70 %. Cette disparité indique que la capacité à raisonner sur l’incertitude scientifique nécessite davantage de paramètres ou d’accès à des données d’entraînement spécialisées.

Analyse des limites et implications

Les performances élevées sur les questions factuelles traduisent probablement un fort recouvrement avec les données d’entraînement, alors que les questions de confiance, moins présentes dans les corpus publics, exposent les faiblesses de généralisation. L’étude souligne également l’absence de mécanisme de vérification en temps réel : les réponses sont générées de façon éphémère, rendant difficile le suivi de la désinformation. Enfin, la variation importante entre les modèles indique que les utilisateurs ne peuvent pas se fier à la marque du fournisseur pour garantir la précision des informations climatiques. Les auteurs recommandent d’intégrer des évaluations continues, de publier les scores détaillés par catégorie et d’envisager des filtres spécialisés pour les sujets à haute sensibilité sociétale.