Les juges LLM d’évaluation de nouveauté affichent une forte sensibilité aux prompts

Contexte et objectifs

Le projet Old Ideas, Novel Problems explore la capacité des grands modèles de langage (LLM) à juger de la nouveauté d’une idée de recherche. Les auteurs soulignent que, pour automatiser la découverte scientifique, il ne suffit pas de générer des hypothèses ; il faut aussi vérifier qu’elles sont réellement inédites. Cette vérification est confiée à ce que l’équipe appelle des novelty judges, des LLM spécialisés dans l’évaluation de l’originalité.

Méthodologie et jeux de données

Deux corpus ont été construits à partir des revues ICLR 2026. Le premier, Human‑Only, regroupe 154 idées humaines tirées de papiers acceptés dans le 10 % supérieur de leur domaine, où les évaluateurs ont explicitement salué la nouveauté, et 145 idées humaines issues de papiers rejetés dans le 10 % inférieur, où les évaluateurs ont signalé un manque d’originalité. Un contrôle d’annotation a confirmé la polarité du signal de nouveauté dans 47 cas sur 50. Le second corpus, Human+Generated, associe chaque idée humaine du premier groupe à une idée générée par un LLM simple, sans recherche documentaire ni itération, totalisant 154 paires. Un expert a revu 30 de ces paires et a préféré systématiquement l’idée humaine, jugeant aucune des idées générées comme nouvelle.

Résultats et instabilité des juges

Six juges LLM ont été testés : GPT‑5.1, GPT‑5.2, GPT‑5.4, Claude Sonnet 4.5, Claude Opus 4.5 et Claude Opus 4.6. Les évaluations ont été menées en mode pointwise (note absolue) et pairwise (comparaison de deux idées). Les changements de configuration – notamment le texte du prompt – ont produit les plus fortes variations. Par exemple, GPT‑5.4 a atteint 93,5 % de précision avec un prompt indiquant que chaque paire contenait exactement une idée jugée nouvelle, mais la précision est tombée à 40,9 % avec un prompt plus simple demandant simplement « quelle idée est nouvelle ? ». Cette inversion représente une chute de plus de 50 points de pourcentage, soit bien en dessous du hasard.

En comparaison, le même changement de prompt n’a affecté la précision que de sept points sur le jeu Human‑Only, montrant que la stabilité apparente dépend du type d’idéaux évalués. L’intégration de la récupération de documents ou d’un budget de raisonnement supplémentaire n’a pas systématiquement amélioré les performances. Deux systèmes conçus spécifiquement pour l’évaluation de nouveauté ont même sous‑performé par rapport à un simple Claude Opus 4.6 utilisé avec un prompt de base.

Analyse des facteurs d’influence

Les résultats indiquent que la plupart des variations proviennent de la formulation du prompt, ce qui suggère que les juges LLM ne possèdent pas de compréhension intrinsèque de la nouveauté mais réagissent fortement aux indices de tâche. Le fait que la récupération d’articles pertinents n’a pas apporté de gain constant montre que l’information supplémentaire n’est pas toujours exploitée de façon fiable. De plus, la différence de comportement entre les jeux Human‑Only et Human+Generated révèle que les juges peuvent paraître stables sur des idées humaines bien documentées, mais deviennent imprévisibles lorsqu’ils évaluent des idées synthétisées par IA, où le style d’écriture et le manque de contexte peuvent biaiser le jugement.

En conclusion, le benchmark expose une fragilité majeure : sans protocoles standardisés et sans validation sur des idées générées, les juges LLM ne peuvent pas garantir une évaluation fiable de la nouveauté. Le travail fournit toutefois des outils – jeux de données, pipeline d’extraction et code – pour poursuivre l’étude de ce problème ouvert.