2% des articles ICML rejetés en raison de l'utilisation de LLM

Introduction

La conférence ICML a pris des mesures pour prévenir l'utilisation non autorisée des modèles de langage (LLM) dans les processus de révision. En effet, 2% des articles soumis ont été rejetés en raison de l'utilisation de LLM par les réviseurs.

Contexte Technique

La conférence ICML a mis en place deux politiques pour l'utilisation des LLM dans les révisions : la politique A, qui interdit l'utilisation des LLM, et la politique B, qui les autorise pour aider à comprendre les articles et les révisions. Les réviseurs ont pu choisir la politique qu'ils souhaitaient suivre. Cependant, 795 révisions (~1% de toutes les révisions) ont été détectées comme ayant utilisé des LLM alors que les réviseurs avaient explicitement accepté de ne pas les utiliser.

La détection de l'utilisation des LLM a été effectuée en utilisant une technique de watermarking des PDF des articles soumis avec des instructions cachées pour les LLM. Cette technique a permis de détecter les révisions qui avaient été générées par des LLM. Chaque instance détectée a été vérifiée manuellement par un humain pour éviter les faux positifs.

Analyse et Implications

L'utilisation non autorisée des LLM dans les révisions peut porter atteinte à l'intégrité du processus de révision. La conférence ICML a pris des mesures pour prévenir cela en rejetant les articles dont les réviseurs ont violé les règles. Cela a abouti à 497 rejets, soit environ 2% de tous les articles soumis.

Les implications de cette décision sont importantes, car elles soulignent l'importance de la confiance dans le processus de révision. Les réviseurs doivent respecter les règles qu'ils ont acceptées pour maintenir l'intégrité du processus.

Perspective

La conférence ICML continuera à adapter ses politiques et ses processus pour tenir compte de l'évolution de la technologie. Il est important de trouver un équilibre entre l'utilisation des outils de technologie pour améliorer le processus de révision et la nécessité de maintenir l'intégrité et la confiance dans le processus.

Les réviseurs et les auteurs doivent être conscients des règles et des conséquences de leur violation. La conférence ICML continuera à surveiller l'utilisation des LLM dans les révisions et à prendre des mesures pour prévenir les abus.