Contexte et métrique de perplexité
OpenAI décrit la formation d’un modèle d’IA comme l’apprentissage d’un compresseur de texte, c’est‑à‑dire d’un prédicteur entraîné sur un corpus massif. La métrique principale retenue pour suivre l’efficacité de ce compresseur est la perplexité, équivalente à la perte d’entropie croisée. Une perplexité plus basse indique que le modèle prédit le token suivant avec une probabilité moyenne plus élevée. OpenAI publie désormais ses mesures internes de perplexité afin de fournir un repère partagé aux laboratoires concurrents et de soutenir l’élaboration de normes de sécurité communes.
Évolution des modèles OpenAI
Les valeurs de perplexité publiées montrent une progression continue depuis GPT‑3.5. Sur le jeu de données d’évaluation principal, GPT‑3.5 atteint un log‑perplexity d’environ 0,99, ce qui permet des conversations fluides et constitue la base de ChatGPT. GPT‑4 améliore ce chiffre à ~0,91, ce qui rend le raisonnement en chaîne (chain‑of‑thought) exploitable et a conduit à la création de modèles spécialisés dans le raisonnement. Lorsque le log‑perplexity descend sous 0,8, OpenAI observe l’émergence de capacités qualifiées de «transformatives» dans des domaines tels que la cybersécurité et les mathématiques. Un saut supplémentaire à ~0,76 a permis au modèle de résoudre des problèmes ouverts en mathématiques, générant des résultats jugés «révolutionnaires» par les chercheurs humains. OpenAI projette que, en atteignant une fourchette de log‑perplexity entre 0,68 et 0,70, de nouvelles capacités inattendues pourraient apparaître, bien que leur nature reste indéterminée aujourd’hui.
Implications pour la sécurité et la gouvernance
Le texte souligne que la rapidité d’amélioration des modèles rend les évaluations de sécurité rapidement obsolètes. OpenAI propose d’établir des limites de développement basées sur la perplexité, couplées à des jalons concrets tels que la mise au point de moniteurs de raisonnement capables de détecter les dérives. L’objectif est de créer un cadre partagé où chaque laboratoire s’engage à ne pas dépasser un seuil de perplexité tant que les outils d’audit ne sont pas suffisamment matures. Le document mentionne également le concept d’amélioration récursive autonome, où l’IA participerait à la recherche algorithmique du pré‑entraînement, mais il met en garde contre une automatisation totale sans supervision humaine. Enfin, OpenAI invite les acteurs du secteur à définir des normes communes de transparence et de red‑team afin de réduire les risques liés à l’émergence de capacités non anticipées.