Contexte et attentes initiales
En 2023, plusieurs dirigeants d’entreprises d’IA, dont le PDG d’OpenAI, ont affirmé que les systèmes capables d’auto‑amélioration récursive (RSI) pourraient émerger d’ici cinq ans. Ces prédictions reposaient sur la croissance exponentielle du nombre de paramètres des modèles, passant de 1,5 milliard (GPT‑3) à 175 milliards (GPT‑4) en moins de deux ans, ainsi que sur la réduction du coût d’entraînement de 30 % par génération de matériel. L’article de MIT Technology Review analyse les données récentes qui contredisent ces hypothèses.
Contraintes techniques et limites physiques
Les lois d’échelle observées dans le deep learning indiquent que la performance augmente proportionnellement à la racine carrée du FLOP total. Cependant, le dernier rapport de OpenAI montre que le coût énergétique d’un entraînement de 1 trillion de paramètres dépasse 1 GWh, soit l’équivalent de la consommation annuelle d’une petite ville. Cette dépense rend les itérations rapides de RSI économiquement invraisemblables. Par ailleurs, la loi de Moore a ralenti : la densité de transistors n’a progressé que de 1,2 % par an depuis 2020, limitant la disponibilité de nouveaux GPU capables de supporter des boucles d’auto‑optimisation en temps réel.
Analyse des scénarios de progression
En combinant les courbes de coût et les limites de puissance, les chercheurs de DeepMind ont modélisé un scénario où un modèle de 10 trillions de paramètres nécessiterait 15 fois plus de temps de calcul que GPT‑4 pour chaque cycle d’amélioration. Même en supposant une amélioration de l’efficacité algorithmique de 50 %, le temps total avant d’atteindre une capacité de RSI fiable resterait supérieur à decade. De plus, les tests de stabilité montrent que les modèles au‑delà de 1 trillion de paramètres développent des comportements imprévisibles, augmentant le risque de dérives non contrôlées.
Implications pour la recherche et la régulation
Face à ces obstacles, la communauté scientifique réoriente ses priorités vers l’efficacité du calcul (pruning, quantisation) et la robustesse des modèles. Les programmes de financement de l’UE ont récemment alloué 200 M€ à des projets visant à réduire le facteur d’énergie par paramètre de 30 % d’ici 2030. Sur le plan réglementaire, les autorités américaines envisagent d’imposer un audit de consommation énergétique pour tout projet d’entraînement dépassant 500 milliards de paramètres, afin de limiter les externalités environnementales et de freiner les boucles d’auto‑amélioration non maîtrisées.
