Microsoft AI Frontiers dissout son groupe de recherche après réorganisation

Contexte et création d’AI Frontiers

En 2023, après le lancement de ChatGPT, les chercheurs de Microsoft Research ont constaté que les projets individuels peinaient à atteindre des performances compétitives. Pour répondre, ils ont constitué AI Frontiers (AIF), une sous‑organisation d’environ 50 personnes. L’objectif déclaré était de structurer la recherche afin de produire des bases de référence suffisantes pour valider rapidement de nouvelles idées.

Principaux travaux techniques

Les équipes d’AIF ont développé plusieurs systèmes d’agents. Le cadre d’orchestration Autogen permet de coordonner plusieurs modèles dans une même tâche, tandis que l’agent Fara se spécialise dans l’utilisation d’un ordinateur pour exécuter des commandes. Au niveau du modèle, les chercheurs ont présenté le Next Latent objective, qui vise à améliorer l’extrapolation des représentations latentes, ainsi que Dion3, une version optimisée d’un composant nommé Muon. Le Full Bandwidth Transformer introduit une récursion qui réduit le coût de calcul tout en maintenant la capacité du modèle.

Infrastructure et partage de code

Pour soutenir ces projets, AIF a créé un monorepo partagé avec l’ensemble de Microsoft Research. Ce dépôt contient notamment le code de pré‑entraînement à grande échelle « edge scale », présenté lors du keynote COLM. Le texte indique qu’au moins quatre équipes internes maintiennent des pipelines de construction de modèles, dont trois ne sont pas publiques. La mise en place d’un tel monorepo nécessite la standardisation des formats de données, des scripts de compilation et des environnements d’exécution, ce qui représente un effort non négligeable.

Réorganisation et tensions stratégiques

En septembre, AI Frontiers a été intégré à Microsoft AI (MAI). MAI privilégie une stratégie de « scaling‑only », centrée sur l’augmentation de la taille des modèles et la collecte massive de données. Cette orientation contraste avec l’accent d’AIF sur la recherche fondamentale et l’innovation d’algorithmes. Les auteurs citent des expériences de Bytedance montrant que le Full Bandwidth Transformer pourrait offrir les mêmes performances qu’un modèle deux fois plus grand, ce qui suggère des économies potentielles en entraînement et en inférence. Cependant, la culture de scaling limite la capacité à exploiter ces gains, car les ressources sont allouées principalement à la croissance des jeux de données.

Le départ des dirigeants d’AIF reflète une incompatibilité entre les objectifs de recherche et la logique de mise à l’échelle. Le texte souligne que, sans un cadre organisationnel qui valorise à la fois l’innovation algorithmique et la capacité de production, les projets comme Autogen ou Full Bandwidth Transformer risquent de ne pas être déployés à grande échelle.