Contexte de la panne

À 9 h du matin jeudi, les bureaux de Microsoft fonctionnaient normalement. Une heure plus tard, une des plus importantes interruptions de service de l’histoire de l’entreprise a commencé, privant employés, entreprises et gouvernements d’accès à Outlook pendant près de 24 heures. Microsoft a classé l’incident « sev0 », le niveau le plus critique, et plus de 80 % des serveurs Exchange sont devenus inaccessibles. Les systèmes de basculement ont tenté de rediriger le trafic, mais ont fini par propager la défaillance à d’autres régions, dont la Suisse, le Mexique et plusieurs pays supplémentaires.

Mécanisme du bug et cascade

Le rapport préliminaire identifie un bug de contention de verrouillage dans un processus interne de Windows, présent depuis juillet uniquement sur les serveurs de passerelle réseau Microsoft 365. Ce défaut est resté inactif jusqu’à ce que Microsoft Teams effectue un basculement vers la passerelle principale, augmentant la charge alors que 14 % de la capacité de la passerelle était déjà hors service à cause d’un incident antérieur. La surcharge a poussé plusieurs serveurs en mode maintenance, déclenchant des boucles de redémarrage via le Preboot Execution Environment (PXE) et submergeant les systèmes de surveillance. La combinaison du bug latent, du basculement de Teams et de la capacité réduite a créé une défaillance en chaîne qui a paralysé les services de messagerie.

Analyse de la réponse et des limites

Des centaines d’ingénieurs ont rejoint un appel de coordination qui a atteint 1 000 participants. Les équipes ont analysé rapports de crash, traces et dumps du noyau, excluant rapidement une attaque extérieure. Les processus de récupération automatisés n’étaient pas conçus pour restaurer un état aussi largement non réactif, rendant les mécanismes de rollback, de flighting et de feature flags inefficaces. Chaque serveur remis en ligne a immédiatement été submergé par le trafic en attente, prolongeant la durée de l’incident. Microsoft a reconnu que les tests de charge se concentraient sur du matériel plus faible, ne révélant pas la contention accrue sur les machines à nombreux cœurs et plus récentes. Le post‑mortem indique la nécessité d’étendre les scénarios de test pour inclure des charges mixtes et du matériel de pointe afin de détecter plus tôt ce type de défaut latent.