Contexte du datacenter

Le seul centre de données de Jane Street à New‑York se trouve au 1 New York Plaza, 33 étages au-dessus du sol. Il comprend un on‑line UPS, plusieurs unités de climatisation de salle informatique (CRAC), un groupe diesel souterrain et environ dix rangées de racks, chaque rangée contenant dix armoires. Cette configuration a été choisie pour garder les serveurs à proximité du parquet de trading, limitant ainsi les risques d’interception physique des stratégies de l’entreprise.

Déclenchement de l’alarme et chaîne de sécurité

Des entrepreneurs intervenaient dans une salle adjacente lorsqu’ils ont soulevé de la poussière, ce qui a activé le détecteur de fumée du datacenter. Le système de détection ne contrôle pas directement les têtes de sprinklers ; il envoie un signal qui pressurise les conduites d’eau. Chaque tête de sprinkler possède un bouchon thermo‑sensitif qui ne s’ouvre qu’à une température d’air suffisante, généralement supérieure à 68 °C (≈155 °F). Par ailleurs, le même signal désactive les unités CRAC afin d’éviter de propager l’air chaud vers un éventuel feu.

Conséquences immédiates

La désactivation des CRAC a immédiatement réduit la capacité de refroidissement, faisant grimper la température ambiante du hall serveur. Le texte indique que la température a atteint 141 °F, puis 143 °F, approchant la limite critique de 150 °F au‑delà de laquelle les équipements électroniques subissent des pannes permanentes. Simultanément, les sprinklers, bien que pressurisés, n’étaient pas encore déclenchés car aucune chaleur suffisante n’était détectée.

Réaction et analyse des risques

Conformément à la culture de sécurité inspirée d’un ancien sous‑marin nucléaire, l’équipe a couru jusqu’au datacenter et a débranché manuellement chaque serveur, reproduisant le « levier rouge » d’un sous‑marin. Cette action a interrompu la consommation d’énergie, évitant ainsi que la chaleur résiduelle ne dépasse le seuil de 150 °F et ne déclenche les sprinklers, ce qui aurait inondé les racks et détruit les machines. L’incident montre deux points faibles : la dépendance à un seul système de détection de fumée qui, en cas de faux positif, coupe le refroidissement, et l’absence d’un mécanisme de secours automatisé pour maintenir le refroidissement ou isoler les sprinklers sans intervention humaine.

Leçons et mesures d’atténuation

Pour réduire la probabilité d’un scénario similaire, plusieurs solutions techniques sont envisageables : séparer les détecteurs de fumée du contrôle des CRAC, installer des capteurs de température indépendants qui maintiennent le refroidissement tant que la température reste sous le seuil critique, et prévoir des vannes d’isolation rapides qui déconnectent les sprinklers d’une zone sensible sans attendre la chaleur. Enfin, la localisation du datacenter au sein d’un immeuble de bureaux impose de concilier exigences de sécurité physique et exigences de disponibilité, justifiant une réévaluation périodique des scénarios de défaillance combinée.