Contexte de l'incident
En octobre 2025, quatre élèves du lycée de Baltimore County, tous noirs, partageaient un paquet de Doritos Cool Ranch après l’entraînement de football. Au même moment, le système de détection d’armes à feu basé sur l’IA installé dans l’établissement a identifié le sac de chips comme une arme potentielle. Les responsables de la sécurité du district scolaire ont consulté les images de la caméra, ont constaté l’erreur et ont annulé l’alerte, mais l’incident a déjà déclenché la chaîne de réponse policière.
Six véhicules de police sont arrivés, des agents armés ont sorti leurs armes, ont demandé aux adolescents de s’agenouiller, les ont menottés et fouillés. Aucun fusil n’a été trouvé. Les élèves ont ensuite découvert que le déclencheur était le système d’IA baptisé Omnilert, dont les opérateurs ont, selon le procès, commenté « stupid AI cameras » et « AI is not the best ».
Fonctionnement du système Omnilert
Omnilert repose sur des caméras vidéo connectées à un modèle d’apprentissage profond entraîné à reconnaître les silhouettes d’armes à feu. Le flux vidéo est analysé en temps réel ; lorsqu’une probabilité dépasse un seuil prédéfini, le logiciel génère une alerte qui est transmise aux opérateurs humains et, en cas de validation, aux forces de l’ordre. Le processus d’escalade inclut une vérification manuelle, mais la documentation du procès indique que la validation a été faite en moins de deux minutes, avant que les agents ne soient dépêchés.
Le modèle d’IA utilise des caractéristiques visuelles telles que la forme, le contraste et la texture. Aucun détail sur la version du modèle, le jeu de données d’entraînement ou le seuil de confiance n’est fourni dans les documents publics, ce qui rend difficile d’évaluer la robustesse du système face à des objets non armés aux formes similaires, comme un sac de chips.
Analyse des défaillances techniques et humaines
La première défaillance provient du taux de faux positifs du modèle. Un sac de chips, vu sous un certain angle, peut présenter une silhouette rectangulaire et des reflets qui imitent la poignée d’une arme. Sans un jeu d’entraînement incluant ces scénarios, le modèle risque d’associer à tort ces motifs à une menace. De plus, le seuil de déclenchement semble trop bas pour un environnement scolaire où les objets courants (sacs, bouteilles) sont fréquents.
La deuxième défaillance réside dans la chaîne de décision humaine. Bien que les opérateurs aient annulé l’alerte après deux minutes, ils ont déjà transmis le signal aux autorités. Le protocole de vérification n’a pas imposé d’attente supplémentaire ni de confirmation croisée avec d’autres capteurs (détecteurs de métal, analyse audio). Cette lacune a permis à la réponse policière d’être initiée sur la base d’une alerte déjà jugée erronée.
Conséquences et enseignements
Le procès intenté par les adolescents met en lumière les risques d’une dépendance excessive à l’IA dans la sécurité publique. Il souligne la nécessité d’établir des seuils de confiance plus élevés, d’enrichir les jeux de données d’entraînement avec des objets du quotidien, et d’instaurer des procédures de validation multi‑facteurs avant d’engager les forces de l’ordre.
Sur le plan juridique, l’affaire pourrait contraindre les fournisseurs d’IA à divulguer les paramètres de leurs modèles et à garantir des audits de biais. Pour les districts scolaires, elle incite à revoir les protocoles d’escalade afin d’intégrer une pause de vérification humaine obligatoire, surtout dans des contextes où les conséquences d’une fausse alerte sont potentiellement traumatisantes.