Contexte de l’incident

En octobre 2025, le système de détection d’armes Omnilert Gun Detect, déployé dans les écoles du comté de Baltimore, a identifié à tort un sac de chips comme une arme à feu à Kenwood High School. L’alerte a indiqué une probabilité de 90 % de présence d’une arme, déclenchant l’intervention d’une unité de police armée. Les quatre adolescents concernés ont été contraints de s’agenouiller, menottés et fouillés, bien qu’aucune arme n’ait été trouvée.

Fonctionnement d’Omnilert Gun Detect

Omnilert Gun Detect repose sur un modèle de vision par ordinateur entraîné à reconnaître des formes d’armes à partir de flux vidéo. Le seuil de déclenchement de l’alerte est fixé à 80 % de confiance, ce qui explique la génération d’une alerte à 90 %. Le fournisseur a reconnu que le système produit régulièrement des faux positifs, mais aucune procédure automatisée de validation n’est intégrée avant l’envoi de l’alerte aux autorités.

Analyse des défaillances humaines et techniques

Après la première notification, le personnel scolaire et les policiers ont revu l’image et ont conclu à une erreur, mais l’alerte est restée active. L’absence de protocole pour annuler une alerte déjà diffusée a permis à la police d’arriver malgré la décision de « canceller » l’avertissement. De plus, le personnel de l’école, conscient des faux positifs fréquents, n’a pas appliqué de vérification supplémentaire, ce qui montre une dépendance excessive à l’IA sans contrôle humain robuste.

Enjeux juridiques et recommandations

Le recours intenté par le Lawyers’ Committee for Civil Rights Under Law invoque la violation des droits constitutionnels des adolescents, la négligence et la responsabilité du fabricant d’IA. Le dossier souligne la nécessité de protocoles de validation multi‑étapes, d’audits de précision du modèle et d’une formation du personnel à la gestion des alertes. Il plaide également pour une réglementation encadrant l’usage d’IA de détection d’armes dans les établissements scolaires afin de réduire les risques de discrimination et de traumatismes.