Quand la confiance aveugle dans l'IA met des vies en danger : des policiers armés menottent un lycéen après qu'une IA a confondu son paquet de chips Doritos avec une arme

Déclenchant une alerte automatique

L’histoire aurait pu prêter à rire si elle n’avait pas été aussi inquiétante. Dans un lycée américain, un lycéen s’est retrouvé face à un dispositif policier d’envergure, armes au poing, parce qu’un système de surveillance doté d’intelligence artificielle a pris son paquet de Doritos pour… une arme à feu. Selon un rapport, l’incident s’est produit après qu’un algorithme de détection d’armes, intégré au système de caméras du campus, a déclenché une alerte automatique.

L’IA, censée repérer les menaces potentielles en temps réel pour aider à contrer plus rapidement les tueries de masse, a cru discerner une silhouette d’arme dans la main de l’étudiant. En quelques minutes, plusieurs unités d’intervention ont convergé vers le bâtiment. Le lycéen, totalement surpris, a été plaqué au sol sous la menace d’armes avant que la méprise ne soit révélée : il ne portait qu’un paquet de chips orange.

Un détecteur de sécurité à intelligence artificielle a provoqué un moment terrifiant pour un lycéen de Baltimore, dans le Maryland, après qu'un sac de chips vide fourré dans sa poche ait déclenché une alerte qui a fait intervenir la police.

« C'était une situation effrayante. Je n'avais jamais vécu cela auparavant », a déclaré Taki Allen.

Lundi, vers 19 heures, Allen raconte qu'il était assis devant le lycée Kenwood dans le comté de Baltimore, attendant qu'on vienne le chercher après son entraînement de football.

Pendant qu'il attendait avec ses amis, Allen dit avoir mangé un paquet de Doritos, froissé le paquet et l'avoir mis dans sa poche.

Ce qui s'est passé ensuite l'a complètement pris au dépourvu.

« Vingt minutes plus tard, huit voitures de police se sont arrêtées près de nous », se souvient Allen. « Au début, je ne savais pas où ils allaient jusqu'à ce qu'ils se dirigent vers moi avec leurs armes, en me disant : « À terre ». Je me suis dit : « Quoi ? » Ils m'ont fait mettre à genoux, puis ils m'ont mis les mains derrière le dos et m'ont menotté. Ils m'ont fouillé et ont compris que je n'avais rien. Puis ils sont allés là où je me tenais et ont trouvé un sac de chips par terre. »

Allen a demandé pourquoi les agents s'étaient approchés de lui.

« Ils ont dit qu'un détecteur IA ou quelque chose comme ça avait détecté que j'avais une arme. Il m'a montré une photo. Je tenais juste un sac de Doritos comme ça », a décrit Allen. « Ils ont dit que ça ressemblait à une arme. »


L'année dernière, les lycées du comté de Baltimore ont commencé à utiliser un système de détection des armes à feu qui utilise l'intelligence artificielle pour aider à détecter les armes potentielles en exploitant les caméras existantes dans les écoles. Le système peut identifier une arme potentielle, puis envoyer une alerte à l'équipe de sécurité de l'école et aux forces de l'ordre.

Le grand-père d'Allen se dit non seulement bouleversé par la situation, mais aussi par la réaction qui a suivi : « Personne ne voudrait que cela arrive à son enfant », a déclaré Lamont Davis. « Personne, absolument personne ne voudrait que cela arrive à son enfant. »

Les responsables de la police du comté de Baltimore ont fourni une lettre du directeur adressée aux parents. Elle dit notamment : « Vers 19 heures, l'administration scolaire a reçu une alerte indiquant qu'une personne se trouvant dans l'enceinte de l'école était peut-être en possession d'une arme. Le département de la sûreté et de la sécurité scolaires a rapidement examiné et annulé l'alerte initiale après avoir confirmé qu'il n'y avait pas d'arme. »

La société à l'origine de la technologie de détection des armes à feu par IA s'appelle Omnilert.


L’illusion de la précision technologique

Les entreprises qui conçoivent ces outils affirment souvent que leurs algorithmes peuvent « détecter les armes à feu en temps réel avec une précision de 99 % » (c'est le cas par exemple de Provectus ou d'Actuate.AI). Mais cette promesse repose sur des données entraînées dans des contextes contrôlés. Dans la réalité, les ombres, les reflets ou les postures humaines échappent souvent à la logique binaire des modèles. De plus, ces affirmations proviennent plutôt de documentations commerciales ou marketing (études de cas, blogs d’entreprises) que de validations publiques ou de revues académiques rigoureuses.


L’intelligence artificielle ne comprend pas le monde : elle le devine à partir de motifs. Ce qu’elle interprète comme une arme n’est qu’une succession de pixels dont la forme statistique correspond à celle d’un pistolet. Et dans une société américaine obsédée par la prévention des drames, cette devinette numérique peut suffire à déclencher une opération tactique.

Les spécialistes de la sécurité estiment que ces faux positifs ne sont pas anecdotiques :

1. Une étude intitulée « The impact of AI errors in a human-in-the-loop process » montre que lorsque des systèmes algorithmiques donnent des résultats erronés, cela affecte la qualité du jugement humain dans la chaîne de décision — ce qui est très pertinent dans le contexte d’une alerte automatisée d’armes.
2. Une recherche publiée dans Applied Sciences sur la « détection en temps réel d’armes » (« Effective Strategies for Enhancing Real-Time Weapons Detection in Video Surveillance ») indique que les systèmes de détection réduisent les faux positifs (ex. objets confondus avec des armes) via des techniques comme la « fenêtre temporelle » et un second classificateur — mais relèvent aussi des défis majeurs : conditions d’éclairage faible, objets simulant des armes, etc.
3. La Federal Trade Commission a informé le public qu’une entreprise d’IA de détection d’armes (Evolv Technology) a été sanctionnée pour avoir « trompé » ses clients sur les capacités réelles de ses systèmes : fausse publicité sur la détection d’armes, nombreux faux positifs, armes non détectées.
4. Une investigation montre que dans les écoles américaines, l’IA de détection d’armes a généré des alertes pour des objets inoffensifs (par exemple : arceau de danse ou arme factice) ou n’a pas détecté des armes comme les couteaux.

Ces travaux suggèrent que, malgré des avancées techniques, les systèmes d’IA de détection d’armes ne sont pas infaillibles. Le problème majeur reste le faux positif (objet banal pris pour arme) et le faux négatif (arme non détectée). Par exemple, la recherche note que l’ajout d’une fenêtre temporelle (vérifier si l’objet reste visible plusieurs images consécutives) permet de réduire les faux positifs mais réduit aussi le nombre de détections d’armes véritables.

De plus, les alertes erronées finissent par affecter le jugement humain : si l’algorithme se trompe souvent, les agents peuvent soit ignorer ensuite les alertes, soit déclencher des interventions inappropriées.


La tentation de l’automatisation totale

Cet incident illustre un changement profond dans la manière dont la sécurité publique s’articule. Auparavant, un agent humain filtrait les alertes et exerçait un jugement avant toute décision. Désormais, l’alerte est générée, classée et transmise automatiquement, sans validation humaine.

Les partisans de ces technologies défendent leur usage au nom de la rapidité et de la réactivité : dans un contexte où chaque seconde compte, mieux vaut une fausse alerte qu’un drame. Mais cette logique du « mieux vaut prévenir » se transforme vite en spirale de sur-réaction. Plusieurs établissements américains ont d’ailleurs reconnu qu’ils n’avaient pas de protocole clair pour valider les alertes issues de l’IA. En d’autres termes, la machine peut appeler la police — et la police obéit.

Quand la peur nourrit le marché

Le déploiement de ces systèmes s’explique aussi par un puissant moteur économique. Depuis les tragédies de Parkland ou d’Uvalde, les institutions scolaires américaines dépensent des millions de dollars dans des technologies dites de prévention intelligente. Les start-ups promettent une sécurité augmentée grâce à la vision par ordinateur, la reconnaissance faciale ou les capteurs de sons d’armes à feu.

Mais à mesure que ces dispositifs se multiplient, le nombre de fausses alertes augmente. Loin de rassurer, cette hyper technologisation entretient un climat d’angoisse. Chaque objet banal — une bouteille d’eau, un parapluie, un smartphone — peut devenir suspect.

Le risque d’un « profilage automatisé du danger »

Derrière la question technique, un autre problème émerge : celui du biais et du profilage. Les IA de détection d’armes, entraînées sur des jeux de données incomplets, tendent à sur-réagir à certains gestes, couleurs...