Quand la confiance aveugle dans l'IA met des vies en danger : des policiers armés menottent un lycéen après qu'une IA a confondu son paquet de chips Doritos avec une arme

Déclenchant une alerte automatique

L’histoire aurait pu prêter à rire si elle n’avait pas été aussi inquiétante. Dans un lycée américain, un lycéen s’est retrouvé face à un dispositif policier d’envergure, armes au poing, parce qu’un système de surveillance doté d’intelligence artificielle a pris son paquet de Doritos pour… une arme à feu. Selon un rapport, l’incident s’est produit après qu’un algorithme de détection d’armes, intégré au système de caméras du campus, a déclenché une alerte automatique.

L’IA, censée repérer les menaces potentielles en temps réel pour aider à contrer plus rapidement les tueries de masse, a cru discerner une silhouette d’arme dans la main de l’étudiant. En quelques minutes, plusieurs unités d’intervention ont convergé vers le bâtiment. Le lycéen, totalement surpris, a été plaqué au sol sous la menace d’armes avant que la méprise ne soit révélée : il ne portait qu’un paquet de chips orange.

Un détecteur de sécurité à intelligence artificielle a provoqué un moment terrifiant pour un lycéen de Baltimore, dans le Maryland, après qu'un sac de chips vide fourré dans sa poche ait déclenché une alerte qui a fait intervenir la police.

« C'était une situation effrayante. Je n'avais jamais vécu cela auparavant », a déclaré Taki Allen.

Lundi, vers 19 heures, Allen raconte qu'il était assis devant le lycée Kenwood dans le comté de Baltimore, attendant qu'on vienne le chercher après son entraînement de football.

Pendant qu'il attendait avec ses amis, Allen dit avoir mangé un paquet de Doritos, froissé le paquet et l'avoir mis dans sa poche.

Ce qui s'est passé ensuite l'a complètement pris au dépourvu.

« Vingt minutes plus tard, huit voitures de police se sont arrêtées près de nous », se souvient Allen. « Au début, je ne savais pas où ils allaient jusqu'à ce qu'ils se dirigent vers moi avec leurs armes, en me disant : « À terre ». Je me suis dit : « Quoi ? » Ils m'ont fait mettre à genoux, puis ils m'ont mis les mains derrière le dos et m'ont menotté. Ils m'ont fouillé et ont compris que je n'avais rien. Puis ils sont allés là où je me tenais et ont trouvé un sac de chips par terre. »

Allen a demandé pourquoi les agents s'étaient approchés de lui.

« Ils ont dit qu'un détecteur IA ou quelque chose comme ça avait détecté que j'avais une arme. Il m'a montré une photo. Je tenais juste un sac de Doritos comme ça », a décrit Allen. « Ils ont dit que ça ressemblait à une arme. »


L'année dernière, les lycées du comté de Baltimore ont commencé à utiliser un système de détection des armes à feu qui utilise l'intelligence artificielle pour aider à détecter les armes potentielles en exploitant les caméras existantes dans les écoles. Le système peut identifier une arme potentielle, puis envoyer une alerte à l'équipe de sécurité de l'école et aux forces de l'ordre.

Le grand-père d'Allen se dit non seulement bouleversé par la situation, mais aussi par la réaction qui a suivi : « Personne ne voudrait que cela arrive à son enfant », a déclaré Lamont Davis. « Personne, absolument personne ne voudrait que cela arrive à son enfant. »

Les responsables de la police du comté de Baltimore ont fourni une lettre du directeur adressée aux parents. Elle dit notamment : « Vers 19 heures, l'administration scolaire a reçu une alerte indiquant qu'une personne se trouvant dans l'enceinte de l'école était peut-être en possession d'une arme. Le département de la sûreté et de la sécurité scolaires a rapidement examiné et annulé l'alerte initiale après avoir confirmé qu'il n'y avait pas d'arme. »

La société à l'origine de la technologie de détection des armes à feu par IA s'appelle Omnilert.


L’illusion de la précision technologique

Les entreprises qui conçoivent ces outils affirment souvent que leurs algorithmes peuvent « détecter les armes à feu en temps réel avec une précision de 99 % » (c'est le cas par exemple de Provectus ou d'Actuate.AI). Mais cette promesse repose sur des données entraînées dans des contextes contrôlés. Dans la réalité, les ombres, les reflets ou les postures humaines échappent souvent à la logique binaire des modèles. De plus, ces affirmations proviennent plutôt de documentations commerciales ou marketing (études de cas, blogs d’entreprises) que de validations publiques ou de revues académiques rigoureuses.


L’intelligence artificielle ne comprend pas le monde : elle le devine à partir de motifs. Ce qu’elle interprète comme une arme n’est qu’une succession de pixels dont la forme statistique correspond à celle d’un pistolet. Et dans une société américaine obsédée par la prévention des drames, cette devinette numérique peut suffire à déclencher une opération tactique.

Les spécialistes de la sécurité estiment que ces faux positifs ne sont pas anecdotiques :
[LIST=1][*]Une étude intitulée « The impact of AI errors in a human-in-the-loop process » montre que lorsque des systèmes...