Le métro de Londres a mené des tests d'outils de surveillance basés sur l'intelligence artificielle (IA) pour détecter les délits en temps réel. Pendant une période d'essai de douze mois, 11 algorithmes ont été utilisés pour surveiller les usagers de la station de métro Willesden Green, en combinant l'IA avec des images de vidéosurveillance en direct. Plus de 44 000 alertes ont été émises, signalant des comportements agressifs, des armes potentielles, des personnes tombant sur les voies, ou des fraudes tarifaires. Les documents révèlent des erreurs du système, suscitant des inquiétudes quant à la précision des algorithmes et aux questions de vie privée. Bien que l'essai ait visé à améliorer la sécurité, des experts soulignent la nécessité de réglementations et de consultations publiques transparentes pour l'utilisation de telles technologies dans les espaces publics.
Des documents expliquent comment Transport for London (TfL), qui exploite le réseau de métro et de bus de la ville, a utilisé un large éventail d'algorithmes de vision par ordinateur pour suivre le comportement des personnes lorsqu'elles se trouvaient dans la station. C'est la première fois que tous les détails de l'essai sont rapportés, et cela fait suite à la déclaration de TfL, en décembre, d'étendre son utilisation de l'IA pour détecter l'évasion tarifaire à d'autres stations de la capitale britannique.
Lors de l'essai à Willesden Green - une station qui accueillait 25 000 visiteurs par jour avant la pandémie de COVID-19 - le système d'IA a été mis en place pour détecter les incidents de sécurité potentiels afin de permettre au personnel d'aider les personnes dans le besoin, mais il a également ciblé les comportements criminels et antisociaux. Trois documents fournis à WIRED expliquent comment les modèles d'IA ont été utilisés pour détecter les fauteuils roulants, les poussettes, les vapoteurs, les personnes accédant à des zones non autorisées ou se mettant en danger en s'approchant du bord des quais de gare.
Les documents, qui sont partiellement nettoyés, montrent également que l'IA a commis des erreurs au cours de l'essai, par exemple en signalant les enfants qui suivaient leurs parents à travers les barrières de billets comme des fraudeurs potentiels, ou en n'étant pas capable de faire la différence entre un vélo pliant et un vélo non pliant. Des policiers ont également participé à l'essai en tenant une machette et un pistolet sous les yeux des caméras de vidéosurveillance, alors que la gare était fermée, afin d'aider le système à mieux détecter les armes.
Les experts en protection de la vie privée qui ont examiné les documents mettent en doute la précision des algorithmes de détection d'objets. Ils affirment également que l'on ne sait pas exactement combien de personnes étaient au courant de l'essai, et préviennent que ces systèmes de surveillance pourraient facilement être étendus à l'avenir pour inclure des systèmes de détection plus sophistiqués ou des logiciels de reconnaissance faciale qui tentent d'identifier des individus spécifiques.
« Bien que cet essai n'ait pas porté sur la reconnaissance faciale, l'utilisation de l'IA dans un espace public pour identifier des comportements, analyser le langage corporel et déduire des caractéristiques protégées soulève un grand nombre des mêmes questions scientifiques, éthiques, juridiques et sociétales que celles posées par les technologies de reconnaissance faciale », déclare Michael Birtwistle, directeur associé de l'Institut Ada Lovelace, un institut de recherche indépendant.
La nouvelle frontière de la surveillance : intelligence artificielle, drones et reconnaissance faciale
Ces dernières années, l'utilisation de l'IA dans les espaces publics pour détecter les comportements, les mouvements ou les identités des personnes s'est accrue, souvent sous le couvert d'approches de villes intelligentes. En juillet de l'année dernière, des rapports ont révélé que plusieurs stations de métro de la ville de New York utilisaient l'IA pour détecter les fraudes.
La police aux États-Unis semble devenir l'un des principaux clients des entreprises de la Silicon Valley spécialisées dans le développement d'outils de surveillance. Des rapports indiquent une augmentation de l'utilisation de technologies d'espionnage, notamment des drones-espions, par les forces de l'ordre américaines. Selon une nouvelle enquête de la Northwestern Pritzker School of Law, environ 25 % des services de police ont actuellement recours à ces technologies.
Ces dispositifs de surveillance sont fournis par des entreprises technologiques financées par des sociétés de capital-risque renommées à l'échelle mondiale. Les experts expriment leur préoccupation face à l'accroissement de la surveillance gouvernementale. La vente d'équipements de renseignement, de surveillance et d'espionnage à l'armée et aux forces de l'ordre gagne en popularité parmi les entreprises et les start-ups technologiques de la Silicon Valley.
Cette tendance, selon les analystes et les défenseurs des droits de l'homme, renforce le contrôle des États et du gouvernement fédéral américains sur les citoyens. Ces équipements comprennent des drones de surveillance dotés d'intelligence artificielle, des robots autonomes patrouilleurs, des programmes de reconnaissance faciale, etc.
Certains analystes trouvent étrange que la Silicon Valley soutienne les forces de l'ordre américaines dans leurs activités d'espionnage, étant donné que cela semble en contradiction avec les valeurs libertaires prônées par de nombreuses personnalités de la technologie qui ont grandi avec les débuts d'Internet. Bien que la Silicon Valley ait initialement fourni des composants à l'industrie militaire américaine dans les années 1950, ses relations avec l'État se sont tendues au fil du temps, passant des missiles autoguidés au commerce électronique et aux iPhones. Cependant, la situation semble évoluer actuellement.
En 2019, des chercheurs chinois ont mis au point une caméra de 500 mégapixels dotée d'intelligence artificielle, capable d'identifier un visage au sein d'une foule de plusieurs milliers de personnes dans des environnements tels que les rues ou les stades, selon un rapport du quotidien britannique The Telegraph. Cette nouvelle technologie, présentée lors de la foire industrielle internationale de la Chine la semaine dernière, peut être intégrée à des systèmes de reconnaissance faciale et de surveillance en temps réel.
La caméra de reconnaissance faciale, surnommée la « super caméra », offre une résolution quatre fois plus détaillée que l'œil humain et peut se connecter à d'autres appareils, expliquent les scientifiques. Grâce à son intelligence artificielle, la caméra est capable de scanner les détails faciaux de chaque individu et de détecter instantanément des cibles spécifiques au sein d'une foule importante. Cette avancée suscite des inquiétudes quant à l'atteinte possible d'un niveau critique dans la surveillance par reconnaissance faciale. Xiaoyang Zeng, l'un des chercheurs impliqués dans cette nouvelle technologie, a également souligné que l'appareil peut capturer des images fixes et enregistrer des vidéos simultanément, selon les informations rapportées par le Daily Mail.
Le TfL déclare avoir utilisé des images de vidéosurveillance existantes, des algorithmes d'intelligence artificielle et de « nombreux modèles de détection » pour déceler des schémas de comportement. « En fournissant au personnel des stations des informations et des notifications sur les mouvements et le comportement des clients, ils pourront, nous l'espérons, réagir plus rapidement à toute situation », peut-on lire dans la réponse. Elle ajoute que l'essai a permis d'obtenir des informations sur l'évasion tarifaire qui « nous aideront dans nos approches et interventions futures » et que les données recueillies sont conformes à ses politiques en matière de données.
Des systèmes développés dans des situations où il n'y a pas de lois spécifiques régissant leur utilisation
Bon nombre de ces systèmes sont développés dans des situations où il n'y a pas de lois spécifiques régissant leur utilisation, avec des mises en garde contre un vide réglementaire au Royaume-Uni. « La normalisation de la surveillance par l'IA dans les centres de transport est une pente glissante vers un État de surveillance et doit faire l'objet d'une plus grande transparence et d'une consultation publique », déclare Stone de Big Brother Watch.
Une étude du Joint Research Councils (JRC) met en garde contre les conséquences néfastes sur la santé mentale des employés dues à l'accroissement de la surveillance par les employeurs. Le rapport souligne que la surveillance excessive, incluant l'utilisation de webcams, l'enregistrement des frappes au clavier et les traceurs de mouvements, peut entraîner des problèmes de santé mentale, une baisse de productivité et des démissions. Pendant la pandémie, l'utilisation de ces technologies a considérablement augmenté, notamment dans le cadre du travail à distance. Le groupe parlementaire britannique multipartite (APPG) sur l'avenir du travail préconise une « loi sur la responsabilité des algorithmes » pour évaluer les impacts des régimes axés sur la performance.
Selon l'APPG, les technologies de surveillance omniprésente et de fixation d'objectifs sont associées à des effets négatifs sur le bien-être mental et physique des travailleurs, en raison de la pression constante et de l'évaluation automatisée. Le rapport du JRC, intitulé Electronic Monitoring and Surveillance in the Workplace, met en lumière l'essor de la surveillance au travail, souvent soutenue par l'intelligence artificielle, tant dans l'économie du travail à l'aide de platesformes communes que dans les systèmes bureautiques classiques. Les différentes tendances nécessitent des réponses spécifiques, souligne l'auteur du rapport, Kirstie Ball, professeur à l'école de gestion de l'université de St Andrews.
Les tests menés par le métro de Londres visaient également à déterminer si l'IA pouvait détecter les vélos dépliés ou non et les scooters électriques, qui sont en grande partie interdits sur le réseau de transport. « L'IA n'a pas pu faire la différence entre un vélo déplié et un vélo normal, ni entre un scooter électrique et un scooter pour enfants », indiquent les documents. Le modèle d'évasion tarifaire a également repéré les enfants. « Pendant les heures de transport scolaire, nous observions un pic d'alertes de talonnage de parents et d'enfants », indiquent les documents. Le système a été ajusté pour ne pas signaler les personnes « dont la taille est inférieure à la barrière ».
En 2020, la police de Londres a dévoilé son projet de déploiement de caméras de reconnaissance faciale dans toute la ville, suscitant des préoccupations parmi les défenseurs de la vie privée qui ont qualifié cette initiative de menace sérieuse pour les libertés individuelles. Cette décision faisait suite à une série de tests lancés par la police du Royaume-Uni en 2017, mettant en œuvre des caméras dotées d'un système d'intelligence artificielle (IA) appelé AFR Locate pour la reconnaissance faciale en temps réel.
Initialement testée dans la région de South Wales, cette technologie a montré des lacunes dès le début des essais, avec un taux élevé de faux positifs atteignant 98 %. Le système utilise un croisement entre les images en temps réel et celles stockées dans une base de données de personnes recherchées pour générer des alertes en cas de correspondance. Cependant, en raison des déficiences observées, aucune arrestation n'a pu être effectuée sur la base de ces alertes.
Face à ces insuffisances, les autorités ont collaboré avec la société technologique japonaise NEC pour améliorer l'algorithme sous-jacent à l'IA. Après 12 mois de recherche, NEC a fourni un nouvel algorithme et une nouvelle application, réduisant considérablement le taux de faux positifs. Entre 2017 et 2018, cette amélioration a conduit à l'arrestation de 450 personnes.
Suite à ces résultats jugés concluants, la police britannique, notamment le Service de Police Métropolitain de Londres (Met), annonce l'introduction de la technologie de reconnaissance faciale en temps réel (LFR) dans des endroits spécifiques de Londres. Cette initiative vise à lutter contre des délits graves, tels que la violence, l'utilisation d'armes à feu et à couteaux, l'exploitation sexuelle des enfants, ainsi qu'à protéger les personnes vulnérables.
Le commissaire adjoint Nick Ephgrave souligne l'importance de cette avancée dans la lutte contre la violence, soulignant que des technologies similaires sont déjà largement utilisées dans le secteur privé au Royaume-Uni et qu'elles ont été testées spécifiquement pour une utilisation opérationnelle par les équipes technologiques de la police.
Les risques soulevés par les experts en vie privée
La combinaison de l'IA avec des images de vidéosurveillance en direct a généré plus de 44 000 alertes signalant divers comportements, allant de l'agressivité aux fraudes tarifaires. Ces résultats soulèvent des questions sur la fiabilité du système, mettant en évidence des erreurs susceptibles d'avoir des conséquences importantes.
Bien que l'objectif de l'essai soit d'améliorer la sécurité, il est crucial de prendre en compte les erreurs du système et de mettre en place des réglementations strictes ainsi que des consultations publiques transparentes avant de déployer de telles technologies dans des espaces publics. La nécessité d'un équilibre entre la sécurité publique et la protection de la vie privée est cruciale, et des experts soulignent l'importance d'une approche réglementaire pour garantir que ces technologies ne compromettent pas les droits fondamentaux des citoyens.
L'expérience souligne également la nécessité d'une surveillance et d'une évaluation constantes des systèmes d'IA pour minimiser les erreurs et les biais, tout en informant le public sur la manière dont ces technologies sont utilisées et réglementées. L'opinion critique exprimée par Madeleine Stone, une responsable plaidoyer au sein du groupe Big Brother Watch axé sur la protection de la vie privée, soulève des préoccupations légitimes quant à l'utilisation de la surveillance alimentée par l'IA dans le métro.
Stone met en avant le fait que de nombreux voyageurs du métro seront « dérangés » en apprenant que les autorités les soumettent à une surveillance alimentée par l'IA. Elle souligne également que l'utilisation d'un algorithme pour déterminer si quelqu'un est « agressif » est « profondément défectueuse » et met en lumière le fait que le régulateur britannique des données a averti contre l'utilisation des technologies d'analyse des émotions.
Cette critique met en évidence une série de préoccupations fondamentales, notamment le potentiel de violation de la vie privée, les erreurs possibles de l'algorithme dans l'évaluation du comportement humain, et le non-respect des avertissements des régulateurs de données. L'objection à l'utilisation de technologies d'analyse des émotions est particulièrement pertinente et souligne les risques de décisions automatisées basées sur des interprétations potentiellement biaisées ou inexactes des émotions humaines.
Sources : Documents rendus publics, TfL
Et vous ?
Quel est votre avis sur le sujet ? Êtes-vous pour contre une consultation publique avant le déploiement de ces technologies ? Quelle est votre position vis-à-vis de l'usage des outils de surveillance IA en temps réel dans la détection des délits ? Êtes-vous en faveur ou opposé à cette pratique ?Voir aussi :
La surveillance du lieu de travail par l'IA est en plein essor et nuit à la santé mentale des travailleurs, des députés britanniques demandent un renforcement de la réglementation pour y palier Les startups technologiques vendent à l'armée et à la police des dispositifs avancés de surveillance et d'espionnage, malgré les risques d'utilisation abusive et de violation de la vie privée La Chine dévoile une caméra de 500 mégapixels dotée d'IA capable d'identifier un seul visage parmi des dizaines de milliers de personnes, faisant craindre une répression accrue des libertés civiles La police de Londres déploiera des caméras de reconnaissance faciale dans toute la ville, les militants de protection de la vie privée ont qualifié cette décision de menace grave contre les libertés