La police de New York a dépensé des millions pour les services d'une entreprise tech prétendant pouvoir utiliser l'IA

Pour surveiller les réseaux sociaux et prédire qui seront les futurs criminels

Voici pourquoi des centaines de mathématiciens boycottent la technologie de "police prédictive",
Certains qualifient ces algorithmes de « vernis scientifique pour le racisme »

La vague de protestation contre le racisme et la brutalité policière a atteint les départements de mathématiques des universités. Un groupe de mathématiciens aux États-Unis a écrit une lettre à American Mathematical Society Notices en juin, demandant à leurs collègues de cesser de collaborer avec la police en raison des disparités largement documentées dans la façon dont les forces de l'ordre américaines traitent les personnes de couleur. Leurs critiques se concentrent sur la police prédictive, une technologie basée sur les mathématiques qui vise à stopper la criminalité avant qu'elle ne se produise, selon la lettre.

La lettre cosignée par plusieurs centaines de chercheurs est arrivée quelques semaines après les nombreuses protestations contre la brutalité policière dans les grandes villes aux États-Unis. Plusieurs éminents mathématiciens universitaires exhortent leurs collègues chercheurs à cesser tout travail lié aux logiciels de police prédictive, qui comprennent en général tous les outils d'analyse de données qui utilisent des données historiques pour aider à prévoir la criminalité future, les délinquants potentiels et les victimes. Cette technologie est censée utiliser les probabilités pour aider les services de police à adapter leur couverture de quartier afin de placer les agents au bon endroit et au bon moment.


« Compte tenu du racisme structurel et de la brutalité qui caractérisent le maintien de l'ordre aux États-Unis, nous ne pensons pas que les mathématiciens devraient collaborer de cette manière avec les services de police », écrivent les auteurs de la lettre. « Il est tout simplement trop facile de créer un vernis "scientifique" pour le racisme. Veuillez vous joindre à nous pour vous engager à ne pas collaborer avec la police. C'est, en ce moment, le moins que nous puissions faire en tant que communauté ». Une page de signature de la lettre est mise en ligne via une page Google Docs, et la liste des cosignataires est consultable sure une page Web dédiée au mouvement de Boycott.

« C'est un moment où beaucoup d'entre nous ont pris conscience de réalités qui existent depuis très longtemps », a déclaré dans un communiqué Jayadev Athreya, professeur associé au département de mathématiques de l'Université de Washington qui a signé la lettre. « Et beaucoup d'entre nous ont estimé qu'il était très important de faire une déclaration claire sur notre position, en tant que mathématiciens, sur ces questions ».

La technologie de police prédictive peut inclure des algorithmes statistiques ou d'apprentissage automatique qui s'appuient sur des dossiers de police, qui fournissent les détails de l'heure, du lieu et la nature des crimes passés, afin de prédire si, quand, où et qui pourrait commettre de futures infractions. Cette pratique devrait, en théorie, aider les autorités à utiliser les ressources de manière plus judicieuse et à passer plus de temps à surveiller certains quartiers qui, selon elles, devraient connaître des taux de criminalité plus élevés.

Selon un rapport de recherche publié en 2013 par RAND Corporation, un groupe de réflexion à but non lucratif de Santa Monica, en Californie, la police prédictive est constituée d'un cycle en quatre parties (voir figure ci-dessous). Au cours des deux premières étapes, les chercheurs recueillent et analysent des données sur les crimes, les incidents et les délinquants afin d'établir des prévisions. À partir de là, la police intervient sur la base de ces prédictions, généralement sous la forme d'une augmentation des ressources sur certains sites à certains moments. La quatrième étape consiste, dans l'idéal, à réduire la criminalité.


Les logiciels de police prédictive étaient censés être un outil d’aide aux services de police qui font face à des crises budgétaires avec moins d'agents pour couvrir une région. Mais en pratique, la précision de cette technologie a été contestée - et on l'a même qualifiée de raciste. C’est le cas avec des mathématiciens qui appellent à cesser leur collaboration avec les départements de police en ce qui concerne cette technologie.

Le logiciel de police prédictive ne permet pas de prévoir les futurs crimes, mais renforce au contraire les préjugés des agents

L’action des mathématiciens prend ces sources en 2016, lorsque PredPol, une entreprise technologique basée à Santa Cruz, en Californie, qui développe et vend des outils de police prédictive aux départements américains, a coorganisé un atelier - qui préconisait l'implication des mathématiciens dans les services de police - avec l'Institute for Computational and Experimental Research in Mathematics (ICERM) à l'Université Brown à Providence, dans le Rhode Island.

Le programme de l’atelier comprenait un travail aux côtés du département de police de Providence, et les participants, dont les mathématiciens, devaient se concentrer sur des problèmes réels avec de vraies données sur la criminalité et la police pour réfléchir à des méthodes et des modèles mathématiques qui pourraient aider les agents, voire même « créer un code pour mettre en œuvre des idées si nécessaire », selon un avis publié sur le site Web de ICERM à l'occasion de l'événement. À l’époque, selon l’avis, les organisateurs de l'événement ont déclaré qu'ils « prévoient pleinement que des collaborations durables se formeront, et que le travail sur les projets se poursuivra après la fin de l'atelier ».

Christopher Hoffman, professeur au département de mathématiques de l'Université de Washington, qui a également signé la lettre, a expliqué dans un communiqué que l'adhésion des institutions le préoccupait, lui et ses collègues. Quand un grand institut fait cela, c'est comme si on disait « c'est quelque chose que nous, en tant que communauté, apprécions », dit-il. « Nous avons fait partie de ces institutions vraiment problématiques, et c'est le moment pour nous de réfléchir et de décider que nous n'allons pas faire cela en tant que communauté, que nous n'allons pas collaborer avec des organisations qui tuent des gens », a-t-il ajouté.

Les chercheurs s'opposent en particulier à PredPol en affirmant dans leur lettre que sa technologie crée des boucles de rétroaction racistes. Pour eux, le logiciel ne permet pas de prévoir les futurs crimes, mais renforce au contraire les préjugés des agents. Mais Brian MacDonald, le PDG de PredPol, a déclaré dans un communiqué que sa technologie n'utilise jamais les données d'arrestation, « parce que cela peut entraîner des préjugés de la part des officiers ». Au lieu de cela, dit-il, la société n'utilise que les données que les victimes ont elles-mêmes signalées à la police, a-t-il ajouté.

Tarik Aougab, professeur adjoint de mathématiques au Haverford College et signataire de la lettre, a aussi expliqué que le fait de conserver les données d'arrestation à partir du modèle de PredPol ne suffit pas à éliminer les biais : « Le problème de la police prédictive est qu'il ne s'agit pas seulement d'un biais individuel de l'agent », dit Aougab. « Il y a un énorme biais structurel en jeu, qui pourrait notamment prendre en compte le vol à l'étalage mineur, ou l'utilisation d'un faux billet - ce qui a finalement précipité le meurtre de George Floyd - comme un crime auquel la police devrait répondre en premier lieu ».


Environ 60 services de police aux États-Unis utilisent la technologie de police prédictive de PredPol

MacDonald a déclaré à Los Angeles Times en 2019 que 60 des 18 000 services de police des États-Unis utilisent PredPol, dont le Los Angeles Police Department. En 2011, le LAPD a commencé à utiliser un logiciel de police prédictive appelé Los Angeles Strategic Extraction and Restoration (LASER), qu'il a finalement cessé d'utiliser en avril 2019, selon Latimes.

« La police de Los Angeles a examiné la question et n'a pu tirer aucune conclusion sur l'efficacité du logiciel », explique M. Hoffman. « Nous ne savons même pas si cela fait une différence dans les endroits où la police patrouille ».

Pendant ce temps, le Département de police de la ville de New York utilise trois outils différents de police prédictive : Azavea, Keystats et PredPol, ainsi que ses propres algorithmes internes de police prédictive qui remontent à 2013, explique M. Athreya, signataire de la lettre.

Selon un article publié en juin dernier par le quotidien Star Tribune, le département de police de Santa Cruz a récemment interdit l'utilisation d'outils de police prédictive. Le département a commencé un projet pilote de police prédictive qui devait alléger la charge des agents qui étaient submergés d'appels de service à un moment où la ville réduisait les budgets de la police. Le chef de la police Andy Mills a déclaré au Los Angeles Times que la police prédictive aurait pu être efficace si elle avait été utilisée pour travailler avec la communauté afin de résoudre les problèmes, plutôt que de « faire de la pure application de la loi ».

Les mathématiciens font comprendre que leur boycott n'est pas seulement une « préoccupation théorique ». Mais, selon eux, si la technologie continue d'exister, il devrait y avoir au moins quelques lignes directrices pour sa mise en œuvre. Ils ont quelques exigences qui se résument pour l'essentiel aux concepts de transparence et d'adhésion de la communauté. Ils exigent que tout algorithme ayant un « impact potentiel élevé » devrait être soumis à un audit public. Ils veulent...