La popularité croissante des outils d'IA auprès de la police soulève de profondes préoccupations chez les groupes de défense des droits de l'homme. En dépit des problèmes liés aux logiciels de reconnaissance faciale basée sur l'IA déjà utilisés pour identifier les suspects, la technologie est désormais employée pour rédiger les rapports de police. L'ACLU dénonce un cas d'utilisation dangereux et affirme que « les rapports de police générés par l'IA risquent d'exacerber les problèmes existants en matière d'application de la loi et d'en créer de nouveaux ». L'organisation ajoute que cette pratique soulève des inquiétudes en matière de transparence et de partialité.L'ACLU dénonce l'utilisation de l'IA pour la rédaction de rapports de police
Profitant du battage médiatique intense autour de l'IA, la société américaine Axon a lancé « Draft One », un outil qui utilise l'IA pour transformer les enregistrements des caméras corporelles en rapports de police. Axon affirme que l'un des premiers testeurs de l'outil, le service de police de Fort Collins Colorado, a constaté une diminution de 82 % du temps passé à rédiger des rapports. Mais beaucoup craignent un gain de temps au détriment de la transparence.
L'ACLU (American Civil Liberties Union) a publié cette semaine un rapport détaillant ses préoccupations concernant Draft One. Dans son article, l'ACLU a exprimé ses craintes quant à la fiabilité des rapports de police générés par Draft One, qui selon elle, pourraient souffrir d'un manque de transparence et d'impartialité. Elle ne croit guère que Draft One évitera d'entraîner des violations potentielles des droits civils et encore moins, des problèmes de liberté civile.
« Les rapports de police jouent un rôle crucial dans notre système judiciaire. Les inquiétudes portent notamment sur le manque de fiabilité et la nature partiale de l'IA, les problèmes de preuve et de mémoire lorsque les officiers ont recours à cette technologie, et les problèmes de transparence », a déclaré Jay Stanley, analyste principal de la politique de l'ACLU en matière de discours, de vie privée et de technologie. Jay Stanley est l'auteur du rapport de l'ACLU.
« En fin de compte, nous ne pensons pas que les services de police devraient utiliser cette technologie », a conclu Jay Stanley. Cependant, plusieurs services de police à travers les États-Unis ont progressivement testé des programmes d'IA au cours de l'année dernière, y compris Draft One de la société Axon.
Ce nombre est en augmentation, les villes américaines présentant les fonctions d'IA générative comme une solution aux contraintes de budget et de personnel. Des experts ont critiqué la mise en œuvre de cette technologie, citant le rôle essentiel que jouent les rapports de police dans la prise de décision judiciaire.
L'ACLU expose quatre grands domaines de préoccupation liés à la pratique
Si nous ne pouvons même pas faire confiance à l'IA pour rédiger quelque chose d'aussi simple qu'une nouvelle ou un rapport de bogue, comment pouvons-nous lui faire confiance pour effectuer un travail de police décent ? C'est l'une des principales inquiétudes soulevées par l'ACLU, d'autant plus que les rapports sont compilés à partir d'enregistrements de caméras corporelles qui sont souvent de mauvaise qualité et difficiles à entendre clairement.
L'ACLU expose quatre grands domaines de préoccupation. Elle souligne l'incertitude alimentée par les biais et les hallucinations inhérents à la technologie elle-même, et s'interroge sur la transparence de ces processus vis-à-vis du grand public, sans parler des implications en matière de confidentialité des données :
Des problèmes liés à la technologie elle-même
Selon l'ACLU, l'IA est biaisée, peu fiable et encline à inventer des faits. Étant donné que les grands modèles de langage (LLM) sont formés sur d'énormes quantités de données provenant de l'ensemble du Web, ils absorbent inévitablement le racisme, le sexisme et les autres préjugés qui imprègnent notre culture.
Par conséquent, l'ACLU affirme que même si un programme d'IA ne commet pas d'erreurs explicites ou ne présente pas de préjugés évidents, il peut toujours tourner les choses de manière subtile, sans que l'officier de police chargé de le superviser s'en aperçoive. Ce qui pourrait avoir des conséquences désastreuses.
Craintes concernant les preuves et la mémoire
Selon l'ACLU, la mémoire humaine - contrairement aux enregistrements vidéo - est extrêmement malléable ; des informations ultérieures sur un événement peuvent littéralement modifier le souvenir qu'une personne a de ce qui s'est passé. L'ACLU estime que c'est pourquoi il est important que les expériences subjectives et les souvenirs d'un agent soient mémorisés avant d'être contaminés par la narration d'une IA basée sur une caméra corporelle.
Mais si le rapport de police a été généré par l'IA à partir de la vidéo d'une caméra corporelle, il peut passer sous silence certains faits ou détails que l'agent aurait pu enregistrer, ou pire encore, permettre l'agent de mentir ; par exemple s'il constate que quelque chose d'illégal qu'ils ont fait n'a pas été filmé par la caméra.
« L'élasticité de la mémoire humaine est la raison pour laquelle nous pensons qu'il est vital que les agents fassent leur déclaration sur ce qui s'est passé lors d'un incident avant d'être autorisés à voir une vidéo ou d'autres preuves », indique le rapport de l'ACLU.
Préoccupations en matière de transparence
L'organisation affirme que cette pratique soulève des inquiétudes en matière de transparence et de partialité. Étant donné la nature novatrice et expérimentale des rapports de police générés par l'IA, il est important que le public comprenne ce qui se passe afin que des experts indépendants puissent évaluer la technologie et que les communautés et leurs représentants élus puissent décider s'ils veulent que les officiers de police qui les servent l'utilisent.
« Il est également essentiel que les personnes mises en cause dans des affaires pénales puissent interroger les preuves retenues contre elles. Pourtant, le fonctionnement de ces systèmes reste en grande partie mystérieux », explique l'organisation de droit civique dans son rapport.
Préoccupations liées à la responsabilité des agents
L'ACLU rappelle que les justifications écrites par les policiers pour des contrôles, des fouilles, des perquisitions et des fouilles par consentement sont examinées par leurs supérieurs, qui utilisent ce qui est écrit pour identifier les cas où un policier pourrait ne pas connaître ou ne pas respecter ces limites.
Le passage aux rapports de police rédigés par l'IA balaierait ces rôles importants de responsabilité que les rapports jouent au sein des services de police et dans l'esprit des agents. L'ACLU a conclu que les services de police ne devraient pas autoriser les agents à utiliser l'IA pour générer des projets de rapports de police.
« La technologie de rédaction de rapports par l'IA supprime d'importants éléments humains des procédures policières et est trop nouvelle, trop peu testée, trop peu fiable, trop opaque et trop partiale pour être insérée dans notre système de justice pénale », a déclaré l'organisation dans son rapport.
Draft One intègre une fonction qui permet d'insérer intentionnellement des phrases idiotes dans les rapports générés par l'IA, pour s'assurer que les agents examinent et révisent les rapports de manière approfondie. Mais le PDG d'Axon a déclaré que la plupart des agences choisissent de ne pas activer cette fonction.
Des pratiques controversées en matière d'innovation
Il convient de souligner qu'Axon n'a pas la meilleure réputation lorsqu'il s'agit de réfléchir de manière critique aux innovations : la plupart des membres du comité d'éthique de l'entreprise ont démissionné en 2022 lorsque Axon a annoncé son intention d'équiper des drones télécommandés de pistolets Taser.
Axon a ensuite interrompu le programme à la suite d'une réaction négative du public. Par ailleurs, Axon n'est pas la seule entreprise à proposer une IA permettant de rédiger un rapport de police. D'autres entreprises telles que Policereports.ai et Truleo offrent également deux des services similaires.
La pratique introduit également des risques de confidentialité
L'ACLU souligne également les problèmes de confidentialité liés à l'utilisation de l'IA pour traiter les images des caméras corporelles. Les données policières sont sensibles, alors qui va les traiter exactement ? Selon Axon, « toutes les données de Draft One, y compris les transcriptions des caméras et les rapports préliminaires, sont stockées et gérées en toute sécurité au sein du réseau Axon », mais il n'y a aucune indication sur la nature de l'infrastructure.
Axon a indiqué dans un communiqué de presse datant d'avril 2024 que « Draft One a été construit au-dessus de la plateforme Azure OpenAI Service de Microsoft ». Pourtant, Microsoft indique que les policiers ne sont pas autorisés à utiliser son infrastructure cloud pour la reconnaissance faciale.
Cependant, cela ne s'applique apparemment pas au fait de laisser une IA rédiger des rapports de police. Ce n'est pas vraiment une source de confiance étant donné les antécédents de Microsoft et d'Azure en matière de sécurité ces derniers temps, notamment avec les préoccupations liées à la fonction Windows Recall.
« Lorsqu'un utilisateur (tel qu'Axon) télécharge un document ou saisit une invite, ces deux éléments sont transmis à l'opérateur du modèle de langage (tel qu'OpenAI), et ce que cet opérateur fait de ces informations n'est soumis à aucune protection légale de la vie privée », peut-on lire dans le rapport de l'ACLU.
Axon affirme ici qu'aucune donnée du client [c'est-à-dire de la police] n'est transmise à OpenAI, mais pour qu'un modèle comme ChatGPT analyse un bloc de texte tel que la transcription d'une vidéo prise par une caméra corporelle, vous envoyez normalement ce texte à la société qui gère le modèle, comme OpenAI.
« Je ne suis pas sûr de savoir comment cela fonctionnerait dans le cas de Draft One », a déclaré Jay Stanley. En fin de compte, Draft One est déjà utilisé par les forces de l'ordre américaines depuis son lancement en avril 2024. L'on ignore combien d'agences utilisent Draft One, et Axon ne communique pas ce chiffre.
Source : American Civil Liberties Union (1, 2)
Et vous ?
Quel est votre avis sur le sujet ? Que pensez-vous de l'utilisation de l'IA pour la rédaction des rapports de police ? Quels sont les risques liés à ce cas d'utilisation de l'IA ? Que pensez-vous des faits soulevés par l'ACLU ?Voir aussi
L'entreprise Axon vend une IA qui transforme les enregistrements des caméras corporelles en rapports de police, « une sorte de cauchemar », d'après un responsable de l'EFF qui évoque les biais La reconnaissance faciale comme méthode de sécurité est inutile pour 4 smartphones sur 10, d'après une étude Microsoft interdit aux services de police américains d'utiliser son outil IA pour la reconnaissance faciale, une semaine après qu'un fabricant de produits technologiques et d'armes a annoncé utiliser GPT-4 
