L'outil d'IA préféré des policiers efface automatiquement les preuves de son utilisation, l'outil d'IA de la police étant conçu pour éviter de rendre des comptes

D'après l'EFF

L'outil d'IA préféré des policiers efface automatiquement les preuves de son utilisation, l'outil d'IA de la police étant conçu pour éviter de rendre des comptes, d'après l'EFF

L'Electronic Frontier Foundation a publié une vaste enquête sur les rapports de police générés par l'IA qui, selon le groupe, sont, de par leur conception, presque impossibles à vérifier et pourraient permettre aux policiers de mentir sous serment plus facilement. L'EFF a constaté que la technologie "semble conçue pour paralyser toute tentative d'audit, de transparence et de responsabilité". Les policiers ne sont pas tenus de divulguer l'utilisation de l'IA dans chaque service, et Draft One n'enregistre pas les brouillons et ne conserve pas d'archives indiquant quelles parties des rapports sont générées par l'IA.

Axon Enterprise (anciennement TASER International) est une société américaine basée à Scottsdale, en Arizona, qui développe des technologies et des produits d'armement pour les militaires, les forces de l'ordre et les civils. Son premier produit et son ancien nom est le Taser, une gamme d'armes à électrochocs. L'entreprise s'est depuis diversifiée dans les produits technologiques destinés aux militaires et aux forces de l'ordre, notamment les caméras portées sur le corps, les caméras de surveillance, les logiciels de répartition assistée par ordinateur et Evidence.com, une plateforme de preuves numériques basée sur le cloud. En 2017, les caméras portées sur le corps et les services associés représentaient un quart de l'activité globale d'Axon.

Les policiers américains font de plus en plus appel à l'intelligence artificielle pour les aider dans leur travail, qu'il s'agisse de modèles d'intelligence artificielle qui analysent les schémas criminels ou de drones capables de voler tout seuls. Désormais, une IA basée sur GPT-4 peut effectuer l'une de leurs tâches les moins attrayantes : la rédaction de rapports. Axon affirme que son intelligence artificielle permettra à un plus grand nombre de policiers de quitter le bureau et de se rendre dans les rues. Les détracteurs sont pour leur part d’avis que le système est susceptible de rendre les policiers paresseux et d’introduire des erreurs dans des preuves cruciales.

Récemment, un groupe de défense des droits numériques, l'Electronic Frontier Foundation, a publié une vaste enquête sur les rapports de police générés par l'IA qui, selon le groupe, sont, de par leur conception, presque impossibles à vérifier et pourraient permettre aux policiers de mentir sous serment plus facilement.

Draft One d'Axon a fait ses débuts l'été dernier dans un service de police du Colorado, soulevant instantanément des questions sur les effets négatifs redoutés des rapports de police rédigés par l'IA sur le système de justice pénale. L'outil s'appuie sur une variante de ChatGPT pour générer des rapports de police basés sur les enregistrements des caméras corporelles, que les policiers sont ensuite censés modifier pour corriger les erreurs, évaluer les résultats de l'IA pour détecter les biais ou ajouter des éléments contextuels essentiels.

Mais l'EFF a constaté que la technologie "semble conçue pour paralyser toute tentative d'audit, de transparence et de responsabilité". Les policiers ne sont pas tenus de divulguer l'utilisation de l'IA dans chaque service, et Draft One n'enregistre pas les brouillons et ne conserve pas d'archives indiquant quelles parties des rapports sont générées par l'IA. Les services ne conservent pas non plus les différentes versions des projets, ce qui rend difficile l'évaluation de la comparaison d'une version d'un rapport d'IA avec une autre, afin d'aider le public à déterminer si la technologie est "bidon", a déclaré l'EFF. Cela soulève la question suivante : "Pourquoi une agence ne voudrait-elle pas conserver un dossier permettant d'établir l'exactitude de la technologie ?

Pour rappel, en décembre 2024, le groupe de défense de défense des droits de l'homme ACLU avait déjà publié un rapport détaillant ses préoccupations concernant Draft One. Le groupe avait dénoncé un cas d'utilisation dangereux de l'outil et affirmait que "les rapports de police générés par l'IA risquent d'exacerber les problèmes existants en matière d'application de la loi et d'en créer de nouveaux". L'organisation avait ajouté que cette pratique soulève des inquiétudes en matière de transparence et de partialité.


Voici un résumé du rapport de l'EFF :

Draft One d'Axon est conçu pour défier la transparence

Draft One d'Axon Enterprise - un produit d'intelligence artificielle générative qui rédige des rapports de police à partir de l'audio des caméras corporelles des officiers - semble délibérément conçu pour éviter les audits qui pourraient rendre des comptes au public, selon une enquête de l'EFF.

L'examen des archives publiques des services de police qui utilisent déjà la technologie - y compris les rapports de police, les courriels, les documents d'approvisionnement, les politiques du service, les paramètres du logiciel, etc. - ainsi que les manuels d'utilisation et les documents de marketing d'Axon ont révélé qu'il est souvent impossible de dire quelles parties d'un rapport de police ont été générées par l'IA et quelles parties ont été rédigées par un agent.

Tout le monde devrait avoir accès aux réponses, aux preuves et aux données concernant l'efficacité et les dangers de cette technologie. Axon et ses clients affirment que cette technologie va révolutionner les services de police, mais il reste à voir comment elle modifiera le système de justice pénale et à qui elle profitera le plus.

Depuis des mois, l'EFF et d'autres organisations mettent en garde contre les menaces que cette technologie fait peser sur la responsabilité et la transparence d'un système de justice pénale déjà défectueux. Le nouveau rapport de l'EFF conclu que la situation est encore pire : Il n'existe aucun moyen valable d'auditer l'utilisation de Draft One, que l'on soit chef de police ou chercheur indépendant, car Axon l'a conçu de cette manière.

Draft One utilise une variante de ChatGPT pour traiter les enregistrements audio des caméras corporelles lors de rencontres publiques et créer des rapports de police basés uniquement sur le dialogue verbal capturé ; il ne traite pas la vidéo. Le texte généré par Draft One est parsemé d'espaces réservés entre crochets que les agents sont encouragés à utiliser pour ajouter des observations ou des informations supplémentaires - ou qui peuvent être rapidement supprimées. Les agents sont censés éditer le rapport de Draft One et corriger tout ce que le Gen AI a mal compris en raison d'un manque de contexte, de traductions erronées ou de simples erreurs. Lorsqu'il a terminé, l'agent est invité à signer un document attestant que le rapport a été généré à l'aide de Draft One, qu'il l'a examiné et qu'il y a apporté les modifications nécessaires pour s'assurer qu'il est conforme à ses souvenirs. Il peut ensuite copier et coller le texte dans son rapport. Lorsqu'il ferme la fenêtre, le projet disparaît.

Toute technologie nouvelle, non testée et problématique nécessite un processus solide d'évaluation de son utilisation par les agents. Dans le cas présent, on peut s'attendre à ce que les services de police conservent des données garantissant que les agents modifient effectivement les rapports générés par l'IA, comme cela est exigé, ou que les agents puissent répondre avec précision si un juge demande si les rapports utilisés par l'accusation ont été rédigés par l'IA, ou quelle partie de ces rapports a été rédigée par l'IA.

On peut s'attendre à ce que les systèmes d'audit soient facilement accessibles aux superviseurs de la police, aux chercheurs et au public, afin que chacun puisse tirer ses propres conclusions en toute indépendance. Et l'on s'attendrait à ce que Draft One permette de distinguer facilement le produit de l'IA du produit humain - après tout, même votre logiciel de traitement de texte gratuit de base peut suivre les modifications et enregistrer l'historique d'un document.

Mais Draft One défie toutes ces attentes, en offrant de maigres fonctions de contrôle qui dissimulent délibérément la manière dont il est utilisé.

Ainsi, lorsqu'un rapport de police contient des propos tendancieux, des inexactitudes, des interprétations erronées, voire des mensonges purs et simples, le dossier n'indique pas si c'est l'agent ou l'IA qui est à blâmer. Il est donc extrêmement difficile, voire impossible, d'évaluer l'impact du système sur les résultats de la justice, car il existe peu de données non anecdotiques permettant de déterminer si la technologie est mauvaise.

Le mépris de la transparence est peut-être le mieux résumé par un court courriel qu'un administrateur du département de police de Frederick au Colorado, l'un des premiers clients Draft One d'Axon, a envoyé à un représentant de l'entreprise après avoir reçu une demande d'archives publiques concernant des rapports générés par l'IA.

"Nous adorons avoir de nouveaux jouets jusqu'à ce que le public en prenne connaissance", a écrit l'administrateur.


Aucune trace de qui a écrit quoi

La première question que l'on devrait se poser à propos d'un rapport de police rédigé à l'aide de Draft One est de savoir quelles parties ont été écrites par l'IA et lesquelles ont été ajoutées par l'agent. Une fois que vous aurez répondu à cette question, vous pourrez commencer à répondre à d'autres questions, telles que :

• Les agents modifient-ils et ajoutent-ils des éléments significatifs au projet de l'IA ? Ou bien approuvent-ils par réflexe les projets pour passer à autre chose le plus rapidement possible ?
• À quelle fréquence les agents trouvent-ils et corrigent-ils les erreurs commises par l'IA, et ces erreurs ont-elles un caractère systématique ?
• Si le rapport final contient des termes inappropriés ou des inventions, celles-ci ont-elles été introduites par l'AI ou par l'agent ?
• L'IA va-t-elle trop loin dans son interprétation de l'enregistrement ? Si un rapport indique que « le sujet a fait un geste menaçant », cette mention a-t-elle été ajoutée par l'agent ou l'IA a-t-elle fait une supposition factuelle sur la base de l'enregistrement ? Si un suspect utilise un argot métaphorique, l'IA le documente-t-elle littéralement ? Si un sujet dit « oui » au cours d'une conversation pour reconnaître verbalement qu'il écoute ce que dit l'agent, cela est-il interprété comme un accord ou un aveu ?

Ironiquement, Draft One ne sauvegarde pas le premier projet qu'il génère. Le système n'enregistre pas non plus les versions suivantes. Au lieu de cela, l'agent copie et colle le texte dans le rapport de police, et la version précédente, créée à l'origine par Draft One, disparaît dès que la fenêtre se ferme. Il n'existe aucun registre ou enregistrement indiquant quelles parties d'un rapport ont été rédigées par l'ordinateur et quelles parties ont été rédigées par l'agent, à l'exception des souvenirs de l'agent lui-même. Si un agent génère plusieurs fois un rapport « Draft One », il n'y a aucun moyen de savoir si l'IA interprète l'audio différemment à chaque fois.

Axon ne cache pas qu'elle ne conserve pas ces enregistrements, du moins lorsqu'elle les commercialise directement auprès des forces de l'ordre.

Voici les déclarations du chef de produit principal d'Axon pour l'IA générative : "Nous ne conservons pas le projet original, et c'est ainsi que nous l'avons conçu, car la dernière chose que nous voulons faire est de créer davantage de problèmes de divulgation pour nos clients et les bureaux de nos avocats. En gros, l'agent génère ce projet, il y apporte ses modifications, s'il le soumet à notre système d'archivage Axon, c'est le seul endroit où nous le conservons. En fait, il n'est jamais stocké dans le nuage, et vous n'avez donc pas à vous soucier des copies supplémentaires qui circulent."

Donc, Axon ne stocke délibérément pas le projet original rédigé par l'IA Gen, car "la dernière chose" qu'elle souhaite, c'est que les flics aient à fournir ces données à qui que ce soit (par exemple, un juge, un avocat de la défense ou une association de défense des libertés civiles).

Répondant à la même question, le directeur des relations stratégiques d'Axon Justice suggère que cela ne pose pas de problème, puisqu'un policier utilisant un traitement de texte ne serait pas tenu de sauvegarder chaque version d'un rapport de police au fur et à mesure qu'il le réécrit. Il s'agit bien entendu d'une erreur d'aiguillage et d'une situation qui n'a rien de comparable. Un officier utilisant un traitement de texte est un processus de pensée et un enregistrement créé par une seule partie ; le Draft One est deux processus de deux parties - Axon et l'officier. En fin de compte, il pourrait et devrait être considéré comme deux documents : la version envoyée à l'agent par Axon et la version éditée par l'agent.

L'époque où les services de police rédigeaient des rapports à l'aide de traitements de texte avait des conséquences inattendues est peut-être révolue, mais le projet « Draft One » n'a pas encore fait ses preuves. Après tout, tous les évangélistes de l'IA, y compris Axon, affirment que cette technologie change la donne. Dès lors, pourquoi une agence ne souhaiterait-elle pas conserver un dossier permettant d'établir l'exactitude de la technologie ?

Il semble également que Draft One ne se contente pas de respecter les normes établies de longue date en matière de rédaction de rapports de police, mais qu'il les modifie fondamentalement. Dans un courriel, le superviseur des archives de police du département de police de Campbell dit au personnel : "Vous remarquerez peut-être une différence significative dans le format narratif... si le bureau du procureur a des commentaires concernant les narratifs de nos rapports, veuillez m'en faire part". Il est plus que choquant qu'un service de police mette en œuvre un tel changement sans solliciter et prendre en compte l'avis des procureurs. Dans ce cas, le procureur du comté de Santa Clara avait déjà suggéré à la police d'inclure une divulgation lorsque l'Axon Draft One est utilisé dans chaque rapport, mais les ingénieurs d'Axon n'avaient pas encore finalisé la fonctionnalité au moment où elle a été déployée.

L'une des principales préoccupations, bien sûr, est que ce système crée effectivement un écran de fumée sur la véracité des rapports de police. Si un agent ment ou utilise un langage inapproprié dans un rapport de police, qui peut dire que c'est l'agent qui l'a écrit ou l'IA ? Un policier peut être sévèrement puni pour malhonnêteté officielle, mais les conséquences peuvent être plus clémentes pour un policier qui rejette la faute sur l'IA. Il est déjà arrivé que des ingénieurs découvrent un bogue qui a permis à des agents, à trois reprises au moins, de contourner les "garde-fous" censés dissuader les agents de soumettre des rapports générés par l'IA sans les avoir lus au préalable, comme Axon l'a révélé au département de police de Frederick.

Pour servir et protéger l'intérêt public, les résultats de l'IA doivent faire l'objet d'une évaluation continue et agressive, quel que soit le lieu ou le moment où ils sont utilisés. Mais Axon a délibérément rendu cette tâche difficile.

A quoi ressemble réellement la piste d'audit

Vous avez peut-être vu des articles de presse ou d'autres déclarations publiques affirmant que Draft One possède effectivement des fonctions d'audit. L'EFF a donc parcouru les manuels d'utilisation pour comprendre ce que cela signifie exactement.

La première chose à noter est que, d'après l'examen de la documentation, il ne semble pas y avoir de fonction dans le logiciel Axon qui permette aux services d'exporter une liste de tous les officiers de police qui ont utilisé Draft One. Il n'est pas non plus possible d'exporter une liste de tous les rapports créés par Draft One, à moins que le service n'ait personnalisé son processus.

C'est décevant car, sans ces informations, il est pratiquement impossible de faire la moindre analyse statistique : combien d'agents utilisent la technologie et à quelle fréquence.

D'après la documentation, il n'est possible d'exporter que deux types de journaux très basiques, le processus étant différent selon que l'agence utilise les produits Evidence ou Records/Standards. Il s'agit des deux types de journaux suivants :

1. Un journal des actions de base effectuées sur un rapport particulier. Si l'agent a demandé un rapport Draft One ou a signé la déclaration de responsabilité Draft One relative au rapport de police, cela apparaîtra ici. Mais rien de plus.
2. Un journal des activités de base d'un agent ou d'un utilisateur dans le système Axon Evidence/Records. Ce journal d'audit indique par exemple quand un agent se connecte au système, télécharge des vidéos ou accède à un élément de preuve. Les seules activités liées à Draft One qui sont suivies sont les suivantes : l'agent a exécuté une demande Draft One, a signé la déclaration de responsabilité Draft One ou a modifié les paramètres Draft One.

Cela signifie que, pour réaliser un examen complet, un évaluateur peut être amené à parcourir le système de gestion des dossiers et à rechercher chaque agent individuellement pour déterminer s'il a utilisé Draft One et à quel moment. Cela peut signifier passer au peigne fin des dizaines, des centaines ou, dans certains cas, des milliers de journaux d'utilisateurs individuels.


Un auditeur pourrait également examiner les rapports un par un pour voir lesquels impliquent Draft One, mais le nombre même de rapports générés par une agence signifie que cette méthode nécessiterait un temps considérable.

Mais les agences peuvent-elles même créer une liste des rapports de police qui ont été coécrits avec l'IA ? Cela dépend si l'agence a inclus une déclaration dans le corps du texte, telle que "Je reconnais que ce rapport a été généré à partir d'un enregistrement numérique utilisant Draft One by Axon". Si c'est le cas, un administrateur peut utiliser "Draft One" comme mot-clé de recherche pour trouver les rapports pertinents.

Les agences qui n'exigent pas cette formulation ont dit qu'elles ne pouvaient pas identifier les rapports rédigés à l'aide de Draft One. Par exemple, l'une de ces agences et l'un des clients les plus promus d'Axon, le département de police de Lafayette dans l'Indiana, a déclaré : "En ce qui concerne la demande ci-jointe, nous n'avons pas la possibilité de créer une liste des rapports créés avec Draft One. Ils ne sont pas consultables. Cette demande est maintenant close".

Entre-temps, en réponse à une demande similaire de documents publics, le bureau du shérif du comté de Palm Beach, qui exige qu'il soit indiqué au bas de chaque rapport qu'il a été rédigé par l'IA, a pu isoler plus de 3 000 rapports Draft One générés entre décembre 2024 et mars 2025.

Ils ont déclaré : "Nous sommes en mesure d'effectuer une recherche par mot clé et par période. J'ai utilisé les mots draft one et le système a généré tous les rapports draft one pour cette période".

Cependant, selon des échanges de courriels entre le département de police de Frederick au Colorado et Axon, Axon suit l'utilisation de la technologie par la police à un niveau qui n'est pas accessible au département de police lui-même. En réponse à une demande d'Alfred Ng de Politico en août 2024 concernant les rapports de police générés par Draft One, le service de police a eu du mal à isoler ces rapports.

Un représentant d'Axon a répondu : "Malheureusement, il n'y a pas de filtre pour les rapports DraftOne, il faut donc extraire la piste d'audit d'un utilisateur et rechercher les entrées Draft One. Pour fixer les attentes, ce ne sera pas très gracieux, mais ce n'était pas un scénario que nous avions prévu de rendre facile."

Mais Axon a poursuivi : "Nous suivons les rapports qui utilisent Draft One en interne, j'ai donc exporté les données". Quelques jours plus tard, Axon a fourni à Frederick un code JSON personnalisé pour extraire les données à l'avenir.

Que fait-on à propos de Draft One

L'Assemblée californienne examine actuellement le projet de loi SB 524, qui prévoit des mesures de transparence pour les rapports de police rédigés par l'IA. La loi exigerait la divulgation des informations lorsque la police utilise l'intelligence artificielle pour rédiger partiellement ou entièrement des rapports officiels, et "exigerait que la première version créée soit conservée aussi longtemps que le rapport final". Comme Draft One est conçu pour ne pas conserver la première version d'un rapport ni aucune version antérieure, il ne peut pas se conformer à ce projet de loi de bon sens et de première étape, et toute utilisation par les forces de l'ordre serait illégale.

Axon présente Draft One comme une solution à un problème dont la police se plaint depuis au moins un siècle : elle fait trop de paperasserie. Ou, du moins, qu'ils passent trop de temps à faire de la paperasserie. Les recherches actuelles sur la question de savoir si Draft One remédie à ce problème donnent des résultats mitigés, certaines agences affirmant qu'il n'y a pas d'économies en temps réel, tandis que d'autres en vantent les mérites (bien que leurs données montrent également que les résultats varient même au sein du service).

Dans le système judiciaire, la police doit privilégier la précision à la rapidité. La sécurité publique et un système juridique digne de confiance exigent la qualité plutôt que des économies de bouts de chandelle. Le gain de temps ne doit pas être le seul indicateur, ni même le plus important. C'est comme si l'on évaluait un restaurant drive-in en se basant uniquement sur la rapidité avec laquelle les plats sortent, tout en dissimulant délibérément les ingrédients et les informations nutritionnelles et en ne vérifiant pas si la cuisine est conforme aux normes d'hygiène et de sécurité.

Étant donné que cette technologie n'a pas été testée et que l'entreprise est pressée de vendre Draft One, de nombreux législateurs et procureurs locaux ont décidé d'essayer de réglementer l'utilisation du produit. L'Utah étudie actuellement un projet de loi qui rendrait obligatoire la divulgation de tous les rapports de police générés par l'IA, ce qui permettrait d'éviter l'un des principaux problèmes de transparence actuels : il est pratiquement impossible de savoir quels rapports finis ont été rédigés à partir d'un projet d'IA.

Dans le comté de King (Washington), qui comprend Seattle, le bureau du procureur a donné des instructions claires : la police ne doit pas utiliser l'IA pour rédiger des rapports de police. Leur mémo dit : "Nous ne craignons pas les progrès de la technologie, mais nous avons des inquiétudes légitimes concernant certains produits actuellement sur le marché... L'IA continue de se développer et nous avons bon espoir d'arriver dans un avenir proche à un stade où l'on pourra se fier à ces rapports. Pour l'instant, notre bureau a pris la décision de ne pas accepter les rapports de police produits avec l'aide de l'IA."

L'EFF exhorte les autres procureurs à suivre l'exemple et à exiger que la police de leur juridiction n'utilise pas ce nouveau produit d'IA, qui n'a pas de comptes à rendre et qui est intentionnellement opaque.

Voici les conclusion de l'EFF :

À propos de l'Electronic Frontier Foundation (EFF)

L'Electronic Frontier Foundation est une organisation à but non lucratif qui défend les libertés civiles dans le monde numérique. Fondée en 1990, l'EFF défend la vie privée des utilisateurs, la liberté d'expression et l'innovation par le biais de litiges, d'analyses politiques, d'activisme de terrain et de développement technologique. La mission de l'EFF est de veiller à ce que la technologie soutienne la liberté, la justice et l'innovation pour tous les peuples du monde.

Source : EFF

Et vous ?

Pensez-vous que cette étude est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

Les outils d'IA sont utilisés par la police qui « ne comprend pas comment ces technologies fonctionnent », selon une étude de l'Université d'État de Caroline du Nord

Arrêtés par l'IA : quand la police ignore les normes après les correspondances de reconnaissance faciale par l'IA. Toutes les personnes arrêtées à tort subissent d'énormes préjudices

La justice US nie avoir créé un programme de « surveillance de masse » des utilisateurs de ChatGPT en obligeant OpenAI à conserver les journaux de conversation. L'EFF estime que la police pourrait s'en servir