L'Electronic Frontier Foundation a publié une vaste enquête sur les rapports de police générés par l'IA qui, selon le groupe, sont, de par leur conception, presque impossibles à vérifier et pourraient permettre aux policiers de mentir sous serment plus facilement. L'EFF a constaté que la technologie "semble conçue pour paralyser toute tentative d'audit, de transparence et de responsabilité". Les policiers ne sont pas tenus de divulguer l'utilisation de l'IA dans chaque service, et Draft One n'enregistre pas les brouillons et ne conserve pas d'archives indiquant quelles parties des rapports sont générées par l'IA.Axon Enterprise (anciennement TASER International) est une société américaine basée à Scottsdale, en Arizona, qui développe des technologies et des produits d'armement pour les militaires, les forces de l'ordre et les civils. Son premier produit et son ancien nom est le Taser, une gamme d'armes à électrochocs. L'entreprise s'est depuis diversifiée dans les produits technologiques destinés aux militaires et aux forces de l'ordre, notamment les caméras portées sur le corps, les caméras de surveillance, les logiciels de répartition assistée par ordinateur et Evidence.com, une plateforme de preuves numériques basée sur le cloud. En 2017, les caméras portées sur le corps et les services associés représentaient un quart de l'activité globale d'Axon.
Les policiers américains font de plus en plus appel à l'intelligence artificielle pour les aider dans leur travail, qu'il s'agisse de modèles d'intelligence artificielle qui analysent les schémas criminels ou de drones capables de voler tout seuls. Désormais, une IA basée sur GPT-4 peut effectuer l'une de leurs tâches les moins attrayantes : la rédaction de rapports. Axon affirme que son intelligence artificielle permettra à un plus grand nombre de policiers de quitter le bureau et de se rendre dans les rues. Les détracteurs sont pour leur part d’avis que le système est susceptible de rendre les policiers paresseux et d’introduire des erreurs dans des preuves cruciales.
Récemment, un groupe de défense des droits numériques, l'Electronic Frontier Foundation, a publié une vaste enquête sur les rapports de police générés par l'IA qui, selon le groupe, sont, de par leur conception, presque impossibles à vérifier et pourraient permettre aux policiers de mentir sous serment plus facilement.
Draft One d'Axon a fait ses débuts l'été dernier dans un service de police du Colorado, soulevant instantanément des questions sur les effets négatifs redoutés des rapports de police rédigés par l'IA sur le système de justice pénale. L'outil s'appuie sur une variante de ChatGPT pour générer des rapports de police basés sur les enregistrements des caméras corporelles, que les policiers sont ensuite censés modifier pour corriger les erreurs, évaluer les résultats de l'IA pour détecter les biais ou ajouter des éléments contextuels essentiels.
Mais l'EFF a constaté que la technologie "semble conçue pour paralyser toute tentative d'audit, de transparence et de responsabilité". Les policiers ne sont pas tenus de divulguer l'utilisation de l'IA dans chaque service, et Draft One n'enregistre pas les brouillons et ne conserve pas d'archives indiquant quelles parties des rapports sont générées par l'IA. Les services ne conservent pas non plus les différentes versions des projets, ce qui rend difficile l'évaluation de la comparaison d'une version d'un rapport d'IA avec une autre, afin d'aider le public à déterminer si la technologie est "bidon", a déclaré l'EFF. Cela soulève la question suivante : "Pourquoi une agence ne voudrait-elle pas conserver un dossier permettant d'établir l'exactitude de la technologie ?
Pour rappel, en décembre 2024, le groupe de défense de défense des droits de l'homme ACLU avait déjà publié un rapport détaillant ses préoccupations concernant Draft One. Le groupe avait dénoncé un cas d'utilisation dangereux de l'outil et affirmait que "les rapports de police générés par l'IA risquent d'exacerber les problèmes existants en matière d'application de la loi et d'en créer de nouveaux". L'organisation avait ajouté que cette pratique soulève des inquiétudes en matière de transparence et de partialité.
Voici un résumé du rapport de l'EFF :
Draft One d'Axon est conçu pour défier la transparence
Draft One d'Axon Enterprise - un produit d'intelligence artificielle générative qui rédige des rapports de police à partir de l'audio des caméras corporelles des officiers - semble délibérément conçu pour éviter les audits qui pourraient rendre des comptes au public, selon une enquête de l'EFF.
L'examen des archives publiques des services de police qui utilisent déjà la technologie - y compris les rapports de police, les courriels, les documents d'approvisionnement, les politiques du service, les paramètres du logiciel, etc. - ainsi que les manuels d'utilisation et les documents de marketing d'Axon ont révélé qu'il est souvent impossible de dire quelles parties d'un rapport de police ont été générées par l'IA et quelles parties ont été rédigées par un agent.
Tout le monde devrait avoir accès aux réponses, aux preuves et aux données concernant l'efficacité et les dangers de cette technologie. Axon et ses clients affirment que cette technologie va révolutionner les services de police, mais il reste à voir comment elle modifiera le système de justice pénale et à qui elle profitera le plus.
Depuis des mois, l'EFF et d'autres organisations mettent en garde contre les menaces que cette technologie fait peser sur la responsabilité et la transparence d'un système de justice pénale déjà défectueux. Le nouveau rapport de l'EFF conclu que la situation est encore pire : Il n'existe aucun moyen valable d'auditer l'utilisation de Draft One, que l'on soit chef de police ou chercheur indépendant, car Axon l'a conçu de cette manière.
Draft One utilise une variante de ChatGPT pour traiter les enregistrements audio des caméras corporelles lors de rencontres publiques et créer des rapports de police basés uniquement sur le dialogue verbal capturé ; il ne traite pas la vidéo. Le texte généré par Draft One est parsemé d'espaces réservés entre crochets que les agents sont encouragés à utiliser pour ajouter des observations ou des informations supplémentaires - ou qui peuvent être rapidement supprimées. Les agents sont censés éditer le rapport de Draft One et corriger tout ce que le Gen AI a mal compris en raison d'un manque de contexte, de traductions erronées ou de simples erreurs. Lorsqu'il a terminé, l'agent est invité à signer un document attestant que le rapport a été généré à l'aide de Draft One, qu'il l'a examiné et qu'il y a apporté les modifications nécessaires pour s'assurer qu'il est conforme à ses souvenirs. Il peut ensuite copier et coller le texte dans son rapport. Lorsqu'il ferme la fenêtre, le projet disparaît.
Toute technologie nouvelle, non testée et problématique nécessite un processus solide d'évaluation de son utilisation par les agents. Dans le cas présent, on peut s'attendre à ce que les services de police conservent des données garantissant que les agents modifient effectivement les rapports générés par l'IA, comme cela est exigé, ou que les agents puissent répondre avec précision si un juge demande si les rapports utilisés par l'accusation ont été rédigés par l'IA, ou quelle partie de ces rapports a été rédigée par l'IA.
On peut s'attendre à ce que les systèmes d'audit soient facilement accessibles aux superviseurs de la police, aux chercheurs et au public, afin que chacun puisse tirer ses propres conclusions en toute indépendance. Et l'on s'attendrait à ce que Draft One permette de distinguer facilement le produit de l'IA du produit humain - après tout, même votre logiciel de traitement de texte gratuit de base peut suivre les modifications et enregistrer l'historique d'un document.
Mais Draft One défie toutes ces attentes, en offrant de maigres fonctions de contrôle qui dissimulent délibérément la manière dont il est utilisé.
Ainsi, lorsqu'un rapport de police contient des propos tendancieux, des inexactitudes, des interprétations erronées, voire des mensonges purs et simples, le dossier n'indique pas si c'est l'agent ou l'IA qui est à blâmer. Il est donc extrêmement difficile, voire impossible, d'évaluer l'impact du système sur les résultats de la justice, car il existe peu de données non anecdotiques permettant de déterminer si la technologie est mauvaise.
Le mépris de la transparence est peut-être le mieux résumé par un court courriel qu'un administrateur du département de police de Frederick au Colorado, l'un des premiers clients Draft One d'Axon, a envoyé à un représentant de l'entreprise après avoir reçu une demande d'archives publiques concernant des rapports générés par l'IA.
"Nous adorons avoir de nouveaux jouets jusqu'à ce que le public en prenne connaissance", a écrit l'administrateur.
Aucune trace de qui a écrit quoi
La première question que l'on devrait se poser à propos d'un rapport de police rédigé à l'aide de Draft One est de savoir quelles parties ont été écrites par l'IA et lesquelles ont été ajoutées par l'agent. Une fois que vous aurez répondu à cette question, vous pourrez commencer à répondre à d'autres questions, telles que :
- Les agents modifient-ils et ajoutent-ils des éléments significatifs au projet de l'IA ? Ou bien approuvent-ils par réflexe les projets pour passer à autre chose le plus rapidement possible ?
- À quelle fréquence les agents trouvent-ils et corrigent-ils les erreurs commises par l'IA, et ces erreurs ont-elles un caractère systématique ?
- Si le rapport final contient des termes inappropriés ou des inventions, celles-ci ont-elles été introduites par l'AI ou par l'agent ?
- L'IA va-t-elle trop loin dans son interprétation de l'enregistrement ? Si un rapport indique que « le sujet a fait un geste menaçant », cette mention a-t-elle été ajoutée par l'agent ou l'IA a-t-elle fait une supposition factuelle sur la base de l'enregistrement ? Si un suspect utilise un argot métaphorique, l'IA le documente-t-elle littéralement ? Si un sujet dit...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
