Un rapport de police généré par l'IA affirme qu'un policier de l'Utah s'est transformé en grenouille

L'outil d'IA aurait pu capter des bavardages en arrière-plan, selon le département

Un rapport de police généré par l'IA affirme qu'un policier de l'Utah s'est transformé en grenouille, l'outil d'IA aurait pu capter des bavardages en arrière-plan, selon le département

Un rapport de police généré par l'IA affirme qu'un policier s'est transformé en grenouille, le département publie une clarification. Selon le sergent Rick Keel, l'outil d'IA aurait pu capter des bavardages en arrière-plan sans rapport avec l'affaire pour inventer cette tournure mythique au rapport. Keel faisait référence à la comédie musicale de Disney de 2009, La Princesse et la Grenouille, qui a conduit à l'erreur du système d'IA.

Depuis 2022, le terme « hallucination » est devenu le mot-clé qui résume les limites de l’IA générative. Derrière ce vocabulaire presque rassurant, se cache une réalité beaucoup plus problématique : les modèles de langage inventent des faits, produisent de fausses citations, ou bâtissent des raisonnements qui semblent logiques mais qui s’effondrent à la moindre vérification. Le dernier papier scientifique d’OpenAI, Why Language Models Hallucinate, acte une vérité dérangeante : les « hallucinations » des modèles de langage ne sont pas une anomalie, mais une conséquence incontournable de leur conception. L’objectif n’est pas d’atteindre la vérité factuelle, mais de maximiser la vraisemblance statistique. Autrement dit, la fluidité du discours est un produit d’optimisation, pas la véracité.


Dans une tournure comique des événements, le département de police de Heber City, dans l'Utah, a été contraint d'expliquer pourquoi l'un des rapports de police déclarait qu'un policier s'était transformé en grenouille. Depuis l'essor de l'intelligence artificielle (IA), les services chargés de l'application de la loi aux États-Unis ont adopté des outils pour de nombreuses applications, allant de la rédaction de rapports de police à la reconnaissance faciale. Mais dans ce cas, l'utilisation de l'IA semble avoir eu l'effet inverse de celui escompté.

Selon le sergent Rick Keel, l'outil d'IA aurait pu capter des bavardages en arrière-plan sans rapport avec l'affaire pour inventer cette tournure mythique au rapport. Keel faisait référence à la comédie musicale de Disney de 2009, La Princesse et la Grenouille, qui a conduit à l'erreur du système d'IA. « Le logiciel de la caméra corporelle et le logiciel de rédaction de rapports basé sur l'IA ont capté le film qui passait en arrière-plan, qui se trouvait être La Princesse et la Grenouille », a déclaré Keel. « C'est là que nous avons compris l'importance de corriger ces rapports générés par l'IA. »

Le département de police de l'Utah a testé deux logiciels basés sur l'IA, Draft One et Code Four, pour générer automatiquement des rapports de police. L'objectif est de réduire la quantité de paperasse et le temps que les agents doivent consacrer à la rédaction des rapports. Le service de police de Heber City n'a pas encore décidé s'il continuerait à utiliser les outils d'IA, mais Keel a déclaré que l'utilisation de ces outils lui permettait de gagner du temps. « Je gagne environ 6 à 8 heures par semaine », a déclaré Keel. « Je ne suis pas très doué en technologie, donc c'est très facile à utiliser. »

Bien que certains craignent que l'IA ne remplace les emplois humains, il semble que cette dystopie ne soit pas aussi proche que certains pourraient l'imaginer. En septembre dernier, un rapport a souligné que des humains étaient désormais embauchés en grand nombre pour rendre l'IA moins approximative, créant ainsi un domaine d'emploi inattendu. Ce rapport s'inscrit dans le contexte d'une étude du Massachusetts Institute of Technology (MIT) soulignant que 95 % des organisations ayant mis en place des systèmes d'IA n'obtenaient aucun retour sur investissement.

« Malgré 30 à 40 milliards de dollars d'investissements des entreprises dans l'IA générative, ce rapport révèle un résultat surprenant : 95 % des organisations n'obtiennent aucun retour sur investissement », indique le rapport intitulé « The GenAI Divide: State of AI in Business 2025 » Les outils d'IA tels que ChatGPT et Copilot font partie des modèles les plus adoptés, mais seuls 5 % des projets pilotes d'IA intégrés génèrent des millions de dollars de valeur, tandis que la grande majorité reste bloquée sans impact mesurable sur les profits et les pertes.

En 2024, une étude avait déjà révélé que les hallucinations de grands modèles de langage (LLM) découlent de leurs structures mathématiques et logiques fondamentales. L'étude soutient que les hallucinations dans les modèles de langage ne sont pas seulement des erreurs occasionnelles mais une caractéristique inévitable de ces systèmes. Il est donc impossible de les éliminer par des améliorations architecturales, des améliorations des ensembles de données ou des mécanismes de vérification des faits. En augmentant la complexité et la capacité des modèles, il est possible de réduire la fréquence de ces hallucinations, mais les chercheurs sont convaincus qu'on ne pourra jamais les éliminer complètement et que nous devons nous en accommoder.

Et vous ?

Pensez-vous que cette justification est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

Les experts techniques commencent à douter que les « hallucinations » de ChatGPT disparaîtront un jour : « Ce n'est pas réparable ». Pour eux, les LLM vont continuer d'inventer des faits

Quand l'IA menace l'intégrité de la justice : les policiers américains utilisent l'IA pour rédiger des rapports de police et l'ACLU n'est pas contente, elle soulève des risques en matière de transparence

Les outils d'IA sont utilisés par la police qui « ne comprend pas comment ces technologies fonctionnent », selon une étude de l'Université d'État de Caroline du Nord