Deloitte remboursera le gouvernement australien pour un rapport de 440 000 $ australiens truffé d'hallucinations générées par l'IA, le cabinet de conseil ayant admis avoir utilisé GPT-4o

Deloitte remboursera le gouvernement australien pour un rapport de 440 000 $ australiens truffé d'hallucinations générées par l'IA, le cabinet de conseil ayant admis avoir utilisé GPT-4o

Deloitte Australie remboursera partiellement les 440 000 dollars australiens (290 000 dollars américains) versés par le gouvernement australien pour un rapport truffé d'erreurs apparentes générées par l'IA, notamment une citation fabriquée à partir d'un jugement d'un tribunal fédéral et des références à des articles de recherche universitaire inexistants. Invité à commenter les inexactitudes du rapport, Deloitte a déclaré dans un communiqué que « la question avait été résolue directement avec le client ». Deloitte n'a pas répondu lorsqu'on lui a demandé si les erreurs avaient été générées par l'IA.

Deloitte est un réseau multinational britannique de services professionnels basé à Londres, au Royaume-Uni. Deloitte fournit des services d'audit, de conseil, de conseil financier, de conseil en matière de risques, de fiscalité et de services juridiques. Elle compte environ 460 000 employés dans le monde et est présente dans plus de 150 pays. Au cours de l'exercice 2024, le réseau a réalisé un chiffre d'affaires total de 67,2 milliards de dollars américains. Le cabinet a parrainé un certain nombre d'activités et d'événements, notamment les Jeux olympiques d'été de 2012.

Début 2024, Deloitte a déployé auprès de 75 000 membres de son personnel l’intelligence artificielle générative pour les aider à effectuer des tâches de base avec plus de célérité. Le personnel ayant accès au chatbot IA PairD de Deloitte peut l'utiliser pour créer des présentations dans PowerPoint, ainsi que pour écrire des courriels et du code informatique. Le codage informatique fait partie des domaines cibles de cette initiative. La manœuvre s’inscrit dans l’adoption des outils d’automatisation par les grands noms de la comptabilité.

Pourtant, un rapport a révélé les failles de cette adoption massive de l'IA. En effet, Deloitte Australie remboursera partiellement les 440 000 dollars australiens (290 000 dollars américains) versés par le gouvernement australien pour un rapport truffé d'erreurs apparentes générées par l'IA, notamment une citation fabriquée à partir d'un jugement d'un tribunal fédéral et des références à des articles de recherche universitaire inexistants.

Le rapport de la société de services financiers au ministère de l'Emploi et des Relations professionnelles a été initialement publié sur le site web du ministère en juillet. Une version révisée a été publiée récemment après que Chris Rudge, chercheur en droit de la santé et du bien-être à l'université de Sydney, ait alerté les médias en déclarant que le rapport était « truffé de références inventées ».

Deloitte a examiné le rapport de 237 pages et « confirmé que certaines notes de bas de page et références étaient incorrectes », a déclaré le ministère dans un communiqué. « Deloitte a accepté de rembourser la dernière tranche prévue dans son contrat », a déclaré le ministère. Le montant sera rendu public après le remboursement. Invité à commenter les inexactitudes du rapport, Deloitte a déclaré dans un communiqué que « la question avait été résolue directement avec le client ». Deloitte n'a pas répondu lorsqu'on lui a demandé si les erreurs avaient été générées par l'IA. La tendance des systèmes d'IA générative à fabriquer des informations est connue sous le nom d'hallucination.


Le rapport examinait l'utilisation par les systèmes informatiques ministériels de sanctions automatisées dans le système de protection sociale australien. Le ministère a déclaré que le « fond » du rapport avait été conservé et qu'aucune modification n'avait été apportée à ses recommandations. La version révisée comprenait une mention indiquant qu'un système d'IA générative, Azure OpenAI, avait été utilisé pour rédiger le rapport. Les citations attribuées à un juge de la cour fédérale ont été supprimées, ainsi que les références à des rapports inexistants attribués à des experts en droit et en génie logiciel.

Rudge a déclaré avoir trouvé jusqu'à 20 erreurs dans la première version du rapport. La première erreur qui lui a sauté aux yeux indiquait à tort que Lisa Burton Crawford, professeure de droit public et constitutionnel à l'université de Sydney, avait écrit un livre inexistant dont le titre suggérait qu'il ne relevait pas de son domaine d'expertise. « J'ai immédiatement su qu'il s'agissait soit d'une hallucination de l'IA, soit du secret le mieux gardé au monde, car je n'avais jamais entendu parler de ce livre et cela me semblait absurde », a déclaré Rudge.

Les travaux de ses collègues universitaires ont été utilisés comme « gages de légitimité », cités par les auteurs du rapport mais non lus, a déclaré Rudge, ajoutant qu'il considérait que citer de manière erronée un juge était une erreur plus grave dans un rapport qui était en fait un audit de la conformité juridique du département. « Ils ont complètement déformé une affaire judiciaire, puis inventé une citation d'un juge, et je me suis dit : attendez un peu, cela va bien au-delà de l'ego des universitaires. Il s'agit ici de déformer la loi dans un rapport auquel se fie le gouvernement australien. J'ai donc pensé qu'il était important de défendre la diligence », a déclaré Rudge.

La sénatrice Barbara Pocock, porte-parole du parti australien des Verts pour le secteur public, a déclaré que Deloitte devrait rembourser la totalité des 440 000 dollars australiens (290 000 dollars américains). Deloitte « a fait un usage abusif de l'IA et l'a utilisée de manière très inappropriée : il a mal cité un juge, utilisé des références inexistantes », a déclaré Pocock à l'Australian Broadcasting Corp. « Je veux dire, le genre de choses qui mettraient un étudiant de première année à l'université dans une situation très délicate. »

Source : Rapport pour le ministère de l'Emploi et des Relations professionnelles

Et vous ?

Pensez-vous que ce rapport est crédible ou pertinent ?
Quel est votre avis sur le sujet ?

Voir aussi :

L'IA s'attaque aux consultants, car les agents IA peuvent désormais faire le travail des consultants juniors, selon McKinsey

L'IA et l'automatisation pourraient supprimer près de 100 millions d'emplois aux États-Unis au cours de la prochaine décennie, selon un rapport controversé des démocrates du Sénat réalisé à l'aide de ChatGPT

Les LLM IA auront toujours des hallucinations, et nous devons nous en accommoder, car les hallucinations découlent de la structure mathématique et logique fondamentale des LLM, selon une étude