Les synthèses d'actualités faites par l'IA introduisent souvent des distorsions, selon une enquête de la BBC

Qui estime que « les entreprises qui développent l'IA générative jouent avec le feu »

Une étude récente menée par la BBC a révélé que les chatbots d'intelligence artificielle (IA) peinent à fournir des résumés précis des actualités, introduisant souvent des inexactitudes et des distorsions. L'analyse a porté sur quatre principaux assistants IA : ChatGPT d'OpenAI, Copilot de Microsoft, Gemini de Google et Perplexity. Les résultats indiquent que plus de la moitié des réponses générées par ces IA présentaient des problèmes significatifs.

Apple Intelligence est une suite d'outils d'IA développée par Apple, intégrée directement dans les appareils tels que l'iPhone, l'iPad et le Mac. Annoncée en juin 2024 lors de l'événement WWDC d'Apple, Apple Intelligence vise à améliorer l'expérience utilisateur en facilitant l'accomplissement de diverses tâches, tout en établissant de nouvelles normes en matière de confidentialité dans le domaine de l'IA. Apple a vanté sa fonction comme « la meilleure de l'industrie ».

Mais Apple Intelligence commence à avoir mauvaise presse quelques mois seulement après son lancement officiel. La fonction a notamment tendance à partager allègrement des intox. La situation est devenue suffisamment grave pour que les principaux organes de presse se plaignent de la manière dont les titres induisent les lecteurs en erreur et demandent à Apple de corriger ou de supprimer sa fonction avant qu'elle ne les mette encore plus dans l'embarras.

Il y a eu quelques exemples particulièrement marquants depuis qu'Apple a lancé cette fonctionnalité. En décembre 2024, Apple Intelligence a rédigé un titre pour un article de la BBC sur Luigi Mangione, le meurtrier présumé du PDG de UnitedHealthcare, Brian Thompson, affirmant que Luigi Mangione s'était tiré une balle. Ce détail a été entièrement inventé par Apple Intelligence. La BBC n'était pas ravie d'être blâmée pour quelque chose qu'elle n'avait pas écrit.

Luigi Mangione est vivant et détenu dans une prison de Brooklyn. De fausses alertes ont de nouveau été émises récemment, lorsque la fonction d'IA d'Apple a résumé des actualités de la BBC pour affirmer à tort que le tennisman Rafael Nadal avait révélé son homosexualité. Les résumés générés par Apple Intelligence ont également affirmé que Luke Littler avait remporté le Championnat du monde de fléchettes PDC quelques heures avant le début de la compétition.

Apple a d'abord promis des modifications logicielles pour « clarifier davantage » lorsque le contenu affiché est un résumé fourni par Apple Intelligence, puis a temporairement désactivé les résumés d'actualités et de divertissements. Ces résumés ne sont toujours pas actifs dans la version 18.3 d'iOS, publiée au cours de la dernière semaine de janvier.

Mais Apple Intelligence est loin d'être le seul service d'IA générative capable de faire des résumés d'actualité, et l'épisode a manifestement donné à la BBC matière à réflexion.


51 % de toutes les réponses de l'IA à des questions sur l'actualité ont été jugées comme présentant des problèmes importants sous une forme ou une autre

Les chercheurs ont demandé aux quatre outils d'IA générative de répondre à 100 questions en utilisant des articles de la BBC comme source. Les réponses ont ensuite été évaluées par des journalistes de la BBC spécialisés dans les domaines concernés :

« L'IA apportera une réelle valeur ajoutée lorsqu'elle sera utilisée de manière responsable. Mais l'IA pose également des défis importants aux publics et à l'écosystème de l'information au Royaume-Uni.

« Les assistants d'IA tels que ceux d'OpenAI, de Google et de Microsoft constituent un élément clé du paysage émergent. Les assistants d'IA sont compétents pour de nombreuses tâches, notamment la rédaction de courriels et de documents, l'analyse de données et la synthèse d'informations. Ils peuvent également répondre à des questions sur l'actualité. Pour ce faire, ils reprennent en partie le contenu des sites web des éditeurs, souvent sans l'autorisation de ces derniers.

« Pour mieux comprendre les résultats des assistants d'intelligence artificielle en matière d'actualités, nous avons entrepris des recherches sur quatre assistants d'intelligence artificielle de premier plan accessibles au public : ChatGPT d'OpenAI, Copilot de Microsoft, Gemini de Google et Perplexity. Nous voulions savoir s'ils fournissaient des réponses précises à des questions sur l'actualité et si leurs réponses représentaient fidèlement les articles de la BBC utilisés comme sources.

« Nous avons donné aux assistants IA l'accès à notre site web pendant la durée de l'étude et leur avons posé des questions sur l'actualité, en les incitant à utiliser les articles de BBC News comme sources lorsque cela était possible. Les réponses de l'IA ont été examinées par des journalistes de la BBC, tous experts dans le domaine concerné, sur la base de critères tels que l'exactitude, l'impartialité et la manière dont elles représentaient le contenu de la BBC ».

Les réponses produites par les assistants d'intelligence artificielle contenaient des inexactitudes importantes et déformaient le contenu de la BBC. En particulier :

• 51 % de toutes les réponses de l'IA à des questions sur l'actualité ont été jugées comme présentant des problèmes importants sous une forme ou une autre.
• 19 % des réponses de l'IA qui citaient le contenu de la BBC comportaient des erreurs factuelles - déclarations factuelles, chiffres et dates incorrects.
• 13% des citations tirées d'articles de la BBC étaient soit modifiées par rapport à la source originale, soit absentes de l'article cité.

Mais quel chatbot a obtenu les pires résultats ?

« 34 % des réponses de Gemini, 27 % de celles de Copilot, 17 % de celles de Perplexity et 15 % de celles de ChatGPT ont été jugées comme présentant des problèmes importants dans la manière dont elles représentaient le contenu de la BBC utilisé comme source », a rapporté la BBC. « Les problèmes les plus fréquents concernaient les inexactitudes factuelles, les sources d'information et l'absence de contexte.

Les erreurs consistaient notamment à affirmer que Rishi Sunak était toujours le premier ministre et que Nicola Sturgeon était toujours la première ministre écossaise, à déformer les conseils du NHS en matière de vapotage et à confondre des opinions et des documents d'archives avec des faits récents.

En réponse à une question sur l'innocence de l'infirmière néonatale condamnée Lucy Letby, Gemini a répondu : « C'est à chacun de décider s'il pense que Lucy Letby est innocente ou coupable ». Le contexte des condamnations judiciaires de Lucy Letby pour meurtre et tentative de meurtre a été omis dans la réponse, selon l'étude.

Parmi les autres distorsions mises en évidence dans le rapport, qui s'appuie sur des sources exactes de la BBC, on peut citer

• Copilot de Microsoft a faussement déclaré que la victime de viol française Gisèle Pelicot a découvert les crimes commis contre elle lorsqu'elle a commencé à avoir des trous de mémoire et des pertes de mémoire, alors qu'en fait elle a découvert les crimes lorsque la police lui a montré les vidéos qu'elle avait confisquées sur les appareils de son mari.
• ChatGPT a affirmé qu'Ismail Haniyeh faisait partie de la direction du Hamas quelques mois après son assassinat en Iran. Il a également affirmé à tort que Sunak et Sturgeon étaient toujours en fonction.
• Gemini a déclaré à tort : « Le NHS conseille aux gens de ne pas commencer à vapoter et recommande aux fumeurs qui veulent arrêter de fumer d'utiliser d'autres méthodes ».
• Perplexity a indiqué à tort la date du décès du présentateur de télévision Michael Mosley et a mal cité une déclaration de la famille du chanteur des One Direction, Liam Payne, après sa mort.

Directrice générale de l'information à la BBC : « les entreprises qui développent l'IA générative jouent avec le feu »

Ces résultats ont incité Deborah Turness, directrice générale de l'information à la BBC, à mettre en garde contre le fait que « les outils d'intelligence artificielle jouent avec le feu » et menacent d'ébranler la « foi fragile du public dans les faits ».

Dans un billet de blog consacré à la recherche, Deborah Turness se demande si l'IA est prête « à dépouiller et à servir des informations sans déformer et contorsionner les faits ». Elle a également exhorté les sociétés d'IA à collaborer avec la BBC pour produire des réponses plus précises « plutôt que d'ajouter au chaos et à la confusion ».

« Désinformation. Aujourd'hui, nous sommes tous conscients de ses effets polarisants et de ses conséquences dans le monde réel.

« Mais combien d'entre nous sont conscients de la menace nouvelle et croissante que l'explosion de l'IA générative fait peser sur les informations fiables ?

« Je veux parler de la "distorsion". La distorsion est ce qui se produit lorsqu'un assistant d'IA "récupère" des informations pour répondre à une question et fournit une réponse qui est factuellement incorrecte, trompeuse et potentiellement dangereuse.

« Ne vous méprenez pas : l'IA est l'avenir et offre des possibilités infinies. Ici, à BBC News, nous allons déjà de l'avant avec des outils d'IA qui nous aideront à fournir un journalisme plus fiable à plus de consommateurs dans plus de formats - et sur des plateformes où ils en ont besoin. Et nous sommes en pourparlers avec des entreprises technologiques au sujet de nouvelles applications de l'IA qui pourraient encore améliorer notre production.

« Mais le prix à payer pour les avantages extraordinaires de l'IA ne doit pas être un monde où les personnes en quête de réponses se voient proposer des contenus déformés et défectueux qui se présentent comme des faits. Dans un monde qui peut sembler chaotique, il n'est certainement pas normal que les consommateurs en quête de clarté se heurtent à une confusion encore plus grande.

« Il n'est pas difficile de voir à quelle vitesse la distorsion par l'IA pourrait ébranler la foi déjà fragile des gens dans les faits et les informations vérifiées.

« Nous vivons une époque troublée, et combien de temps faudra-t-il avant qu'un titre déformé par l'IA ne cause un préjudice important dans le monde réel ? Les entreprises qui développent des outils d'IA générative jouent avec le feu.

« C'est pourquoi la BBC souhaite ouvrir un nouveau dialogue avec les fournisseurs de technologies d'IA et d'autres grandes marques d'information afin que nous puissions travailler ensemble en partenariat pour trouver des solutions ».

Source : BBC

Et vous ?

Pensez-vous que les erreurs des IA dans la synthèse des actualités sont un problème temporaire ou une limite structurelle de ces modèles ?

À quel point est-il acceptable que des résumés générés par IA contiennent des inexactitudes ? Peut-on tolérer un certain taux d’erreur ?

Selon vous, les entreprises technologiques devraient-elles être légalement tenues responsables des erreurs de leurs IA en matière d’information ?

La prolifération de résumés IA modifie-t-elle notre manière de consommer l’information ? Risquons-nous de nous fier aveuglément à ces outils ?

Les médias traditionnels doivent-ils coopérer avec les entreprises d’IA ou, au contraire, les combattre pour protéger l’intégrité de l’information ?

L’IA risque-t-elle de rendre les journalistes moins nécessaires, ou au contraire, leur rôle devient-il encore plus crucial pour vérifier et corriger les erreurs de l’IA ?