Les synthèses d'actualités faites par l'IA introduisent souvent des distorsions, selon une enquête de la BBC

Qui estime que « les entreprises qui développent l'IA générative jouent avec le feu »

Une étude récente menée par la BBC a révélé que les chatbots d'intelligence artificielle (IA) peinent à fournir des résumés précis des actualités, introduisant souvent des inexactitudes et des distorsions. L'analyse a porté sur quatre principaux assistants IA : ChatGPT d'OpenAI, Copilot de Microsoft, Gemini de Google et Perplexity. Les résultats indiquent que plus de la moitié des réponses générées par ces IA présentaient des problèmes significatifs.

Apple Intelligence est une suite d'outils d'IA développée par Apple, intégrée directement dans les appareils tels que l'iPhone, l'iPad et le Mac. Annoncée en juin 2024 lors de l'événement WWDC d'Apple, Apple Intelligence vise à améliorer l'expérience utilisateur en facilitant l'accomplissement de diverses tâches, tout en établissant de nouvelles normes en matière de confidentialité dans le domaine de l'IA. Apple a vanté sa fonction comme « la meilleure de l'industrie ».

Mais Apple Intelligence commence à avoir mauvaise presse quelques mois seulement après son lancement officiel. La fonction a notamment tendance à partager allègrement des intox. La situation est devenue suffisamment grave pour que les principaux organes de presse se plaignent de la manière dont les titres induisent les lecteurs en erreur et demandent à Apple de corriger ou de supprimer sa fonction avant qu'elle ne les mette encore plus dans l'embarras.

Il y a eu quelques exemples particulièrement marquants depuis qu'Apple a lancé cette fonctionnalité. En décembre 2024, Apple Intelligence a rédigé un titre pour un article de la BBC sur Luigi Mangione, le meurtrier présumé du PDG de UnitedHealthcare, Brian Thompson, affirmant que Luigi Mangione s'était tiré une balle. Ce détail a été entièrement inventé par Apple Intelligence. La BBC n'était pas ravie d'être blâmée pour quelque chose qu'elle n'avait pas écrit.

Luigi Mangione est vivant et détenu dans une prison de Brooklyn. De fausses alertes ont de nouveau été émises récemment, lorsque la fonction d'IA d'Apple a résumé des actualités de la BBC pour affirmer à tort que le tennisman Rafael Nadal avait révélé son homosexualité. Les résumés générés par Apple Intelligence ont également affirmé que Luke Littler avait remporté le Championnat du monde de fléchettes PDC quelques heures avant le début de la compétition.

Apple a d'abord promis des modifications logicielles pour « clarifier davantage » lorsque le contenu affiché est un résumé fourni par Apple Intelligence, puis a temporairement désactivé les résumés d'actualités et de divertissements. Ces résumés ne sont toujours pas actifs dans la version 18.3 d'iOS, publiée au cours de la dernière semaine de janvier.

Mais Apple Intelligence est loin d'être le seul service d'IA générative capable de faire des résumés d'actualité, et l'épisode a manifestement donné à la BBC matière à réflexion.


51 % de toutes les réponses de l'IA à des questions sur l'actualité ont été jugées comme présentant des problèmes importants sous une forme ou une autre

Les chercheurs ont demandé aux quatre outils d'IA générative de répondre à 100 questions en utilisant des articles de la BBC comme source. Les réponses ont ensuite été évaluées par des journalistes de la BBC spécialisés dans les domaines concernés :

« L'IA apportera une réelle valeur ajoutée lorsqu'elle sera utilisée de manière responsable. Mais l'IA pose également des défis importants aux publics et à l'écosystème de l'information au Royaume-Uni.

« Les assistants d'IA tels que ceux d'OpenAI, de Google et de Microsoft constituent un élément clé du paysage émergent. Les assistants d'IA sont compétents pour de nombreuses tâches, notamment la rédaction de courriels et de documents, l'analyse de données et la synthèse d'informations. Ils peuvent également répondre à des questions sur l'actualité. Pour ce faire, ils reprennent en partie le contenu des sites web des éditeurs, souvent sans l'autorisation de ces derniers.

« Pour mieux comprendre les résultats des assistants d'intelligence artificielle en matière d'actualités, nous avons entrepris des recherches sur quatre assistants d'intelligence artificielle de premier plan accessibles au public : ChatGPT d'OpenAI, Copilot de Microsoft, Gemini de Google et Perplexity. Nous voulions savoir s'ils fournissaient des réponses précises à des questions sur l'actualité et si leurs réponses représentaient fidèlement les articles de la BBC utilisés comme sources.

« Nous avons donné aux assistants IA l'accès à notre site web pendant la durée de l'étude et leur avons posé des questions sur l'actualité, en les incitant à utiliser les articles de BBC News comme sources lorsque cela était possible. Les réponses de l'IA ont été examinées par des journalistes de la BBC, tous experts dans le domaine concerné, sur la base de critères tels que l'exactitude, l'impartialité et la manière dont elles représentaient le contenu de la BBC ».

Les réponses produites par les assistants d'intelligence artificielle contenaient des inexactitudes importantes et déformaient le contenu de la BBC. En particulier :

• 51 % de toutes les réponses de l'IA à des questions sur l'actualité ont été jugées comme présentant des problèmes importants sous une forme ou une autre.
• 19 % des réponses de l'IA qui citaient le contenu de la BBC comportaient des erreurs factuelles - déclarations factuelles, chiffres et dates incorrects.
• 13% des citations tirées d'articles de la BBC étaient soit modifiées par rapport à la source originale, soit absentes de l'article cité.

Mais quel chatbot a obtenu les pires résultats ?

« 34 % des réponses de Gemini, 27 % de celles de Copilot, 17 % de celles de Perplexity et 15 % de celles de ChatGPT ont été jugées comme présentant des problèmes importants dans la manière dont elles représentaient le contenu de la BBC utilisé comme source », a rapporté la BBC. « Les problèmes les plus fréquents concernaient les inexactitudes factuelles, les sources d'information et l'absence de contexte.

Les erreurs consistaient notamment à affirmer que Rishi Sunak était toujours le premier ministre et que Nicola Sturgeon était toujours la première ministre écossaise, à déformer les conseils du NHS en matière de vapotage et à confondre des opinions et des documents d'archives avec des faits récents.

En réponse à une question sur l'innocence de l'infirmière néonatale condamnée Lucy Letby, Gemini a répondu : « C'est à chacun de décider s'il pense que Lucy Letby est innocente ou coupable ». Le contexte des condamnations judiciaires de Lucy Letby pour meurtre et tentative de meurtre a été omis dans la réponse, selon l'étude.

Parmi les autres distorsions mises en évidence dans le rapport, qui s'appuie sur des sources exactes de la BBC, on peut citer

• Copilot de Microsoft a faussement déclaré que la victime de viol française Gisèle Pelicot a découvert les crimes commis contre elle lorsqu'elle a commencé à avoir des trous de mémoire et des pertes de mémoire, alors qu'en fait elle a découvert les crimes lorsque la police lui a montré les vidéos qu'elle avait confisquées sur les appareils de son mari.
• ChatGPT a affirmé qu'Ismail Haniyeh faisait partie de la direction du Hamas quelques mois après son assassinat en Iran. Il a également affirmé à tort que Sunak et Sturgeon étaient toujours en fonction.
• Gemini a déclaré à tort : « Le NHS conseille aux gens de ne pas commencer à vapoter et recommande aux fumeurs qui veulent arrêter de fumer d'utiliser d'autres méthodes ».
• Perplexity a indiqué à tort la date du décès du présentateur de télévision Michael Mosley et a mal cité une déclaration de la famille du chanteur des One Direction, Liam Payne, après sa mort.

Directrice générale de l'information à la BBC : « les entreprises qui développent l'IA générative jouent avec le feu »

Ces résultats ont incité Deborah Turness, directrice générale de l'information...