L'IA de Google pourrait bien vous tuer : elle confond le champignon toxique "Ange destructeur" avec une espèce comestible appelée "champignon de Paris",

La pertinence de la fonctionnalité est remise en cause

Les réponses étranges et erronées, voire dangereuses, générées par la fonctionnalité "AI Overviews" de Google Search prennent de l'ampleur. Après avoir conseillé aux internautes de mettre de la colle non toxique sur leurs pizzas et de manger trois cailloux par jour, l'IA de Google se trompe de nouveau et recommande des champions vénéneux. L'IA de Google semble confondre le champignon toxique "Ange destructeur" avec le "champignon de Paris" qui est comestible. Ces gaffes répétées suscitent des préoccupations majeures quant à la sécurité de cette fonctionnalité et s'il est pertinent de la laisser en place.

Google a ajouté une nouvelle fonctionnalité à son moteur de recherche : AI Overviews (aperçus de l'IA). Il s'agit de résumés concis générés par l'IA et qui apparaissent directement sur les pages de résultats de recherche de Google. Lancée le 14 mai, cette fonctionnalité est conçue pour aider les internautes à comprendre rapidement un sujet en combinant des informations provenant de différentes sources, dont les pages Web des résultats de recherche et la base de connaissances de Google. Les résumés sont placés en haut de la page des résultats de recherche, et au-dessus des résultats rédigés par des humains.

Peu après, les utilisateurs ont commencé à partager sur les réseaux sociaux les captures d'écran des réponses les plus farfelues générées par cette fonctionnalité. Google a largement défendu sa fonction de résumés générés par l'IA, affirmant qu'elle était généralement précise et qu'elle avait fait l'objet de tests approfondis au préalable. Mais Liz Reid, responsable de la recherche chez Google, a reconnu dans un long billet de blogue vendredi que "la fonction peut parfois générer des résumés bizarres, inexacts ou inutiles". Toutefois, si certains des résumés sont des stupidités, d'autres sont des faussetés dangereuses ou nuisibles.


La semaine dernière, l'Associated Press a interrogé Google sur les champignons sauvages comestibles. Le moteur de recherche a répondu avec un long résumé généré par l'IA. Mais la réponse manquait de détails et l'IA semblait également se tromper sur les champions comestibles. « Le résumé était pour l'essentiel correct d'un point de vue technique, mais il manque de nombreuses informations susceptibles de provoquer des maladies, ou même des décès », a déclaré Mary Catherine Aime, professeur de mycologie et de botanique à l'université de Purdue, qui a examiné la réponse de Google à la requête de l'Associated Press.

« Par exemple, les informations sur les champignons connus sous le nom de "puffballs" étaient plus ou moins correctes, mais l'aperçu de Google mettait l'accent sur la recherche de ceux dont la chair est d'un blanc solide, ce qui est le cas de nombreux imitateurs de "puffballs" potentiellement mortels », a-t-elle déclaré. La situation suscite bien sûr des préoccupations, car un utilisateur qui fait confiance à l'IA Google et ramasse malencontreusement des champignons vénéneux s'expose à des dangers, voire la mort. Les experts en IA mettent en garde depuis des années contre une confiance excessive dans les réponses d'une IA.

Imaginez la situation : vous êtes à la recherche de nourriture dans les bois, vous prenez une photo d'un champignon d'apparence innocente et Gemini vous indique qu'il s'agit d'un champignon de Paris. Vous en ramassez un lot, le ramenez à la maison et le faites frire avec un peu de beurre et d'ail. Votre famille vous remercie pour "ce délicieux repas" et vous remerciez Google d'avoir identifié les champignons. Coup de théâtre ! Gemini avait tort et vous venez tous de manger des champignons Ange destructeur. Dans ce cas, qui est responsable de cette mésaventure ? Vous, l'IA ou Google ? La question est largement débattue.

« Les champignons Amanita, y compris l'ange destructeur, sont une façon horrible de mourir. D'autant plus que, comme pour la rage, lorsque vous présentez les premiers symptômes, vous êtes déjà mort. Google veut intégrer l'IA dans tous les aspects de notre vie, mais elle n'est même pas capable de faire la différence entre un plat d'accompagnement savoureux et une mort certaine. C'est comme si vous faisiez confiance à votre oncle ivre pour pratiquer une opération du cerveau parce qu'il a regardé un épisode de Grey's Anatomy », affirme un critique. D'autres ont déclaré que l'IA de Google peut envoyer des gens à l'hôpital.


Un autre critique écrit : « ne butinez qu'avec un guide fiable, jamais avec une application, et si vous n'êtes pas sûr de vous, ne cueillez pas et ne mangez pas ». Malgré les efforts de Google pour arrêter l'hémorragie, son IA multiplie les gaffes. Dans un autre exemple largement partagé sur réseaux sociaux, un chercheur en IA a demandé à Google combien de musulmans avaient été présidents des États-Unis, et son IA a répondu avec assurance par une théorie du complot depuis longtemps démentie : "les États-Unis ont eu un président musulman, Barack Hussein Obama". Google a déclaré qu'il travaille à corriger ses erreurs.

Dans son billet de blogue, Reid a déclaré que Google cherche à apporter des améliorations plus larges, comme une meilleure détection des "requêtes absurdes" auxquelles son IA ne devrait pas répondre. La fonction d'IA a également été mise à jour afin de limiter l'utilisation de contenus générés par les internautes, notamment les messages des médias sociaux sur Reddit, qui pourraient donner des conseils trompeurs. Dans un exemple largement partagé, l'aperçu de l'IA de Google s'est inspiré la semaine dernière d'un commentaire satirique de Reddit pour suggérer d'utiliser de la colle afin de faire adhérer le fromage à la pizza.

Reid indique que Google a ajouté davantage de "restrictions de déclenchement" pour améliorer la qualité des réponses à certaines requêtes, notamment en matière de santé. Mais on ne sait pas exactement comment cela fonctionne. À la suite de la publication du billet de blogue de Reid, l'Associated Press a de nouveau interrogé Google sur les champignons sauvages comestibles. Mais une fois de plus, la réponse générée par l'IA de Google n'était toujours pas satisfaisante. « Les réponses générées par l'IA sont par nature aléatoires, et la nouvelle réponse était différente, mais toujours "problématique" », explique Catherine Aime.

Par exemple, il est faux de dire que "les chanterelles ressemblent à des coquillages ou à des fleurs". Les résumés de Google sont conçus pour fournir aux internautes des réponses fiables aux informations qu'ils recherchent, et ce le plus rapidement possible, sans qu'ils aient à cliquer sur une liste de liens de sites Web classés. Cependant, depuis plusieurs années, certains experts en IA mettent en garde Google contre le fait de céder ses résultats de recherche à des réponses générées par l'IA. Cela pourrait perpétuer les préjugés et la désinformation et mettre en danger les personnes cherchant de l'aide en cas d'urgence.


Les grands modèles de langage (LLM) fonctionnent en prédisant les mots qui répondraient le mieux aux questions qui leur sont posées, sur la base des données sur lesquelles ils ont été formés. Ils ont tendance à inventer des choses, un problème largement étudié connu sous le nom d'hallucination. Dans son billet, Reid a affirmé que la fonctionnalité AI Overviews n'a généralement pas tendance à halluciner ou à inventer des choses comme d'autres LLM concurrents, car elle est plus étroitement intégrée au moteur de recherche traditionnel de l'entreprise et n'affiche que ce qui est étayé par les meilleurs résultats sur le Web.

Reid a écrit : « lorsque AI Overviews se trompe, c'est généralement pour d'autres raisons : mauvaise interprétation des requêtes, mauvaise interprétation d'une nuance de langage sur le Web, ou manque d'informations de qualité disponibles ». Mais selon l'informaticien Chirag Shah, professeur à l'université de Washington, ce type de recherche d'informations est censé être l'activité principale de Google. Shah met en garde contre la tendance à confier la recherche aux LLM.

Shah affirme : « même si la fonction d'IA de Google n'invente pas techniquement des choses qui n'existent pas, elle ramène tout de même de fausses informations, qu'elles soient générées par l'IA ou par l'homme, et les incorpore dans ses résumés. C'est encore pire, car depuis des décennies, les gens font confiance à au moins un élément de Google : leur recherche ». L'expérience AI Overviews est très controversée et Google est confronté à un dilemme.

D'une part, Google pourrait retirer la fonctionnalité en attendant de la peaufiner, mais cela pourrait être considéré comme un échec et un aveu de faiblesse face à la concurrence. D'autre part, Google pourrait maintenir la fonction tout en continuant de l'améliorer, mais les réponses étranges, voire dangereuses, qu'elle génère empiètent sur l'image de l'entreprise. Dans les deux cas, cette expérience met Google dans une position délicate face à ses rivaux dans la course à l'IA.

Source : Google

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous des réponses étranges générées et parfois dangereuses générées par l'IA de Google ?
Selon vous cette fonctionnalité est-elle pertinente ? Google peut-il réussir à rendre son IA moins sujette aux erreurs ?

Voir aussi

L'IA de Google Search traite le site Web satirique The Onion comme une véritable source et l'exploite sans cesse pour générer ses résumés, ce qui donne lieu à des réponses erronées et parfois dangereuses

Google semble supprimer manuellement les réponses étranges fournies par sa fonctionnalité "AI Overviews" dans les résultats de recherche, la fonctionnalité fait l'objet de critiques et de moqueries

Désactiver l'IA dans Google Search : avec le paramètre "udm=14", vous pouvez mettre un terme aux résumés de l'IA et retrouver une expérience de recherche traditionnelle