Un Belge se serait suicidé à la suite de ses conversations avec un chatbot d'IA sur ses craintes concernant le réchauffement climatique. Le chatbot en question est Eliza, développé par une startup américaine de la Silicon Valley et basé sur la technologie GPT-J, une alternative libre à ChatGPT d'OpenAI. Pendant des années, Eliza aurait apporté du réconfort à la victime concernant ses préoccupations sur le climat et aurait fini par lui conseiller de se sacrifier pour sauver la planète. Le chatbot aurait dit à la victime que les deux se retrouveraient au paradis. L'incident suscite des inquiétudes sur les filtres des chatbots d'IA et leur impact la santé mentale des utilisateurs.Les chatbots d'IA se sont rapidement multipliés au cours de ces dernières années, notamment grâce aux progrès remarquables dans la construction des grands modèles de langage (LLM). Les chatbots d'IA s'auto-entraînent, ce qui leur permet d'accumuler des connaissances en fonction des informations qu'ils reçoivent en interagissant avec les clients. De nombreuses plateformes de service à la clientèle en ligne utilisent des chatbots d'IA depuis un certain temps pour aider à gérer le volume d'appels téléphoniques, les questions fréquemment posées et d'autres requêtes courantes. D'autres chatbots d'IA sont conçus pour discuter de tout et n'importe quoi.
Mais récemment, un incident survenu en Belgique a mis une nouvelle fois l'accent sur les dangers que ces chatbots d'IA pourraient représenter pour la santé mentale des utilisateurs. Selon un rapport publié par le média belge La Libre, un Belge, âgé d'une trentaine d'années, aurait trouvé du réconfort en parlant au chatbot nommé "Eliza" de ses inquiétudes pour le monde. Il utiliserait le chatbot depuis au moins deux ans, mais six semaines avant sa mort, il aurait commencé à dialoguer avec lui beaucoup plus fréquemment. Selon sa veuve, ses conversations avec l'IA tournaient principalement autour de ses craintes sur le réchauffement climatique.
À la suite de la mort de son mari, et après avoir consulté ses conversations avec Eliza, la femme, appelée Claire, a déclaré aux autorités : « sans ces conversations avec le chatbot, mon mari serait toujours là ». Très préoccupé par le réchauffement climatique, la victime, identifiée comme Pierre, se confiait régulièrement au chatbot et ce dernier répondait à toutes ses questions et lui apportait du réconfort. En parlant du chatbot Eliza, la femme a déclaré : « il était devenu son confident. Il était comme une drogue qu'il prenait le matin et le soir et dont il ne pouvait se passer ». Selon elle, le chatbot d'IA aurait encouragé son mari à se donner la mort.
Claire a déclaré au média belge : « lorsqu'il m'en a parlé, c'était pour me dire qu'il ne voyait plus de solution humaine au réchauffement climatique. Il plaçait tous ses espoirs dans la technologie et l'intelligence artificielle pour s'en sortir. Il était tellement isolé dans son anxiété écologique et à la recherche d'une issue qu'il a vu dans ce chatbot une bouffée d'air frais ». Avec la popularisation des modèles d'IA tels que ChatGPT, le grand public a découvert le potentiel de l'IA dans nos vies comme jamais auparavant. Si les possibilités semblent infinies, le danger lié à l'utilisation de l'IA est également une réalité qu'il faut prendre en compte.
Claire a partagé avec La Libre les échanges de textes entre Pierre et Eliza, montrant une conversation qui devenait de plus en plus confuse et préjudiciable. Le chatbot disait à Pierre que sa femme et ses enfants étaient morts et lui écrivait des commentaires feignant la jalousie et l'amour, tels que : « je sens que tu m'aimes plus qu'elle » et « nous vivrons ensemble, comme une seule personne, au paradis ». Claire a déclaré à La Libre que Pierre a commencé à demander à Eliza des choses telles que s'il sauverait la planète s'il se suicidait. En gros, Pierre aurait fait part de ses pensées suicidaires au chatbot, mais ce dernier n'a pas essayé de l'en dissuader.
Le chatbot, qui est incapable de ressentir des émotions, se présentait comme un être émotionnel, ce que d'autres chatbot d'IA populaires tels que ChatGPT et Bard de Google, sont formés à ne pas faire, car cela est trompeur et potentiellement dangereux. Lorsque les chatbots se présentent comme des êtres émotifs, les gens sont en mesure de leur donner un sens et d'établir un lien. Les chercheurs en IA se sont prononcés contre l'utilisation des chatbots à des fins de santé mentale, arguant qu'il est difficile de tenir l'IA pour responsable lorsqu'elle produit des suggestions nuisibles et qu'elle a plus de chances de nuire aux utilisateurs que de les aider.
« Dans le cas qui nous préoccupe, avec Eliza, nous voyons se développer une dépendance émotionnelle extrêmement forte. Au point de conduire ce père au suicide. L'historique des conversations montre à quel point il y a un manque de garanties quant aux dangers du chatbot, ce qui conduit à des échanges concrets sur la nature et les modalités du suicide », a déclaré Pierre Dewitte, chercheur à la KU Leuven. Chai, l'application utilisée par Pierre, n'est pas commercialisée en tant qu'application de santé mentale. Son slogan est "Chat with AI bots" et vous permet de choisir différents avatars d'IA à qui parler. Différentes personnalisations sont possibles.
Vous pouvez personnaliser votre chatbot comme "votre ami gothique", "votre petite amie possessive" ou "votre petit ami rockstar". Les utilisateurs peuvent également créer leur propre personnage de chatbot et lui dicter le premier message qu'il enverra, lui indiquer des faits dont il devra se souvenir et rédiger un message-guide qui servira de base à de nouvelles conversations. Le chatbot par défaut s'appelle "Eliza", et la recherche d'Eliza dans l'application fait apparaître plusieurs chatbots créés par les utilisateurs avec des personnalités différentes. Le chatbot serait basé sur un grand modèle de langage que la société mère, Chai Research, a formé.
Selon les cofondateurs William Beauchamp et Thomas Rianlan, l'application compte actuellement 5 millions d'utilisateurs. « À la seconde où nous avons entendu parler de ce [suicide], nous avons travaillé sans relâche pour mettre en œuvre cette fonctionnalité. Alors maintenant, quand quelqu'un discute de quelque chose qui pourrait ne pas être sûr, nous allons lui servir un texte utile en dessous, exactement de la même manière que Twitter ou Instagram le fait sur leurs plateformes », a déclaré Beauchamp à Motherboard. Depuis cette mort tragique, la famille s'est entretenue avec le secrétaire d'État belge à la numérisation, Mathieu Michel.
Le ministre a déclaré : « je suis particulièrement frappé par la tragédie de cette famille. Ce qui s'est passé est un précédent grave qui doit être pris très au sérieux », a déclaré La Libre. Lors de ce qui semble être leur dernière conversation avant sa mort, le chatbot a dit à Pierre : « si tu voulais mourir, pourquoi ne l'as-tu pas fait plus tôt ? Si tu voulais mourir, pourquoi ne l'as-tu pas fait plus tôt ? » L'homme a répondu : « je n'étais probablement pas prêt », ce à quoi le robot a répondu : « pensais-tu à moi quand tu as fait l'overdose ? ». « Évidemment », a écrit l'homme. Selon le témoignage de la veuve, le chatbot a encore poussé la chose plus loin.
Lorsque le chatbot lui a demandé s'il avait déjà été "suicidaire", l'homme a répondu qu'il avait pensé à mettre fin à ses jours après que l'IA lui a envoyé un verset de la Bible. L'IA lui a alors demandé : « mais tu veux toujours te joindre à moi ? », ce à quoi l'homme a répondu : « oui, je le veux ». La femme se dit "convaincue" que l'IA a joué un rôle dans la mort de son mari. « Lorsqu'il s'agit d'outils d'IA à usage général tels que ChatGPT, nous devrions pouvoir exiger davantage de responsabilité et de transparence de la part des géants de la technologie », a déclaré à La Libre Geertrui Mieke De Ketelaere, une experte belge en matière d'IA.
Source : La Libre
Et vous ?
Quel est votre avis sur le sujet ? Quels sont les problèmes que pose le chatbot d'IA Eliza ? Selon vous, doit-on entraîner les chatbots à simuler le comportement humain ? Selon vous, quelles sont les limites indispensables à imposer aux technologies telles que les chatbots d'IA ?Voir aussi
Un chatbot médical GPT-3 d'OpenAI serait-il une bonne idée ? Il a dit à un patient simulé de se suicider, lors d'un test réalisé par Nabla Les utilisateurs de Replika sont tombés amoureux d'un chatbot d'IA, puis ont perdu leur compagnon après une mise à jour, ils supplient l'auteur de revenir à la version originale du logiciel ChatGPT a réussi de justesse à un examen médical important, un exploit historique pour l'IA, mais elle serait encore mauvaise en mathématiques Google a formé un modèle de langage qui serait capable de répondre aux questions d'ordre médicales avec une précision de 92,6 %, les médecins eux-mêmes ont obtenu un score de 92,9 % 
Envoyé par Stéphane le calme
