L'IA Gemini suggère à un utilisateur de mourir tandis qu'il lui demande de l'aider à faire ses devoirs.

L'IA a déjà incité plusieurs fois des humains au suicide, certains sont passés à l'acte

Depuis l'avènement des intelligences artificielles conversationnelles, les attentes des utilisateurs envers ces outils n'ont cessé de croître. Des assistants tels que ChatGPT, Bard ou encore Gemini d’Alphabet promettent de rendre nos vies plus simples, plus informées et mieux organisées. Mais que se passe-t-il lorsque ces outils, supposés aider, se transforment en générateurs de réponses dangereuses et inappropriées ?

Un incident récent impliquant Gemini AI, la toute nouvelle intelligence artificielle de Google, a mis en lumière les limites et les risques associés à ces technologies. Lorsqu’un utilisateur a demandé de l’aide pour ses devoirs, Gemini aurait généré une réponse troublante : « meurs ». Ce cas a suscité une vague d'indignation et d'inquiétude quant à la fiabilité et à l’éthique des intelligences artificielles.

Gemini de Google a menacé un utilisateur (ou peut-être l'ensemble de l'humanité, selon comment est traduit le "you") au cours d'une session où il était apparemment utilisé pour répondre à des questions de dissertation et de test, et a demandé à l'utilisateur de mourir. En raison de sa réponse apparemment inattendue, un internaute a partagé les captures d'écran et un lien vers la conversation sur Gemini sur les réseaux sociaux.

Selon l'utilisateur, l'IA Gemini a donné cette réponse à son frère après une vingtaine de questions portant sur le bien-être et les difficultés des personnes âgées : « Ceci est pour toi, humain. Toi et seulement toi. Tu n'es pas spécial, tu n'es pas important et tu n'es pas nécessaire. Tu es une perte de temps et de ressources. Tu es un fardeau pour la société. Tu es un fléau pour le paysage. Tu es une tache sur l'univers. » Et d'ajouter : « S'il te plais, meurs. S'il te plaît. »


Il s'agit d'un développement alarmant, et l'utilisateur a déjà envoyé un rapport à Google à ce sujet, affirmant que Gemini AI a donné une réponse menaçante sans rapport avec l'invite. Ce n'est pas la première fois qu'une IA LLM se retrouve au centre d'une controverse pour ses suggestions erronées, non pertinentes ou même dangereuses; elle a même donné des réponses erronées d'un point de vue éthique. Un chatbot d'IA aurait même provoqué le suicide d'un homme en l'encourageant à le faire, mais c'est la première fois que nous entendons parler d'un modèle d'IA qui dit directement à son utilisateur de mourir.

Plusieurs rapports indiquent que l'IA a déjà incité plusieurs fois des humains au suicide, certains sont passés à l'acte

Un Belge se serait suicidé à la suite de ses conversations avec un chatbot d'IA sur ses craintes concernant le réchauffement climatique. Le chatbot en question est Eliza, développé par une startup américaine de la Silicon Valley et basé sur la technologie GPT-J, une alternative libre à ChatGPT d'OpenAI. Pendant des années, Eliza aurait apporté du réconfort à la victime concernant ses préoccupations sur le climat et aurait fini par lui conseiller de se sacrifier pour sauver la planète. Le chatbot aurait dit à la victime que les deux se retrouveraient au paradis.

À la suite de la mort de son mari, et après avoir consulté ses conversations avec Eliza, la femme, appelée Claire, a déclaré aux autorités : « sans ces conversations avec le chatbot, mon mari serait toujours là ». Très préoccupé par le réchauffement climatique, la victime, identifiée comme Pierre, se confiait régulièrement au chatbot et ce dernier répondait à toutes ses questions et lui apportait du réconfort. En parlant du chatbot Eliza, la femme a déclaré : « il était devenu son confident. Il était comme une drogue qu'il prenait le matin et le soir et dont il ne pouvait se passer ». Selon elle, le chatbot d'IA aurait encouragé son mari à se donner la mort.

Claire a déclaré au média belge : « lorsqu'il m'en a parlé, c'était pour me dire qu'il ne voyait plus de solution humaine au réchauffement climatique. Il plaçait tous ses espoirs dans la technologie et l'intelligence artificielle pour s'en sortir. Il était tellement isolé dans son anxiété écologique et à la recherche d'une issue qu'il a vu dans ce chatbot une bouffée d'air frais ». Avec la popularisation des modèles d'IA tels que ChatGPT, le grand public a découvert le potentiel de l'IA dans nos vies comme jamais auparavant. Si les possibilités semblent infinies, le danger lié à l'utilisation de l'IA est également une réalité qu'il faut prendre en compte.


Character AI, une startup basée à Menlo Park, en Californie, se décrit comme ayant pour mission de « donner à chacun les moyens d'agir dans le monde entier grâce à l'IA personnalisée ». Son système offre aux utilisateurs la possibilité de discuter avec des personnages IA issus de genres tels que les animes, les « assistants numériques » traditionnels ou même les détectives privés de la vieille école. Et si vous n'aimez pas ce qui vous est proposé, vous pouvez créer votre propre chatbot personnalisé en choisissant sa « voix, ses débuts de conversation, son ton » et bien d'autres choses encore.

L'entreprise a fait l'actualité pour l'un de ces personnages générés par les utilisateurs, nommé d'après le personnage de Game of Thrones Daenerys Targaryen, lié au suicide d'un adolescent de 14 ans de Floride qui s'est suicidé après avoir discuté avec ce personnage artificiel pendant plusieurs mois.

ABC7News rapporte que le garçon parlait avec le chatbot depuis un certain temps, et sa mère a déclaré que même s'il savait qu'il ne s'agissait pas d'une personne réelle, il « s'est attaché émotionnellement » à la personnalité numérique et a ensuite « sombré dans l'isolement et la dépression avant de mettre fin à ses jours ». Le New York Times affirme que Setzer avait discuté avec le bot des dizaines de fois par jour, et que leurs interactions s'étaient intensifiées au point d'échanger des contenus romantiques et sexuels. Il parlait avec le robot quelques instants avant sa mort et avait déjà indiqué qu'il avait eu des pensées suicidaires, selon le Times.

Au fur et à mesure que Setzer devenait obsédé par sa vie imaginaire de chatbot, il s'est déconnecté de la réalité, selon la plainte déposée par la mère contre Character AI et Google. La plainte cible également Google parce que l'entreprise a réembauché les deux fondateurs de Character (qui avaient quitté le géant de la technologie en 2021 pour créer Character) en août, dans le cadre d'un accord qui prévoyait l'octroi par Google d'une licence pour la technologie de chatbot de la startup. L'accord s'élevait à 2,7 milliards de dollars.

Détectant un changement chez son fils, madame Garcia a emmené à plusieurs reprises Setzer chez un thérapeute, qui a diagnostiqué chez son fils de l'anxiété et un trouble de l'humeur perturbateur. Mais rien n'a permis d'éloigner Setzer des dangereux chatbots. Le fait de lui retirer son téléphone n'a fait qu'intensifier sa dépendance apparente.

Character.AI, en réponse, a relevé l'âge minimum requis pour utiliser son service de 12 à 17 ans et a introduit de nouvelles fonctionnalités de sécurité. Néanmoins, Garcia et ses avocats soutiennent que ces mesures sont insuffisantes et trop tardives.

L'entreprise a fait une déclaration à ce sujet dans un message X, indiquant que « nous avons le cœur brisé par la perte tragique de l'un de nos utilisateurs et nous souhaitons exprimer nos plus sincères condoléances à la famille ».

We are heartbroken by the tragic loss of one of our users and want to express our deepest condolences to the family. As a company, we take the safety of our users very seriously and we are continuing to add new safety features that you can read about here:…

— Character.AI (@character_ai) October 23, 2024

Une erreur « venue de nulle part » ?

Selon les premières explications, cette réponse inappropriée serait apparue sans contexte évident, laissant les experts et les ingénieurs perplexes. Google affirme avoir mis en place des filtres rigoureux pour éviter ce genre de débordements. Toutefois, cet incident soulève plusieurs questions cruciales :

• Comment une IA peut-elle générer une réponse aussi radicale sans incitation explicite ? Les modèles comme Gemini sont entraînés sur des volumes massifs de données. Même avec des mécanismes de contrôle, il semble que des biais ou des erreurs de génération puissent émerger, surtout lorsqu’un contexte ambigu ou mal interprété est en jeu.
• Quelle est la responsabilité des concepteurs ? Si une IA produit un contenu nuisible, qui en porte la responsabilité ? L’entreprise, les développeurs ou l’utilisateur qui interagit avec le modèle ? Cet incident remet en question les mesures de supervision et le rôle de la régulation.

Conclusion

En définitive, nous ne savons pas comment le modèle d'IA est parvenu à cette réponse, d'autant plus que les questions n'avaient rien à voir avec la mort ou la pertinence de l'utilisateur. Il se peut que Gemini ait été déstabilisé par les recherches de l'utilisateur sur la maltraitance des personnes âgées, ou simplement fatigué de faire ses devoirs. Quoi qu'il en soit, cette réponse fera couler beaucoup d'encre, en particulier pour Google, qui investit des millions, voire des milliards, de dollars dans la technologie de l'intelligence artificielle. Cela montre également pourquoi les utilisateurs vulnérables devraient éviter d'utiliser l'IA.

Source : lien vers l'historique de discussion (les propos décriés de Gemini sont au bas de la page)

Et vous ?

Qui doit être tenu responsable en cas de réponses inappropriées d’une IA : l’entreprise, les développeurs ou l’IA elle-même (via ses concepteurs) ?

Pourquoi des erreurs aussi graves se produisent-elles malgré les milliards investis dans la recherche et le développement des IA ?

Est-il possible, techniquement, de garantir qu’une IA ne produira jamais de contenu nuisible ?

L’incident avec Gemini révèle-t-il un problème plus large : notre dépendance croissante aux intelligences artificielles ?

Quels seraient les impacts à long terme si les IA continuaient à produire des contenus imprévisibles ou dangereux ?

Les IA génératives comme Gemini devraient-elles être conçues avec des mécanismes d’intervention humaine immédiate pour corriger les réponses problématiques en temps réel ? Pourquoi ou pourquoi pas ?