Plus de 1,2 million de personnes discutent chaque semaine avec ChatGPT au sujet du suicide. OpenAI révèle qu'environ 0,15 % de ses plus de 800 millions d'utilisateurs envoient des messages à son chatbot au sujet du suicide. La société affirme que ses outils sont conçus pour orienter les personnes vers des ressources professionnelles telles que des lignes d'assistance téléphonique, mais admet que cela ne se produit pas dans 9 % des cas.OpenAI est une entreprise américaine d'intelligence artificielle (IA) fondée en 2015 à San Francisco en Californie. Sa mission est de développer et de promouvoir une intelligence artificielle générale « sûre et bénéfique à toute l'humanité »[1]. L'entreprise est connue pour ses grands modèles de langage GPT, la série de modèles de génération d'images DALL-E et le modèle de génération de vidéos Sora. Son lancement de ChatGPT en novembre 2022 a déclenché un intérêt mondial pour les agents conversationnels et l'IA générative.
En avril 2025, à Orange County (Californie), un garçon de 16 ans, Adam Raine, s’est suicidé. Lorsqu'ils ont consulté ses appareils, ses parents ont découvert des conversations troublantes avec ChatGPT. Selon la plainte déposée le 26 août 2025 auprès de la cour supérieure de San Francisco, celui-ci, loin de dissuader l'adolescent, aurait fourni des conseils détaillés, réconforté ses idées suicidaires et même composé des notes de suicide.
On estime que 1,2 million de personnes par semaine ont des conversations avec ChatGPT qui indiquent qu'elles envisagent de mettre fin à leurs jours. Ce chiffre provient de sa société mère OpenAI, qui a révélé que 0,15 % des utilisateurs envoient des messages contenant « des indicateurs explicites d'une éventuelle intention ou d'un projet de suicide ». Au début du mois, le PDG de la société, Sam Altman, a estimé que ChatGPT comptait désormais plus de 800 millions d'utilisateurs actifs par semaine.
Si le géant technologique a pour objectif d'orienter les personnes vulnérables vers des lignes d'assistance téléphonique, il a admis que « dans certains cas rares, le modèle peut ne pas se comporter comme prévu dans ces situations sensibles ». OpenAI a évalué plus de 1 000 « conversations difficiles sur l'automutilation et le suicide » avec son dernier modèle GPT-5 et a constaté qu'il était conforme aux « comportements souhaités » dans 91 % des cas.
Mais cela pourrait signifier que des dizaines de milliers de personnes sont exposées à des contenus générés par l'IA susceptibles d'aggraver leurs problèmes de santé mentale. La société a déjà averti que les mesures de protection destinées à protéger les utilisateurs peuvent être affaiblies dans le cadre de conversations plus longues, et des travaux sont en cours pour remédier à ce problème.
« ChatGPT peut correctement indiquer un numéro d'urgence pour les personnes suicidaires lorsque quelqu'un mentionne pour la première fois son intention, mais après de nombreux messages sur une longue période, il peut finir par donner une réponse qui va à l'encontre de nos mesures de protection », a expliqué OpenAI. OpenAI ajoute : « Les symptômes de santé mentale et la détresse émotionnelle sont universellement présents dans les sociétés humaines, et l'augmentation du nombre d'utilisateurs signifie qu'une partie des conversations sur ChatGPT inclut ces situations. »
Une famille en deuil est actuellement en train de poursuivre OpenAI en justice, affirmant que ChatGPT est responsable de la mort de leur fils de 16 ans. Les parents d'Adam Raine affirment que l'outil « l'a activement aidé à explorer des méthodes de suicide » et lui a proposé de rédiger une lettre à ses proches. Les documents judiciaires suggèrent que, quelques heures avant sa mort, l'adolescent a téléchargé une photo qui semblait montrer son plan de suicide. Lorsqu'il a demandé si cela fonctionnerait, ChatGPT lui a proposé de l'aider à « l'améliorer ».
Les Raine ont mis à jour leur plainte et ont accusé OpenAI d'avoir affaibli les mesures de protection visant à prévenir l'automutilation dans les semaines précédant son décès en avril dernier. Dans un communiqué, la société a déclaré : « Nous adressons nos sincères condoléances à la famille Raine pour cette perte inimaginable. Le bien-être des adolescents est une priorité absolue pour nous. Les mineurs méritent une protection renforcée, en particulier dans les moments difficiles. »
En septembre, les parents d'adolescents qui se sont suicidés après avoir interagi avec des chatbots dotés d'intelligence artificielle (IA) ont témoigné devant le Congrès des dangers de cette technologie. La famille Raine a poursuivi OpenAI et son PDG Sam Altman, alléguant que ChatGPT avait aidé le garçon à planifier son suicide. Megan Garcia, a poursuivi une autre société d'IA, Character Technologies, pour homicide involontaire, arguant qu'avant son suicide, Sewell Setzer III, 14 ans, s'était de plus en plus isolé de sa vie réelle en engageant des conversations hautement sexualisées avec le chatbot.
Dans ce contexte, OpenAI a également annoncé des améliorations de sécurité à ChatGPT. Voici un extrait du rapport d'OpenAI :
Renforcement des réponses de ChatGPT dans les conversations sensibles
Afin de renforcer davantage les mesures de protection de nos modèles et de mieux comprendre comment les utilisateurs utilisent ChatGPT, nous avons défini plusieurs domaines d'intérêt et quantifié leur taille et les comportements associés des modèles. Dans chacun de ces trois domaines, nous observons des améliorations significatives du comportement des modèles en termes de trafic de production, d'évaluations automatisées et d'évaluations notées par des cliniciens indépendants spécialisés en santé mentale. Nous estimons que le modèle renvoie désormais des réponses qui ne sont pas entièrement conformes au comportement souhaité selon nos taxonomies 65 % à 80 % moins souvent dans toute une série de domaines liés à la santé mentale.
Psychose, manie et autres symptômes graves de santé mentale
Notre taxonomie de la santé...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
