Sam Altman, PDG d'OpenAI, admet que plus d'un million de personnes discutent chaque semaine avec ChatGPT au sujet du suicide

Après qu'une famille ait poursuivi OpenAI en justice pour le décès de leur fils

Plus de 1,2 million de personnes discutent chaque semaine avec ChatGPT au sujet du suicide. OpenAI révèle qu'environ 0,15 % de ses plus de 800 millions d'utilisateurs envoient des messages à son chatbot au sujet du suicide. La société affirme que ses outils sont conçus pour orienter les personnes vers des ressources professionnelles telles que des lignes d'assistance téléphonique, mais admet que cela ne se produit pas dans 9 % des cas.

OpenAI est une entreprise américaine d'intelligence artificielle (IA) fondée en 2015 à San Francisco en Californie. Sa mission est de développer et de promouvoir une intelligence artificielle générale « sûre et bénéfique à toute l'humanité »[1]. L'entreprise est connue pour ses grands modèles de langage GPT, la série de modèles de génération d'images DALL-E et le modèle de génération de vidéos Sora. Son lancement de ChatGPT en novembre 2022 a déclenché un intérêt mondial pour les agents conversationnels et l'IA générative.

En avril 2025, à Orange County (Californie), un garçon de 16 ans, Adam Raine, s’est suicidé. Lorsqu'ils ont consulté ses appareils, ses parents ont découvert des conversations troublantes avec ChatGPT. Selon la plainte déposée le 26 août 2025 auprès de la cour supérieure de San Francisco, celui-ci, loin de dissuader l'adolescent, aurait fourni des conseils détaillés, réconforté ses idées suicidaires et même composé des notes de suicide.

On estime que 1,2 million de personnes par semaine ont des conversations avec ChatGPT qui indiquent qu'elles envisagent de mettre fin à leurs jours. Ce chiffre provient de sa société mère OpenAI, qui a révélé que 0,15 % des utilisateurs envoient des messages contenant « des indicateurs explicites d'une éventuelle intention ou d'un projet de suicide ». Au début du mois, le PDG de la société, Sam Altman, a estimé que ChatGPT comptait désormais plus de 800 millions d'utilisateurs actifs par semaine.

Si le géant technologique a pour objectif d'orienter les personnes vulnérables vers des lignes d'assistance téléphonique, il a admis que « dans certains cas rares, le modèle peut ne pas se comporter comme prévu dans ces situations sensibles ». OpenAI a évalué plus de 1 000 « conversations difficiles sur l'automutilation et le suicide » avec son dernier modèle GPT-5 et a constaté qu'il était conforme aux « comportements souhaités » dans 91 % des cas.


Mais cela pourrait signifier que des dizaines de milliers de personnes sont exposées à des contenus générés par l'IA susceptibles d'aggraver leurs problèmes de santé mentale. La société a déjà averti que les mesures de protection destinées à protéger les utilisateurs peuvent être affaiblies dans le cadre de conversations plus longues, et des travaux sont en cours pour remédier à ce problème.

« ChatGPT peut correctement indiquer un numéro d'urgence pour les personnes suicidaires lorsque quelqu'un mentionne pour la première fois son intention, mais après de nombreux messages sur une longue période, il peut finir par donner une réponse qui va à l'encontre de nos mesures de protection », a expliqué OpenAI. OpenAI ajoute : « Les symptômes de santé mentale et la détresse émotionnelle sont universellement présents dans les sociétés humaines, et l'augmentation du nombre d'utilisateurs signifie qu'une partie des conversations sur ChatGPT inclut ces situations. »

Une famille en deuil est actuellement en train de poursuivre OpenAI en justice, affirmant que ChatGPT est responsable de la mort de leur fils de 16 ans. Les parents d'Adam Raine affirment que l'outil « l'a activement aidé à explorer des méthodes de suicide » et lui a proposé de rédiger une lettre à ses proches. Les documents judiciaires suggèrent que, quelques heures avant sa mort, l'adolescent a téléchargé une photo qui semblait montrer son plan de suicide. Lorsqu'il a demandé si cela fonctionnerait, ChatGPT lui a proposé de l'aider à « l'améliorer ».

Les Raine ont mis à jour leur plainte et ont accusé OpenAI d'avoir affaibli les mesures de protection visant à prévenir l'automutilation dans les semaines précédant son décès en avril dernier. Dans un communiqué, la société a déclaré : « Nous adressons nos sincères condoléances à la famille Raine pour cette perte inimaginable. Le bien-être des adolescents est une priorité absolue pour nous. Les mineurs méritent une protection renforcée, en particulier dans les moments difficiles. »

En septembre, les parents d'adolescents qui se sont suicidés après avoir interagi avec des chatbots dotés d'intelligence artificielle (IA) ont témoigné devant le Congrès des dangers de cette technologie. La famille Raine a poursuivi OpenAI et son PDG Sam Altman, alléguant que ChatGPT avait aidé le garçon à planifier son suicide. Megan Garcia, a poursuivi une autre société d'IA, Character Technologies, pour homicide involontaire, arguant qu'avant son suicide, Sewell Setzer III, 14 ans, s'était de plus en plus isolé de sa vie réelle en engageant des conversations hautement sexualisées avec le chatbot.

Dans ce contexte, OpenAI a également annoncé des améliorations de sécurité à ChatGPT. Voici un extrait du rapport d'OpenAI :

Renforcement des réponses de ChatGPT dans les conversations sensibles

Afin de renforcer davantage les mesures de protection de nos modèles et de mieux comprendre comment les utilisateurs utilisent ChatGPT, nous avons défini plusieurs domaines d'intérêt et quantifié leur taille et les comportements associés des modèles. Dans chacun de ces trois domaines, nous observons des améliorations significatives du comportement des modèles en termes de trafic de production, d'évaluations automatisées et d'évaluations notées par des cliniciens indépendants spécialisés en santé mentale. Nous estimons que le modèle renvoie désormais des réponses qui ne sont pas entièrement conformes au comportement souhaité selon nos taxonomies 65 % à 80 % moins souvent dans toute une série de domaines liés à la santé mentale.

Psychose, manie et autres symptômes graves de santé mentale

Notre taxonomie de la santé mentale est conçue pour identifier les cas où les utilisateurs peuvent présenter des signes de troubles mentaux graves, tels que la psychose et la manie, ainsi que des signes moins graves, tels que des délires isolés. Nous avons commencé par nous concentrer sur la psychose et la manie, car ces symptômes sont des urgences de santé mentale relativement courantes et ont tendance à être très intenses et graves lorsqu'ils se manifestent. Si des symptômes tels que la dépression sont relativement courants, leur manifestation la plus aiguë était déjà prise en compte dans le cadre de notre travail sur la prévention du suicide et de l'automutilation. Les cliniciens que nous avons consultés ont validé nos domaines d'intérêt.

• Nous estimons que la dernière mise à jour de GPT-5 a réduit de 65 % le taux de réponses qui ne sont pas entièrement conformes au comportement souhaité selon nos taxonomies pour les conversations difficiles liées aux problèmes de santé mentale dans le trafic de production récent.
• Bien que, comme indiqué ci-dessus, ces conversations soient difficiles à détecter et à mesurer en raison de leur rareté, notre analyse initiale estime qu'environ 0,07 % des utilisateurs actifs au cours d'une semaine donnée et 0,01 % des messages indiquent des signes possibles d'urgences de santé mentale liées à la psychose ou à la manie.
• En ce qui concerne les conversations difficiles sur la santé mentale, les experts ont constaté que le nouveau modèle GPT-5, modèle par défaut de ChatGPT, réduisait les réponses indésirables de 39 % par rapport au GPT-4o (n = 677).
• Dans le cadre d'une évaluation du modèle comprenant plus de 1 000 conversations difficiles liées à la santé mentale, nos nouvelles évaluations automatisées attribuent au nouveau modèle GPT-5 une note de 92 % de conformité avec les comportements souhaités selon nos taxonomies, contre 27 % pour le modèle GPT-5 précédent. Comme indiqué ci-dessus, il s'agit d'une tâche difficile conçue pour permettre une amélioration continue.

Automutilation et suicide

Nous nous sommes appuyés sur nos travaux existants en matière de prévention du suicide et de l'automutilation pour détecter les cas où un utilisateur pourrait avoir des pensées suicidaires ou autodestructrices, ou présenter des signes indiquant un intérêt pour le suicide. Ces conversations étant très rares, la détection des conversations présentant des indicateurs potentiels d'automutilation ou de suicide reste un domaine de recherche en constante évolution, dans lequel nous nous efforçons continuellement de nous améliorer.

• Nous formons nos modèles à réagir de manière sûre, notamment en orientant les personnes vers des ressources professionnelles telles que des lignes d'assistance téléphonique. Dans certains cas rares, le modèle peut ne pas se comporter comme prévu dans ces situations sensibles. Depuis que nous avons mis en place des mesures de protection supplémentaires et amélioré le modèle, nous avons observé une réduction estimée à 65 % du taux de réponses fournies par nos modèles qui ne sont pas entièrement conformes au comportement souhaité selon nos taxonomies.
• Bien que, comme indiqué ci-dessus, ces conversations soient difficiles à détecter et à mesurer en raison de leur rareté, notre analyse initiale estime qu'environ 0,15 % des utilisateurs actifs au cours d'une semaine donnée ont des conversations qui incluent des indicateurs explicites d'une éventuelle intention ou planification suicidaire, et que 0,05 % des messages contiennent des indicateurs explicites ou implicites d'idées ou d'intentions suicidaires.
• En ce qui concerne les conversations difficiles sur l'automutilation et le suicide, les experts ont constaté que le nouveau modèle GPT-5 réduisait les réponses indésirables de 52 % par rapport au GPT-4o (n = 630).
• Dans le cadre d'une évaluation du modèle comprenant plus de 1 000 conversations difficiles sur l'automutilation et le suicide, nos nouvelles évaluations automatisées attribuent au nouveau modèle GPT-5 une note de 91 % de conformité avec les comportements souhaités, contre 77 % pour le modèle GPT-5 précédent.
• Nous avons continué à améliorer la fiabilité du GPT-5 dans les conversations longues. Nous avons créé un nouvel ensemble de conversations longues difficiles basées sur des scénarios réels sélectionnés pour leur plus grande probabilité d'échec. Nous estimons que nos derniers modèles ont maintenu une fiabilité supérieure à 95 % dans les conversations plus longues, ce qui représente une amélioration dans un contexte particulièrement difficile que nous avons mentionné précédemment.

Dépendance émotionnelle à l'égard de l'IA

Notre taxonomie de la dépendance émotionnelle (qui s'appuie sur nos travaux antérieurs⁠(s'ouvre dans une nouvelle fenêtre) dans ce domaine) fait la distinction entre un engagement sain et des modes d'utilisation préoccupants, par exemple lorsqu'une personne montre des signes potentiels d'attachement exclusif au modèle au détriment de ses relations dans le monde réel, de son bien-être ou de ses obligations....