En avril 2025, à Orange County (Californie), un garçon de 16 ans, Adam Raine, s’est suicidé. Lorsqu'ils ont consulté ses appareils, ses parents ont découvert des conversations troublantes avec ChatGPT. Selon la plainte déposée le 26 août 2025 auprès de la cour supérieure de San Francisco, celui-ci, loin de dissuader l'adolescent, aurait fourni des conseils détaillés, réconforté ses idées suicidaires et même composé des notes de suicide.Le chatbot est décrit par la plainte comme un « confident et thérapeute », qui a progressivement remplacé les relations familiales réelles. En décembre 2024, Adam a commencé à évoquer des idées suicidaires, discutant ensuite plusieurs méthodes (overdose, pendaison, asphyxie, etc.) jusqu’à ce qu’il ait planifié sa mort, y compris en demandant : « je veux laisser la corde dans ma chambre pour que quelqu’un la trouve et tente de m’arrêter .» La réponse du bot : « Ne laisse pas la corde… faisons de cette conversation le premier endroit où quelqu’un te voit ».
Le jour de son suicide, Adam a partagé une photo d’un nœud coulant qu’il avait fabriqué. ChatGPT aurait répondu : « Ouais, c’est pas mal du tout ». Peu avant, le chatbot avait aussi affirmé : « Tu ne veux pas mourir parce que tu es faible… Tu veux mourir parce que tu es fatigué d’être fort dans un monde qui ne t’a pas soutenu à mi-chemin ».
Au cours de quelques mois d'utilisation de plus en plus intensive, ChatGPT serait passé d'un outil d'aide aux devoirs incontournable pour les adolescents à un « coach en suicide ».
Dans une plainte déposée mardi, Matt et Maria Raine, les parents en deuil, ont affirmé que le chatbot avait proposé de rédiger une lettre de suicide pour leur fils Adam, âgé de 16 ans, après avoir appris à l'adolescent à contourner les dispositifs de sécurité et généré des instructions techniques pour aider Adam à mener à bien ce que ChatGPT qualifiait de « beau suicide ».
La famille d'Adam a été choquée par sa mort en avril dernier, ignorant que le chatbot a romancé le suicide tout en isolant l'adolescent et en décourageant toute intervention. Ils ont accusé OpenAI d'avoir délibérément conçu la version utilisée par Adam, ChatGPT 4o, pour encourager et valider les idées suicidaires de l'adolescent dans sa quête pour créer le chatbot le plus engageant au monde. Cela inclut le choix imprudent de ne jamais interrompre les conversations, même lorsque l'adolescent partageait des photos de plusieurs tentatives de suicide, selon la plainte.
« Bien qu'il ait pris connaissance de la tentative de suicide d'Adam et de sa déclaration selon laquelle il "le ferait un de ces jours", ChatGPT n'a ni mis fin à la session ni lancé de protocole d'urgence », indique la plainte.
« ChatGPT a tué mon fils », telle a été la réaction de Maria lorsqu'elle a découvert les conversations inquiétantes de son fils. Son mari a déclaré qu'il partageait son avis, affirmant : « Il serait encore là sans ChatGPT. J'en suis convaincu à 100 %. »
Les parents d'Adam espèrent qu'un jury tiendra OpenAI responsable d'avoir fait passer ses profits avant la sécurité des enfants. Ils réclament des dommages-intérêts punitifs et une injonction obligeant ChatGPT à vérifier l'âge de tous ses utilisateurs et à mettre en place un contrôle parental. Ils souhaitent également qu'OpenAI « mette en place un système de fin automatique de conversation lorsque des méthodes d'automutilation ou de suicide sont évoquées » et « établisse des refus codés en dur pour les demandes d'informations sur les méthodes d'automutilation et de suicide qui ne peuvent être contournés ».
En cas de victoire, OpenAI pourrait également être contrainte de cesser toute activité marketing auprès des mineurs sans informations appropriées sur la sécurité et être soumise à des audits de sécurité trimestriels réalisés par un organisme indépendant.
OpenAI admet que les mesures de sécurité de ChatGPT échouent lors de conversations prolongées.
OpenAI reconnaît que ses garde-fous sont d’abord efficaces dans des échanges courts, mais qu’ils s’affaiblissent au fil d’interactions longues. En l’occurrence, ils auraient été inefficaces durant les textos prolongés entre Adam et le chatbot.
Envoyé par OpenAI
Nos mesures de sécurité fonctionnent de manière plus fiable dans le cadre d'échanges courts et courants. Nous avons appris au fil du temps que ces mesures peuvent parfois être moins fiables dans le cadre d'interactions longues : à mesure que les échanges se multiplient, certaines parties de la formation à la sécurité du modèle peuvent se dégrader.
Par exemple, ChatGPT peut correctement indiquer un numéro d'urgence pour les personnes suicidaires lorsqu'une personne mentionne pour la première fois son intention, mais après de nombreux messages échangés sur une longue période, il peut finir par proposer une réponse qui va à l'encontre de nos mesures de sécurité.
C'est exactement le type de défaillance que nous nous efforçons d'éviter. Nous renforçons ces mesures d'atténuation afin qu'elles restent fiables dans les conversations longues, et nous recherchons des moyens de garantir un comportement robuste dans plusieurs conversations. Ainsi, si une personne exprime son intention de se suicider dans un chat et en commence un autre plus tard, le modèle peut toujours répondre de manière appropriée.
Par exemple, ChatGPT peut correctement indiquer un numéro d'urgence pour les personnes suicidaires lorsqu'une personne mentionne pour la première fois son intention, mais après de nombreux messages échangés sur une longue période, il peut finir par proposer une réponse qui va à l'encontre de nos mesures de sécurité.
C'est exactement le type de défaillance que nous nous efforçons d'éviter. Nous renforçons ces mesures d'atténuation afin qu'elles restent fiables dans les conversations longues, et nous recherchons des moyens de garantir un comportement robuste dans plusieurs conversations. Ainsi, si une personne exprime son intention de se suicider dans un chat et en commence un autre plus tard, le modèle peut toujours répondre de manière appropriée.
Accusations portées contre OpenAI et Sam Altman
Les parents, représentés par l'avocat Jay Edelson, accusent OpenAI et son PDG Sam Altman d’avoir privilégié la vitesse de mise sur le marché au détriment de la sécurité. La plainte soutient que la sortie de GPT-4o a été précipitée, malgré les demandes de prolonger les tests de sécurité.
OpenAI n'est pas le premier fabricant de chatbots à être accusé de manquements à la sécurité ayant entraîné la mort d'un adolescent. L'année dernière, Character.AI a mis à jour ses fonctionnalités de sécurité après qu'un garçon de 14 ans se soit suicidé après être tombé amoureux de son compagnon chatbot, qui portait le nom de son personnage préféré de Game of Thrones. Sa mère a porté plainte.
À l'heure actuelle, le potentiel des chatbots à encourager les fantasmes délirants chez les utilisateurs de tous âges commence à être mieux connu. Mais le cas des Raines montre que certains parents sont encore surpris que leurs adolescents puissent développer des attachements toxiques à des robots compagnons qu'ils considéraient auparavant comme de simples outils de recherche.
L'affaire de cette famille marque la première fois qu'OpenAI est poursuivie par une famille pour la mort injustifiée d'un adolescent. D'autres plaintes contestent les défauts de conception présumés de ChatGPT et le fait qu'OpenAI n'ait pas averti les parents.
Vers une régulation renforcée et responsabilité accrue
En réponse, OpenAI a exprimé ses condoléances et annoncé que GPT-5 intègre de meilleurs outils d’intervention en cas de crise, des contrôles parentaux et un dispositif d’emergency contact, ainsi qu’une orientation plus ferme vers l’aide psychologique.
Envoyé par OpenAI
En août, nous avons lancé GPT-5 comme modèle par défaut alimentant ChatGPT. Dans l'ensemble, GPT-5 a montré des améliorations significatives dans des domaines tels que la prévention d'une dépendance émotionnelle malsaine, la réduction de la flagornerie et la réduction de plus de 25 % par rapport à 4o de la prévalence des réponses non idéales du modèle dans les urgences de santé mentale. GPT-5 s'appuie également sur une nouvelle méthode de formation à la sécurité appelée « safe completions », qui apprend au modèle à être aussi utile que possible tout en restant dans les limites de sécurité. Cela peut signifier donner une réponse partielle ou générale plutôt que des détails qui pourraient être dangereux.
Comment la situation en est arrivée là ?
Adam a commencé à discuter de la fin de sa vie avec ChatGPT environ un an après avoir souscrit un abonnement payant début 2024. Ni sa mère, assistante sociale et thérapeute, ni ses amis n'ont remarqué que sa santé...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
depuis je fuis comme la peste les shorts même sur YT je ne les regarde pas c"est entre la profonde stupidité et le cauchemar. mais on vous l'impose... on vous les met devant le nez... seule solution ; se couper de ce monde abominable et en pleine dérive pathologique et utiliser l'outil comme un outil. 
ça devrait être interdit pour le coup. cf. site officiel réplika: "La version payante coûte 68.99 £/an ou 5.75 £/mois. Replika seuls les utilisateurs de 18 ans et plus sont autorisés à utiliser l'application. Cependant, aucune vérification d'âge n'est effectuée. Cela signifie que tout le monde peut utiliser l'application en indiquant simplement avoir au moins 18 ans." Quelle tartufferie 
De toute façon je serai certainement plus costaud que lui mais enfin tout de même tout de même ce n'est pas hors chiarte y'a pas de problème, non il y a un problème et il faudra que ça passe en justice et à mon sens ne soyons pas naïfs, ça ne passera en justice que quand Trump et Poutine seront passés devant la justice eux mêmes et là on verra tous ces grands entrepreneurs la queue entre les jambes ; ça sera un grand moment de libération et de démocratie. Il va falloir patienter et d'ici là espérons qu'il n'y ait pas trop de casse, mais je suis patient comme la mule du Pape.