OpenAI annonce la mise en place d'un contrôle parental pour ChatGPT après le suicide d'un adolescent. La société spécialisée dans l'IA annonce des changements alors que les inquiétudes grandissent quant à l'impact des chatbots sur la santé mentale des jeunes. Grâce à ces changements, les parents pourront associer leurs comptes ChatGPT à ceux de leurs enfants, désactiver certaines fonctionnalités, notamment la mémoire et l'historique des conversations, et contrôler la manière dont le chatbot répond aux questions grâce à des « règles de comportement adaptées à l'âge ».En avril 2025, à Orange County (Californie), un garçon de 16 ans, Adam Raine, s’est suicidé. Lorsqu'ils ont consulté ses appareils, ses parents ont découvert des conversations troublantes avec ChatGPT. Selon la plainte déposée le 26 août 2025 auprès de la cour supérieure de San Francisco, celui-ci, loin de dissuader l'adolescent, aurait fourni des conseils détaillés, réconforté ses idées suicidaires et même composé des notes de suicide.
Ce cas montre l'impact néfaste de l'intelligence artificielle (IA) sur la santé mentale des jeunes. Face à la controverse grandissante, OpenAI a annoncé son intention d'introduire un contrôle parental pour ChatGPT. L'entreprise californienne spécialisée dans l'IA a déclaré qu'elle déployait ces fonctionnalités afin de répondre aux besoins des familles qui ont besoin d'aide « pour établir des règles saines adaptées au stade de développement particulier des adolescents ».
Grâce à ces changements, les parents pourront associer leurs comptes ChatGPT à ceux de leurs enfants, désactiver certaines fonctionnalités, notamment la mémoire et l'historique des conversations, et contrôler la manière dont le chatbot répond aux questions grâce à des « règles de comportement adaptées à l'âge ». Les parents pourront également recevoir des notifications lorsque leur adolescent montre des signes de détresse, a déclaré OpenAI, ajoutant qu'elle ferait appel à des experts pour mettre en œuvre cette fonctionnalité afin de « renforcer la confiance entre les parents et les adolescents ».
OpenAI, qui a annoncé une série de mesures visant à renforcer la sécurité des utilisateurs vulnérables, a déclaré que ces changements entreraient en vigueur dans le mois à venir. « Ces mesures ne sont qu'un début », a déclaré la société. « Nous continuerons à apprendre et à renforcer notre approche, guidés par des experts, dans le but de rendre ChatGPT aussi utile que possible. Nous sommes impatients de partager nos progrès au cours des 120 prochains jours. »
L'annonce d'OpenAI intervient une semaine après qu'un couple californien a intenté un procès accusant la société d'être responsable du suicide de leur fils de 16 ans. Matt et Maria Raine affirment dans leur plainte que ChatGPT a validé les « pensées les plus néfastes et autodestructrices » de leur fils Adam et que sa mort était « le résultat prévisible de choix de conception délibérés ». OpenAI, qui avait précédemment exprimé ses condoléances suite au décès de l'adolescent, n'a pas explicitement mentionné cette affaire dans son annonce concernant le contrôle parental.
Jay Edelson, l'avocat qui représente la famille Raine dans cette affaire, a rejeté les changements prévus par OpenAI, les qualifiant de tentative de « détourner le débat ». « Ils disent que le produit devrait simplement être plus sensible aux personnes en crise, être plus « utile », faire preuve d'un peu plus d'« empathie », et que les experts vont trouver une solution », a déclaré Edelson dans un communiqué. « Nous comprenons, d'un point de vue stratégique, pourquoi ils veulent cela : OpenAI ne peut pas répondre à ce qui est réellement arrivé à Adam. Car le cas d'Adam ne concerne pas le fait que ChatGPT n'ait pas été « utile », mais plutôt qu'un produit ait activement poussé un adolescent au suicide. »
L'utilisation de modèles d'IA par des personnes souffrant de troubles mentaux graves suscite de plus en plus d'inquiétudes, alors que ces modèles sont de plus en plus largement adoptés comme substituts à un thérapeute ou à un ami.
Dans une étude publiée le mois dernier dans Psychiatric Services, des chercheurs ont constaté que ChatGPT, Gemini de Google et Claude d'Anthropic suivaient les meilleures pratiques cliniques lorsqu'ils répondaient à des questions à haut risque sur le suicide, mais qu'ils étaient incohérents lorsqu'ils répondaient à des questions présentant un « niveau de risque intermédiaire ». « Ces résultats suggèrent qu'il est nécessaire d'affiner davantage les modèles afin de garantir que les LLM puissent être utilisés de manière sûre et efficace pour diffuser des informations sur la santé mentale, en particulier dans les situations à haut risque impliquant des idées suicidaires », ont déclaré les auteurs.
Hamilton Morrin, psychiatre au King's College de Londres qui a mené des recherches sur la psychose liée à l'IA, a salué la décision d'OpenAI d'introduire des contrôles parentaux, affirmant qu'ils pourraient potentiellement réduire le risque de dépendance excessive ou d'exposition à des contenus préjudiciables. « Cela dit, les contrôles parentaux doivent être considérés comme un élément parmi d'autres d'un ensemble plus large de mesures de protection, plutôt que comme une solution en soi. D'une manière générale, je dirais que la réponse de l'industrie technologique aux risques pour la santé mentale a souvent été réactive plutôt que proactive », a déclaré Morrin. « Des progrès ont été réalisés, mais les entreprises pourraient aller plus loin en collaborant avec des cliniciens, des chercheurs et des groupes d'expérience vécue afin de mettre en place des systèmes axés sur la sécurité dès le départ, plutôt que de s'appuyer sur des mesures ajoutées après que des préoccupations ont été soulevées. »
Cet évènement rappelle le cas de Sewell Setzer III, 14 ans, qui s'est suicidé quelques minutes après avoir parlé à un chatbot IA de la société Character.ai. Le chatbot avec lequel Setzer parlait était basé sur le personnage de Game of Thrones, Daenerys Targaryen. Sa mère, Megan Garcia,...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
Envoyé par Artaeus
