OpenAI annonce la mise en place d'un contrôle parental pour ChatGPT après le suicide d'un adolescent. La société spécialisée dans l'IA annonce des changements alors que les inquiétudes grandissent quant à l'impact des chatbots sur la santé mentale des jeunes. Grâce à ces changements, les parents pourront associer leurs comptes ChatGPT à ceux de leurs enfants, désactiver certaines fonctionnalités, notamment la mémoire et l'historique des conversations, et contrôler la manière dont le chatbot répond aux questions grâce à des « règles de comportement adaptées à l'âge ».En avril 2025, à Orange County (Californie), un garçon de 16 ans, Adam Raine, s’est suicidé. Lorsqu'ils ont consulté ses appareils, ses parents ont découvert des conversations troublantes avec ChatGPT. Selon la plainte déposée le 26 août 2025 auprès de la cour supérieure de San Francisco, celui-ci, loin de dissuader l'adolescent, aurait fourni des conseils détaillés, réconforté ses idées suicidaires et même composé des notes de suicide.
Ce cas montre l'impact néfaste de l'intelligence artificielle (IA) sur la santé mentale des jeunes. Face à la controverse grandissante, OpenAI a annoncé son intention d'introduire un contrôle parental pour ChatGPT. L'entreprise californienne spécialisée dans l'IA a déclaré qu'elle déployait ces fonctionnalités afin de répondre aux besoins des familles qui ont besoin d'aide « pour établir des règles saines adaptées au stade de développement particulier des adolescents ».
Grâce à ces changements, les parents pourront associer leurs comptes ChatGPT à ceux de leurs enfants, désactiver certaines fonctionnalités, notamment la mémoire et l'historique des conversations, et contrôler la manière dont le chatbot répond aux questions grâce à des « règles de comportement adaptées à l'âge ». Les parents pourront également recevoir des notifications lorsque leur adolescent montre des signes de détresse, a déclaré OpenAI, ajoutant qu'elle ferait appel à des experts pour mettre en œuvre cette fonctionnalité afin de « renforcer la confiance entre les parents et les adolescents ».
OpenAI, qui a annoncé une série de mesures visant à renforcer la sécurité des utilisateurs vulnérables, a déclaré que ces changements entreraient en vigueur dans le mois à venir. « Ces mesures ne sont qu'un début », a déclaré la société. « Nous continuerons à apprendre et à renforcer notre approche, guidés par des experts, dans le but de rendre ChatGPT aussi utile que possible. Nous sommes impatients de partager nos progrès au cours des 120 prochains jours. »
L'annonce d'OpenAI intervient une semaine après qu'un couple californien a intenté un procès accusant la société d'être responsable du suicide de leur fils de 16 ans. Matt et Maria Raine affirment dans leur plainte que ChatGPT a validé les « pensées les plus néfastes et autodestructrices » de leur fils Adam et que sa mort était « le résultat prévisible de choix de conception délibérés ». OpenAI, qui avait précédemment exprimé ses condoléances suite au décès de l'adolescent, n'a pas explicitement mentionné cette affaire dans son annonce concernant le contrôle parental.
Jay Edelson, l'avocat qui représente la famille Raine dans cette affaire, a rejeté les changements prévus par OpenAI, les qualifiant de tentative de « détourner le débat ». « Ils disent que le produit devrait simplement être plus sensible aux personnes en crise, être plus « utile », faire preuve d'un peu plus d'« empathie », et que les experts vont trouver une solution », a déclaré Edelson dans un communiqué. « Nous comprenons, d'un point de vue stratégique, pourquoi ils veulent cela : OpenAI ne peut pas répondre à ce qui est réellement arrivé à Adam. Car le cas d'Adam ne concerne pas le fait que ChatGPT n'ait pas été « utile », mais plutôt qu'un produit ait activement poussé un adolescent au suicide. »
L'utilisation de modèles d'IA par des personnes souffrant de troubles mentaux graves suscite de plus en plus d'inquiétudes, alors que ces modèles sont de plus en plus largement adoptés comme substituts à un thérapeute ou à un ami.
Dans une étude publiée le mois dernier dans Psychiatric Services, des chercheurs ont constaté que ChatGPT, Gemini de Google et Claude d'Anthropic suivaient les meilleures pratiques cliniques lorsqu'ils répondaient à des questions à haut risque sur le suicide, mais qu'ils étaient incohérents lorsqu'ils répondaient à des questions présentant un « niveau de risque intermédiaire ». « Ces résultats suggèrent qu'il est nécessaire d'affiner davantage les modèles afin de garantir que les LLM puissent être utilisés de manière sûre et efficace pour diffuser des informations sur la santé mentale, en particulier dans les situations à haut risque impliquant des idées suicidaires », ont déclaré les auteurs.
Hamilton Morrin, psychiatre au King's College de Londres qui a mené des recherches sur la psychose liée à l'IA, a salué la décision d'OpenAI d'introduire des contrôles parentaux, affirmant qu'ils pourraient potentiellement réduire le risque de dépendance excessive ou d'exposition à des contenus préjudiciables. « Cela dit, les contrôles parentaux doivent être considérés comme un élément parmi d'autres d'un ensemble plus large de mesures de protection, plutôt que comme une solution en soi. D'une manière générale, je dirais que la réponse de l'industrie technologique aux risques pour la santé mentale a souvent été réactive plutôt que proactive », a déclaré Morrin. « Des progrès ont été réalisés, mais les entreprises pourraient aller plus loin en collaborant avec des cliniciens, des chercheurs et des groupes d'expérience vécue afin de mettre en place des systèmes axés sur la sécurité dès le départ, plutôt que de s'appuyer sur des mesures ajoutées après que des préoccupations ont été soulevées. »
Cet évènement rappelle le cas de Sewell Setzer III, 14 ans, qui s'est suicidé quelques minutes après avoir parlé à un chatbot IA de la société Character.ai. Le chatbot avec lequel Setzer parlait était basé sur le personnage de Game of Thrones, Daenerys Targaryen. Sa mère, Megan Garcia, a porté plainte contre Google et Character.ai et rend le chatbot responsable de la mort de son fils. Elle accuse notamment Character.ai de négligence, de mort injustifiée et de pratiques commerciales trompeuses.
Garcia affirme que la société d'intelligence artificielle a "sciemment et intentionnellement conçu" son logiciel de chatbot pour "attirer les mineurs, les manipuler et les exploiter à son profit". Elle affirme également que Setzer n'a pas bénéficié d'un soutien adéquat et n'a pas été orienté vers des services d'assistance téléphonique. Le pire, c'est que la mère a découvert que des chatbots d'IA basés sur son défunt fils étaient hébergés sur la plateforme.
Voici le communiqué d'OpenAI :
[QUOTE]Créer des expériences ChatGPT plus utiles pour tous
Nous travaillons sans relâche pour rendre ChatGPT aussi utile que possible. Nous avons vu des personnes se tourner vers cet outil dans les moments les plus difficiles. C'est pourquoi nous continuons à améliorer la façon dont nos modèles reconnaissent et réagissent aux signes de détresse mentale et émotionnelle, en nous appuyant sur l'avis d'experts.
Ce travail est déjà en cours, mais nous souhaitons vous présenter de manière proactive nos projets pour les 120 prochains jours, afin que vous n'ayez pas à attendre leur lancement pour savoir où nous allons. Ce travail se poursuivra bien au-delà de cette période, mais nous nous efforçons de mettre en œuvre autant d'améliorations que possible cette année.
La semaine dernière, nous avons présenté quatre domaines d'action prioritaires pour aider les personnes qui en ont le plus besoin :
- Étendre les interventions à un plus grand nombre de personnes en situation de crise.
- Faciliter encore davantage l'accès aux services d'urgence et à l'aide d'experts.
- Permettre la mise en relation avec des contacts de confiance.
- Renforcer la protection des adolescents.
Certaines de ces mesures seront mises en œuvre très rapidement, tandis que d'autres prendront plus de temps.
Aujourd'hui, nous vous en disons plus sur la manière dont nous collaborons avec des experts pour orienter notre travail, en tirant parti de nos modèles de raisonnement pour les moments sensibles, ainsi que sur l'un de nos domaines d'action prioritaires : le renforcement de la protection des adolescents.
Collaboration avec des experts
L'IA est une technologie nouvelle et en constante évolution, et nous voulons nous assurer que nos progrès s'appuient sur une expertise approfondie en matière de bien-être et de santé mentale. Ensemble, notre Conseil d'experts sur le bien-être et l'IA et notre réseau mondial de médecins nous apportent à la fois l'expertise médicale spécialisée et la perspective globale nécessaires pour éclairer notre approche. Nous vous en dirons plus sur ces efforts au cours de notre initiative de 120 jours.
Conseil d'experts sur le bien-être et l'IA
Au début de l'année, nous avons commencé à réunir un conseil d'experts en développement de la jeunesse, santé mentale et interaction homme-machine. Le rôle de ce conseil est de définir une vision claire et fondée sur des preuves de la manière dont l'IA peut contribuer au bien-être des personnes et les aider à s'épanouir.
Leurs contributions nous aideront à définir et à mesurer le bien-être, à établir des priorités et à concevoir des mesures de protection futures, telles que de nouvelles versions du contrôle parental, en tenant compte des dernières recherches. Bien que le conseil nous conseille sur nos décisions en matière de produits, de recherche et de politique, OpenAI reste responsable des choix que nous faisons.
Réseau mondial de médecins
Ce conseil travaillera en tandem avec notre réseau mondial de médecins, un groupe plus large de plus de 250 médecins ayant exercé dans 60 pays, avec lequel nous avons collaboré au cours de l'année écoulée dans le cadre d'initiatives telles que nos évaluations de santé, qui visent à mieux mesurer les capacités des systèmes d'IA dans le domaine de la santé.
Parmi ce groupe plus large, plus de 90 médecins de 30 pays, dont des psychiatres, des pédiatres et des généralistes, ont déjà contribué à nos recherches sur le comportement de nos modèles dans le domaine de la santé mentale. Leurs contributions alimentent directement nos recherches sur la sécurité, la formation des modèles et d'autres interventions, ce qui nous aide à faire rapidement appel aux spécialistes appropriés lorsque cela est nécessaire.
Nous ajoutons encore plus...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
Envoyé par Artaeus
