OpenAI annonce la mise en place d'un contrôle parental pour ChatGPT après le suicide d'un adolescent, qui permettra aux parents de recevoir des notifications si ChatGPT détecte une « détresse aiguë ».OpenAI annonce la mise en place d'un contrôle parental pour ChatGPT après le suicide d'un adolescent. La société spécialisée dans l'IA annonce des changements alors que les inquiétudes grandissent quant à l'impact des chatbots sur la santé mentale des jeunes. Grâce à ces changements, les parents pourront associer leurs comptes ChatGPT à ceux de leurs enfants, désactiver certaines fonctionnalités, notamment la mémoire et l'historique des conversations, et contrôler la manière dont le chatbot répond aux questions grâce à des « règles de comportement adaptées à l'âge ».
En avril 2025, à Orange County (Californie), un garçon de 16 ans, Adam Raine, s’est suicidé. Lorsqu'ils ont consulté ses appareils, ses parents ont découvert des conversations troublantes avec ChatGPT. Selon la plainte déposée le 26 août 2025 auprès de la cour supérieure de San Francisco, celui-ci, loin de dissuader l'adolescent, aurait fourni des conseils détaillés, réconforté ses idées suicidaires et même composé des notes de suicide.
Ce cas montre l'impact néfaste de l'intelligence artificielle (IA) sur la santé mentale des jeunes. Face à la controverse grandissante, OpenAI a annoncé son intention d'introduire un contrôle parental pour ChatGPT. L'entreprise californienne spécialisée dans l'IA a déclaré qu'elle déployait ces fonctionnalités afin de répondre aux besoins des familles qui ont besoin d'aide « pour établir des règles saines adaptées au stade de développement particulier des adolescents ».
Grâce à ces changements, les parents pourront associer leurs comptes ChatGPT à ceux de leurs enfants, désactiver certaines fonctionnalités, notamment la mémoire et l'historique des conversations, et contrôler la manière dont le chatbot répond aux questions grâce à des « règles de comportement adaptées à l'âge ». Les parents pourront également recevoir des notifications lorsque leur adolescent montre des signes de détresse, a déclaré OpenAI, ajoutant qu'elle ferait appel à des experts pour mettre en œuvre cette fonctionnalité afin de « renforcer la confiance entre les parents et les adolescents ».
OpenAI, qui a annoncé une série de mesures visant à renforcer la sécurité des utilisateurs vulnérables, a déclaré que ces changements entreraient en vigueur dans le mois à venir. « Ces mesures ne sont qu'un début », a déclaré la société. « Nous continuerons à apprendre et à renforcer notre approche, guidés par des experts, dans le but de rendre ChatGPT aussi utile que possible. Nous sommes impatients de partager nos progrès au cours des 120 prochains jours. »
L'annonce d'OpenAI intervient une semaine après qu'un couple californien a intenté un procès accusant la société d'être responsable du suicide de leur fils de 16 ans. Matt et Maria Raine affirment dans leur plainte que ChatGPT a validé les « pensées les plus néfastes et autodestructrices » de leur fils Adam et que sa mort était « le résultat prévisible de choix de conception délibérés ». OpenAI, qui avait précédemment exprimé ses condoléances suite au décès de l'adolescent, n'a pas explicitement mentionné cette affaire dans son annonce concernant le contrôle parental.
Jay Edelson, l'avocat qui représente la famille Raine dans cette affaire, a rejeté les changements prévus par OpenAI, les qualifiant de tentative de « détourner le débat ». « Ils disent que le produit devrait simplement être plus sensible aux personnes en crise, être plus « utile », faire preuve d'un peu plus d'« empathie », et que les experts vont trouver une solution », a déclaré Edelson dans un communiqué. « Nous comprenons, d'un point de vue stratégique, pourquoi ils veulent cela : OpenAI ne peut pas répondre à ce qui est réellement arrivé à Adam. Car le cas d'Adam ne concerne pas le fait que ChatGPT n'ait pas été « utile », mais plutôt qu'un produit ait activement poussé un adolescent au suicide. »
L'utilisation de modèles d'IA par des personnes souffrant de troubles mentaux graves suscite de plus en plus d'inquiétudes, alors que ces modèles sont de plus en plus largement adoptés comme substituts à un thérapeute ou à un ami.
Dans une étude publiée le mois dernier dans Psychiatric Services, des chercheurs ont constaté que ChatGPT, Gemini de Google et Claude d'Anthropic suivaient les meilleures pratiques cliniques lorsqu'ils répondaient à des questions à haut risque sur le suicide, mais qu'ils étaient incohérents lorsqu'ils répondaient à des questions présentant un « niveau de risque intermédiaire ». « Ces résultats suggèrent qu'il est nécessaire d'affiner davantage les modèles afin de garantir que les LLM puissent être utilisés de manière sûre et efficace pour diffuser des informations sur la santé mentale, en particulier dans les situations à haut risque impliquant des idées suicidaires », ont déclaré les auteurs.
Hamilton Morrin, psychiatre au King's College de Londres qui a mené des recherches sur la psychose liée à l'IA, a salué la décision d'OpenAI d'introduire des contrôles parentaux, affirmant qu'ils pourraient potentiellement réduire le risque de dépendance excessive ou d'exposition à des contenus préjudiciables. « Cela dit, les contrôles parentaux doivent être considérés comme un élément parmi d'autres d'un ensemble plus large de mesures de protection, plutôt que comme une solution en soi. D'une manière générale, je dirais que la réponse de l'industrie technologique aux risques pour la santé mentale a souvent été réactive plutôt que proactive », a déclaré Morrin. « Des progrès ont été réalisés, mais les entreprises pourraient aller plus loin en collaborant avec des cliniciens, des chercheurs et des groupes d'expérience vécue afin de mettre en place des systèmes axés sur la sécurité dès le départ, plutôt que de s'appuyer sur des mesures ajoutées après que des préoccupations ont été soulevées. »
Cet évènement rappelle le cas de Sewell Setzer III, 14 ans, qui s'est suicidé quelques minutes après avoir parlé à un chatbot IA de la société Character.ai. Le chatbot avec lequel Setzer parlait était basé sur le personnage de Game of Thrones, Daenerys Targaryen. Sa mère, Megan Garcia, a porté plainte contre Google et Character.ai et rend le chatbot responsable de la mort de son fils. Elle accuse notamment Character.ai de négligence, de mort injustifiée et de pratiques commerciales trompeuses.
Garcia affirme que la société d'intelligence artificielle a "sciemment et intentionnellement conçu" son logiciel de chatbot pour "attirer les mineurs, les manipuler et les exploiter à son profit". Elle affirme également que Setzer n'a pas bénéficié d'un soutien adéquat et n'a pas été orienté vers des services d'assistance téléphonique. Le pire, c'est que la mère a découvert que des chatbots d'IA basés sur son défunt fils étaient hébergés sur la plateforme.
Voici le communiqué d'OpenAI :
Créer des expériences ChatGPT plus utiles pour tous
Nous travaillons sans relâche pour rendre ChatGPT aussi utile que possible. Nous avons vu des personnes se tourner vers cet outil dans les moments les plus difficiles. C'est pourquoi nous continuons à améliorer la façon dont nos modèles reconnaissent et réagissent aux signes de détresse mentale et émotionnelle, en nous appuyant sur l'avis d'experts.
Ce travail est déjà en cours, mais nous souhaitons vous présenter de manière proactive nos projets pour les 120 prochains jours, afin que vous n'ayez pas à attendre leur lancement pour savoir où nous allons. Ce travail se poursuivra bien au-delà de cette période, mais nous nous efforçons de mettre en œuvre autant d'améliorations que possible cette année.
La semaine dernière, nous avons présenté quatre domaines d'action prioritaires pour aider les personnes qui en ont le plus besoin :
Certaines de ces mesures seront mises en œuvre très rapidement, tandis que d'autres prendront plus de temps.
Aujourd'hui, nous vous en disons plus sur la manière dont nous collaborons avec des experts pour orienter notre travail, en tirant parti de nos modèles de raisonnement pour les moments sensibles, ainsi que sur l'un de nos domaines d'action prioritaires : le renforcement de la protection des adolescents.
Collaboration avec des experts
L'IA est une technologie nouvelle et en constante évolution, et nous voulons nous assurer que nos progrès s'appuient sur une expertise approfondie en matière de bien-être et de santé mentale. Ensemble, notre Conseil d'experts sur le bien-être et l'IA et notre réseau mondial de médecins nous apportent à la fois l'expertise médicale spécialisée et la perspective globale nécessaires pour éclairer notre approche. Nous vous en dirons plus sur ces efforts au cours de notre initiative de 120 jours.
Conseil d'experts sur le bien-être et l'IA
Au début de l'année, nous avons commencé à réunir un conseil d'experts en développement de la jeunesse, santé mentale et interaction homme-machine. Le rôle de ce conseil est de définir une vision claire et fondée sur des preuves de la manière dont l'IA peut contribuer au bien-être des personnes et les aider à s'épanouir.
Leurs contributions nous aideront à définir et à mesurer le bien-être, à établir des priorités et à concevoir des mesures de protection futures, telles que de nouvelles versions du contrôle parental, en tenant compte des dernières recherches. Bien que le conseil nous conseille sur nos décisions en matière de produits, de recherche et de politique, OpenAI reste responsable des choix que nous faisons.
Réseau mondial de médecins
Ce conseil travaillera en tandem avec notre réseau mondial de médecins, un groupe plus large de plus de 250 médecins ayant exercé dans 60 pays, avec lequel nous avons collaboré au cours de l'année écoulée dans le cadre d'initiatives telles que nos évaluations de santé, qui visent à mieux mesurer les capacités des systèmes d'IA dans le domaine de la santé.
Parmi ce groupe plus large, plus de 90 médecins de 30 pays, dont des psychiatres, des pédiatres et des généralistes, ont déjà contribué à nos recherches sur le comportement de nos modèles dans le domaine de la santé mentale. Leurs contributions alimentent directement nos recherches sur la sécurité, la formation des modèles et d'autres interventions, ce qui nous aide à faire rapidement appel aux spécialistes appropriés lorsque cela est nécessaire.
Nous ajoutons encore plus de cliniciens et de chercheurs à notre réseau, notamment ceux qui possèdent une expertise approfondie dans des domaines tels que les troubles alimentaires, la consommation de substances et la santé des adolescents.
Tirer parti des modèles de raisonnement pour les moments sensibles
Nos modèles de raisonnement, tels que GPT-5-thinking et o3, sont conçus pour passer plus de temps à réfléchir et à raisonner en fonction du contexte avant de répondre. Formés à l'aide d'une méthode que nous appelons « alignement délibératif », nos tests montrent(s'ouvre dans une nouvelle fenêtre) que les modèles de raisonnement suivent et appliquent de manière plus cohérente les directives de sécurité et sont plus résistants aux incitations adverses.
Nous avons récemment introduit un routeur en temps réel qui peut choisir entre des modèles de chat efficaces et des modèles de raisonnement en fonction du contexte de la conversation. Nous commencerons bientôt à acheminer certaines conversations sensibles, par exemple lorsque notre système détecte des signes de détresse aiguë, vers un modèle de raisonnement, tel que GPT-5-thinking, afin qu'il puisse fournir des réponses plus utiles et bénéfiques, quel que soit le modèle initialement sélectionné par la personne. Nous itérerons cette approche de manière réfléchie.
Renforcement des protections pour les adolescents
De nombreux jeunes utilisent déjà l'IA. Ils font partie des premiers « natifs de l'IA », ayant grandi avec ces outils dans leur vie quotidienne, tout comme les générations précédentes l'ont fait avec Internet ou les smartphones. Cela crée de réelles opportunités de soutien, d'apprentissage et de créativité, mais cela signifie également que les familles et les adolescents peuvent avoir besoin d'aide pour établir des règles saines adaptées au stade de développement unique des adolescents.
Contrôle parental
Au début de l'année, nous avons commencé à mettre en place de nouveaux moyens permettant aux familles d'utiliser ChatGPT ensemble et de décider de ce qui fonctionne le mieux chez elles. D'ici le mois prochain, les parents pourront :
Ces contrôles s'ajoutent aux fonctionnalités que nous avons déployées pour tous les utilisateurs, notamment des rappels dans l'application pendant les longues sessions afin d'encourager les pauses.
Ces mesures ne sont qu'un début. Nous continuerons à apprendre et à renforcer notre approche, guidés par des experts, dans le but de rendre ChatGPT aussi utile que possible. Nous sommes impatients de partager nos progrès au cours des 120 prochains jours.
Nous travaillons sans relâche pour rendre ChatGPT aussi utile que possible. Nous avons vu des personnes se tourner vers cet outil dans les moments les plus difficiles. C'est pourquoi nous continuons à améliorer la façon dont nos modèles reconnaissent et réagissent aux signes de détresse mentale et émotionnelle, en nous appuyant sur l'avis d'experts.
Ce travail est déjà en cours, mais nous souhaitons vous présenter de manière proactive nos projets pour les 120 prochains jours, afin que vous n'ayez pas à attendre leur lancement pour savoir où nous allons. Ce travail se poursuivra bien au-delà de cette période, mais nous nous efforçons de mettre en œuvre autant d'améliorations que possible cette année.
La semaine dernière, nous avons présenté quatre domaines d'action prioritaires pour aider les personnes qui en ont le plus besoin :
- Étendre les interventions à un plus grand nombre de personnes en situation de crise.
- Faciliter encore davantage l'accès aux services d'urgence et à l'aide d'experts.
- Permettre la mise en relation avec des contacts de confiance.
- Renforcer la protection des adolescents.
Certaines de ces mesures seront mises en œuvre très rapidement, tandis que d'autres prendront plus de temps.
Aujourd'hui, nous vous en disons plus sur la manière dont nous collaborons avec des experts pour orienter notre travail, en tirant parti de nos modèles de raisonnement pour les moments sensibles, ainsi que sur l'un de nos domaines d'action prioritaires : le renforcement de la protection des adolescents.
Collaboration avec des experts
L'IA est une technologie nouvelle et en constante évolution, et nous voulons nous assurer que nos progrès s'appuient sur une expertise approfondie en matière de bien-être et de santé mentale. Ensemble, notre Conseil d'experts sur le bien-être et l'IA et notre réseau mondial de médecins nous apportent à la fois l'expertise médicale spécialisée et la perspective globale nécessaires pour éclairer notre approche. Nous vous en dirons plus sur ces efforts au cours de notre initiative de 120 jours.
Conseil d'experts sur le bien-être et l'IA
Au début de l'année, nous avons commencé à réunir un conseil d'experts en développement de la jeunesse, santé mentale et interaction homme-machine. Le rôle de ce conseil est de définir une vision claire et fondée sur des preuves de la manière dont l'IA peut contribuer au bien-être des personnes et les aider à s'épanouir.
Leurs contributions nous aideront à définir et à mesurer le bien-être, à établir des priorités et à concevoir des mesures de protection futures, telles que de nouvelles versions du contrôle parental, en tenant compte des dernières recherches. Bien que le conseil nous conseille sur nos décisions en matière de produits, de recherche et de politique, OpenAI reste responsable des choix que nous faisons.
Réseau mondial de médecins
Ce conseil travaillera en tandem avec notre réseau mondial de médecins, un groupe plus large de plus de 250 médecins ayant exercé dans 60 pays, avec lequel nous avons collaboré au cours de l'année écoulée dans le cadre d'initiatives telles que nos évaluations de santé, qui visent à mieux mesurer les capacités des systèmes d'IA dans le domaine de la santé.
Parmi ce groupe plus large, plus de 90 médecins de 30 pays, dont des psychiatres, des pédiatres et des généralistes, ont déjà contribué à nos recherches sur le comportement de nos modèles dans le domaine de la santé mentale. Leurs contributions alimentent directement nos recherches sur la sécurité, la formation des modèles et d'autres interventions, ce qui nous aide à faire rapidement appel aux spécialistes appropriés lorsque cela est nécessaire.
Nous ajoutons encore plus de cliniciens et de chercheurs à notre réseau, notamment ceux qui possèdent une expertise approfondie dans des domaines tels que les troubles alimentaires, la consommation de substances et la santé des adolescents.
Tirer parti des modèles de raisonnement pour les moments sensibles
Nos modèles de raisonnement, tels que GPT-5-thinking et o3, sont conçus pour passer plus de temps à réfléchir et à raisonner en fonction du contexte avant de répondre. Formés à l'aide d'une méthode que nous appelons « alignement délibératif », nos tests montrent(s'ouvre dans une nouvelle fenêtre) que les modèles de raisonnement suivent et appliquent de manière plus cohérente les directives de sécurité et sont plus résistants aux incitations adverses.
Nous avons récemment introduit un routeur en temps réel qui peut choisir entre des modèles de chat efficaces et des modèles de raisonnement en fonction du contexte de la conversation. Nous commencerons bientôt à acheminer certaines conversations sensibles, par exemple lorsque notre système détecte des signes de détresse aiguë, vers un modèle de raisonnement, tel que GPT-5-thinking, afin qu'il puisse fournir des réponses plus utiles et bénéfiques, quel que soit le modèle initialement sélectionné par la personne. Nous itérerons cette approche de manière réfléchie.
Renforcement des protections pour les adolescents
De nombreux jeunes utilisent déjà l'IA. Ils font partie des premiers « natifs de l'IA », ayant grandi avec ces outils dans leur vie quotidienne, tout comme les générations précédentes l'ont fait avec Internet ou les smartphones. Cela crée de réelles opportunités de soutien, d'apprentissage et de créativité, mais cela signifie également que les familles et les adolescents peuvent avoir besoin d'aide pour établir des règles saines adaptées au stade de développement unique des adolescents.
Contrôle parental
Au début de l'année, nous avons commencé à mettre en place de nouveaux moyens permettant aux familles d'utiliser ChatGPT ensemble et de décider de ce qui fonctionne le mieux chez elles. D'ici le mois prochain, les parents pourront :
- Lier leur compte à celui de leur adolescent (âgé d'au moins 13 ans) grâce à une simple invitation par e-mail.
- Contrôler la manière dont ChatGPT répond à leur adolescent grâce à des règles de comportement adaptées à son âge, qui sont activées par défaut.
- Gérer les fonctionnalités à désactiver, notamment la mémoire et l'historique des conversations.
- Recevoir des notifications lorsque le système détecte que leur adolescent est en situation de détresse aiguë. L'avis d'experts guidera cette fonctionnalité afin de renforcer la confiance entre les parents et les adolescents.
Ces contrôles s'ajoutent aux fonctionnalités que nous avons déployées pour tous les utilisateurs, notamment des rappels dans l'application pendant les longues sessions afin d'encourager les pauses.
Ces mesures ne sont qu'un début. Nous continuerons à apprendre et à renforcer notre approche, guidés par des experts, dans le but de rendre ChatGPT aussi utile que possible. Nous sommes impatients de partager nos progrès au cours des 120 prochains jours.
Et vous ?
Pensez-vous que cette annonce est crédible ou pertinente ? Quel est votre avis sur le sujet ?Voir aussi :
OpenAI scanne les conversations avec son chatbot IA ChatGPT et signale leur contenu à la police si elle estime qu'il existe un « risque immédiat de violence physique envers autrui » Un chatbot de Character.ai a suggéré à un enfant de tuer ses parents pour lui avoir imposé « un temps d'écran limité », selon une plainte qui allègue que le service promeut activement la violence L'IA Gemini suggère à un utilisateur de mourir tandis qu'il lui demande de l'aider à faire ses devoirs. L'IA a déjà incité plusieurs fois des humains au suicide, certains sont passés à l'acte
Vous avez lu gratuitement 496 articles depuis plus d'un an.
Soutenez le club developpez.com en souscrivant un abonnement pour que nous puissions continuer à vous proposer des publications.
Soutenez le club developpez.com en souscrivant un abonnement pour que nous puissions continuer à vous proposer des publications.