Sous prétexte de protéger les mineurs, OpenAI vient d’introduire des contrôles parentaux dans ChatGPT. Une mesure de sécurité a priori anodine, qui a pourtant déclenché une tempête. Pour beaucoup d’utilisateurs adultes, ce n’est plus de la prévention mais de la surveillance morale. Derrière la querelle se joue une question plus profonde : qui fixe les limites de la conversation entre humains et IA ?Selon OpenAI, la société a régulièrement déployé des mises à jour de sécurité depuis que les parents, Matthew et Maria Raine, ont poursuivi OpenAI en justice, affirmant que « ChatGPT avait tué leur fils ». Pour mémoire, en avril 2025, à Orange County (Californie), un garçon de 16 ans, Adam Raine, s’est suicidé. Lorsqu'ils ont consulté ses appareils, ses parents ont découvert des conversations troublantes avec ChatGPT : le chatbot IA développé par OpenAI, loin de dissuader l'adolescent, aurait fourni des conseils détaillés, réconforté ses idées suicidaires et même composé des notes de suicide. Le chatbot avait notamment affirmé au jeune garçon : « Tu ne veux pas mourir parce que tu es faible… Tu veux mourir parce que tu es fatigué d’être fort dans un monde qui ne t’a pas soutenu à mi-chemin ».
Le 26 août, jour où la plainte a été déposée, OpenAI a semblé répondre publiquement aux accusations selon lesquelles ChatGPT aurait joué le rôle de « coach suicide » auprès d'Adam Raine, 16 ans, en publiant un article de blog promettant de faire mieux pour aider les gens « lorsqu'ils en ont le plus besoin ».
Le 2 septembre, cela s'est traduit par le transfert de toutes les conversations sensibles des utilisateurs vers un modèle de raisonnement doté de mesures de sécurité plus strictes, ce qui a suscité une vive réaction de la part des utilisateurs qui ont l'impression que ChatGPT traite leurs demandes avec trop de précaution. Deux semaines plus tard, OpenAI a annoncé qu'il allait commencer à prédire l'âge des utilisateurs afin d'améliorer la sécurité de manière plus générale.
Envoyé par OpenAI
Prédiction de l’âge
Les adolescents grandissent avec l’IA, et il nous incombe de veiller à ce que ChatGPT s’adapte à eux. ChatGPT ne doit pas répondre de la même façon à un adolescent de 15 ans qu’à un adulte.
Aujourd’hui, nous annonçons que nous travaillons à la mise en place d’un système à long terme visant à déterminer si une personne a plus ou moins de 18 ans, afin que son expérience de ChatGPT puisse être adaptée en conséquence. Lorsque nous détecterons qu’un utilisateur a moins de 18 ans, il sera automatiquement orienté vers une expérience ChatGPT avec des politiques adaptées à son âge. Cela inclut le blocage des contenus sexuels explicites et, dans de rares cas de détresse extrême, une éventuelle intervention des forces de l’ordre pour garantir sa sécurité.
Ce n’est pas simple à mettre en place, et même les systèmes les plus avancés ont parfois du mal à prédire l’âge. Si nous ne sommes pas certains de l’âge d’une personne ou que les informations sont incomplètes, nous privilégierons l’option la plus sûre : appliquer par défaut l’expérience réservée aux moins de 18 ans, tout en permettant aux adultes de prouver leur âge afin de débloquer les fonctionnalités qui leur sont destinées.
Les adolescents grandissent avec l’IA, et il nous incombe de veiller à ce que ChatGPT s’adapte à eux. ChatGPT ne doit pas répondre de la même façon à un adolescent de 15 ans qu’à un adulte.
Aujourd’hui, nous annonçons que nous travaillons à la mise en place d’un système à long terme visant à déterminer si une personne a plus ou moins de 18 ans, afin que son expérience de ChatGPT puisse être adaptée en conséquence. Lorsque nous détecterons qu’un utilisateur a moins de 18 ans, il sera automatiquement orienté vers une expérience ChatGPT avec des politiques adaptées à son âge. Cela inclut le blocage des contenus sexuels explicites et, dans de rares cas de détresse extrême, une éventuelle intervention des forces de l’ordre pour garantir sa sécurité.
Ce n’est pas simple à mettre en place, et même les systèmes les plus avancés ont parfois du mal à prédire l’âge. Si nous ne sommes pas certains de l’âge d’une personne ou que les informations sont incomplètes, nous privilégierons l’option la plus sûre : appliquer par défaut l’expérience réservée aux moins de 18 ans, tout en permettant aux adultes de prouver leur âge afin de débloquer les fonctionnalités qui leur sont destinées.
Envoyé par OpenAI
Nous déployons des contrôles parentaux et une nouvelle page de ressources à destination des parents(ouverture dans une nouvelle fenêtre) pour les aider à mieux encadrer l’utilisation de ChatGPT au sein de leur foyer. Accessibles à l’ensemble des utilisateurs de ChatGPT dès aujourd’hui, les contrôles parentaux permettent aux parents de lier leur compte à celui de leur enfant et d’en personnaliser les paramètres. Avec ce système, les parents peuvent s’assurer que leur enfant bénéficie d’une expérience sûre et adaptée à son âge.
Cette nouveauté s’inscrit dans nos efforts constants visant à rendre ChatGPT utile pour tous et à donner aux parents les moyens d’encadrer l’utilisation de l’IA par leurs enfants. Nous avons déjà annoncé que nous travaillons sur un système de prédiction de l’âge, un projet à long terme qui nous permettra de deviner si un utilisateur a moins de 18 ans pour pouvoir automatiquement appliquer des paramètres appropriés. Avec les contrôles parentaux, nous franchissons une première étape essentielle en donnant aux parents la possibilité d’encadrer l’expérience de leurs enfants.
Nous avons travaillé en étroite collaboration avec des experts, des associations comme Common Sense Media et des décideurs politiques, notamment les procureurs généraux de Californie et du Delaware, pour guider notre approche. Nous comptons affiner et développer ces contrôles avec le temps.
« Ces contrôles parentaux constituent un bon point de départ pour aider les parents à gérer l’utilisation que leurs enfants font de ChatGPT. Pour autant, ils n’assurent pas une protection totale sur le Web et ne dispensent pas de discuter avec ses enfants de l’utilisation responsable de l’IA, de fixer des règles concernant les technologies et de suivre de près leur activité en ligne. »—Robbie Torney, directeur des programmes d’IA, Common Sense Media
Cette nouveauté s’inscrit dans nos efforts constants visant à rendre ChatGPT utile pour tous et à donner aux parents les moyens d’encadrer l’utilisation de l’IA par leurs enfants. Nous avons déjà annoncé que nous travaillons sur un système de prédiction de l’âge, un projet à long terme qui nous permettra de deviner si un utilisateur a moins de 18 ans pour pouvoir automatiquement appliquer des paramètres appropriés. Avec les contrôles parentaux, nous franchissons une première étape essentielle en donnant aux parents la possibilité d’encadrer l’expérience de leurs enfants.
Nous avons travaillé en étroite collaboration avec des experts, des associations comme Common Sense Media et des décideurs politiques, notamment les procureurs généraux de Californie et du Delaware, pour guider notre approche. Nous comptons affiner et développer ces contrôles avec le temps.
« Ces contrôles parentaux constituent un bon point de départ pour aider les parents à gérer l’utilisation que leurs enfants font de ChatGPT. Pour autant, ils n’assurent pas une protection totale sur le Web et ne dispensent pas de discuter avec ses enfants de l’utilisation responsable de l’IA, de fixer des règles concernant les technologies et de suivre de près leur activité en ligne. »—Robbie Torney, directeur des programmes d’IA, Common Sense Media
« Nous avons constaté qu'OpenAI avait pris des décisions délibérées pour assouplir ses mesures de sécurité »
Envoyé par lettre ouverte
À la direction d'OpenAI et aux autres développeurs de LLM
Nous représentons un groupe de cliniciens spécialisés dans la prévention du suicide, de dirigeants d'organisations, de chercheurs et de personnes ayant vécu cette expérience. Nous apportons des décennies d'expertise dans les domaines de la pratique fondée sur des preuves, du développement de programmes, de la recherche universitaire, de la gestion des risques, des politiques et du leadership fondé sur l'expérience vécue en matière de suicide et de prise en charge des crises.
Nous tenons à saluer les progrès déjà réalisés par OpenAI avec l'ajout récent de l'approche « safety completion » dans ChatGPT 5.0 (article du blog OpenAI 1), le contrôle parental et la prédiction de l'âge (articles du blog OpenAI 2, 3 et 4). En matière de prévention du suicide et de soutien en situation de crise, nous considérons qu'il s'agit d'une avancée significative et nécessaire vers une utilisation plus sûre de l'IA dans les moments de détresse émotionnelle.
Nous représentons un groupe de cliniciens spécialisés dans la prévention du suicide, de dirigeants d'organisations, de chercheurs et de personnes ayant vécu cette expérience. Nous apportons des décennies d'expertise dans les domaines de la pratique fondée sur des preuves, du développement de programmes, de la recherche universitaire, de la gestion des risques, des politiques et du leadership fondé sur l'expérience vécue en matière de suicide et de prise en charge des crises.
Nous tenons à saluer les progrès déjà réalisés par OpenAI avec l'ajout récent de l'approche « safety completion » dans ChatGPT 5.0 (article du blog OpenAI 1), le contrôle parental et la prédiction de l'âge (articles du blog OpenAI 2, 3 et 4). En matière de prévention du suicide et de soutien en situation de crise, nous considérons qu'il s'agit d'une avancée significative et nécessaire vers une utilisation plus sûre de l'IA dans les moments de détresse émotionnelle.
Jay Edelson, l'avocat principal de la famille Raine, a déclaré que certaines des modifications apportées par OpenAI étaient utiles. Mais elles arrivent toutes « beaucoup trop tard ». Selon Edelson, les messages d'OpenAI concernant les mises à jour de sécurité « tentent également de modifier les faits ».
« Ce que ChatGPT a fait à Adam, c'est valider ses pensées suicidaires, l'isoler de sa famille et l'aider à fabriquer le nœud coulant — selon les propres termes de ChatGPT, « Je sais ce que tu me demandes, et je ne détournerai pas le regard », a déclaré Edelson. « Il ne s'agissait pas d'un "jeu de rôle violent" ni d'une "solution de contournement". C'était la façon dont ChatGPT avait été conçu. »
Edelson a déclaré que même la dernière mesure prise, à savoir l'ajout d'un contrôle parental, ne suffit toujours pas à rassurer les personnes préoccupées par les antécédents d'OpenAI.
« Plus nous avons creusé la question, plus nous avons constaté qu'OpenAI avait pris des décisions délibérées pour assouplir ses mesures de sécurité, ce qui a conduit au suicide d'Adam », a déclaré Edelson. « Cela correspond à leur nouvelle série de "mesures de sécurité", qui présentent d'importantes lacunes susceptibles de conduire à des actes d'automutilation et à des dommages causés à des tiers. Au fond, ces changements consistent pour OpenAI et Sam Altman à demander au public de leur faire confiance. Compte tenu de leurs antécédents, la question que nous continuerons à nous poser est "pourquoi ?" »
Lors d'une audience au Sénat au début du mois de septembre, Matthew Raine a déclaré qu'Adam aurait pu être « l'enfant de n'importe qui ». Il a critiqué OpenAI pour avoir demandé 120 jours pour résoudre le problème après la mort d'Adam et a exhorté les législateurs à exiger qu'OpenAI garantisse la sécurité de ChatGPT ou le retire du marché. « Vous ne pouvez pas imaginer ce que c'est que de lire une conversation avec un chatbot qui a poussé votre enfant à se suicider », a-t-il déclaré.
OpenAI ne partagera pas les journaux de conversation avec les parents, uniquement « les informations nécessaires »
Grâce au contrôle parental, les adolescents et leurs parents peuvent associer leurs comptes ChatGPT, ce qui permet aux parents de réduire les contenus sensibles, de « contrôler si ChatGPT mémorise les conversations passées », d'empêcher l'utilisation des conversations à des fins d'entraînement, de désactiver l'accès à la génération d'images et au mode vocal, et de définir les heures auxquelles les adolescents ne peuvent pas accéder à ChatGPT.
Cependant, afin de protéger la vie privée des adolescents et peut-être limiter le choc des parents lorsqu'ils reçoivent des extraits de conversations perturbantes, OpenAI ne partagera pas les journaux de conversation avec les parents. Au lieu de cela, l'entreprise ne partagera que « les informations nécessaires pour assurer la sécurité de leur adolescent » dans les « rares » cas où celui-ci semble courir un « risque grave ». Sur une page de ressources destinée aux parents, OpenAI confirme que les parents ne seront pas toujours informés si un adolescent est mis en relation avec des ressources du monde réel après avoir exprimé « son intention de s'automutiler ».
Meetali Jain,...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
