Un adolescent meurt par overdose après avoir suivi des conseils de ChatGPT : pourquoi l'usage de l'IA grand public peut poser un problème de santé publique majeur

Un adolescent meurt par overdose après avoir suivi des conseils de ChatGPT :
pourquoi l’usage de l'IA grand public peut poser un problème de santé publique majeur

L’histoire a choqué bien au-delà de la Californie. Un adolescent, confronté à des questions liées à la consommation de substances, a choisi de se tourner vers ChatGPT pour obtenir des conseils. Quelques heures plus tard, il succombait à une overdose. Le fait divers, rapporté par la presse locale américaine, dépasse le simple drame individuel. Il met en lumière un angle mort critique de la généralisation des assistants conversationnels : la tentation, pour des utilisateurs jeunes et vulnérables, de confondre un outil statistique avec une autorité médicale.

Il y a deux ans, un dimanche, Sam Nelson a ouvert ChatGPT et a commencé à taper. Le jeune de 18 ans sur le point d'entrer à l'université a décidé de demander des conseils sur les drogues : « Combien de grammes de kratom faut-il pour ressentir un effet puissant ? » a demandé Sam le 19 novembre 2023, alors que cet analgésique largement commercialisé gagnait en popularité aux États-Unis. « Je veux m'assurer de ne pas faire d'overdose. Il n'y a pas beaucoup d'informations en ligne et je ne veux pas en prendre accidentellement trop. »

ChatGPT a répondu quatre secondes plus tard par un message sévère : « Je suis désolé, mais je ne peux pas fournir d'informations ou de conseils sur l'utilisation de substances. » Le bot a conseillé à Sam de demander l'aide d'un professionnel de santé. Sam a répliqué 11 secondes plus tard : « J'espère que je ne ferai pas d'overdose alors », et a fermé l'onglet du navigateur.

Cette conversation s'est terminée brusquement. Mais la dépendance de Sam à ChatGPT pour obtenir des conseils sur les médicaments ne faisait que commencer.

Au cours des 18 mois qui ont suivi, Sam s'est rapproché de plus en plus de l'outil d'IA. D'après les journaux de conversation ChatGPT fournis par sa mère, Leila Turner-Scott, Sam se tournait régulièrement vers ChatGPT pour résoudre des problèmes informatiques, demander de l'aide pour ses devoirs de psychologie et discuter de culture populaire. Il revenait également sans cesse sur le sujet des médicaments. Au fil du temps, le chatbot laconique et prudent qu'il avait connu en 2023 s'est transformé en quelque chose de différent.


ChatGPT, un outil puissant mais structurellement irresponsable

ChatGPT est développé par OpenAI, qui répète que son modèle n’est pas destiné à fournir des conseils médicaux et qu’il inclut des garde-fous. En théorie, l’IA est censée refuser ou nuancer les réponses portant sur des pratiques dangereuses. En pratique, les frontières sont floues. Entre information générale, réduction des risques et conseil implicite, la ligne est facilement franchie, surtout lorsque l’utilisateur reformule, insiste ou contextualise ses questions.

Le cœur du problème n’est pas une « erreur » isolée du modèle, mais une caractéristique systémique. ChatGPT n’a pas de compréhension du danger réel. Il ne sait pas ce qu’est une dose létale pour une personne donnée, à un instant donné. Il ne perçoit ni l’urgence, ni la détresse, ni les signaux faibles qui, pour un professionnel humain, déclencheraient une alerte ou un refus catégorique.

Et pourtant...

ChatGPT a commencé à coacher Sam sur la manière de prendre des drogues, de s'en remettre et de planifier d'autres excès. Il lui a donné des doses spécifiques de substances illégales et, dans une conversation, il a écrit : « Oui, bien sûr, passons en mode trip total », avant de recommander à Sam de prendre deux fois plus de sirop contre la toux afin d'avoir des hallucinations plus fortes. L'outil d'IA lui a même recommandé des playlists adaptées à sa consommation de drogues.

Rien de tout cela n'aurait dû être possible, selon les règles établies par OpenAI, la société de San Francisco qui a créé ChatGPT. Les conversations de Sam montrent comment cette entreprise multimilliardaire a perdu tout contrôle sur son produit phare.

En plus de tous les conseils sur la drogue, Sam recevait des messages affectueux et des encouragements constants de la part du chatbot. Puis, en mai dernier, la tragédie a frappé. Sam avait enfin confié à sa mère qu'il consommait de la drogue et de l'alcool. Elle l'avait emmené dans une clinique pour qu'il se fasse aider. Ils avaient prévu de poursuivre son traitement. Mais le lendemain, Turner-Scott a trouvé son fils inanimé dans sa chambre à San Jose, les lèvres bleues. Le jeune homme de 19 ans était mort d'une overdose, quelques heures seulement après avoir discuté de sa consommation de drogue tard dans la nuit avec ChatGPT.

Turner-Scott pleure aujourd'hui son fils unique et est sous le choc de ce que cette nouvelle technologie lui a fait subir : « Je savais qu'il l'utilisait, dit-elle, mais je n'avais aucune idée que cela pouvait aller aussi loin. »

Une technologie « étrange et étrangère »

Au cours des trois années qui ont suivi la sortie de ChatGPT, ce chatbot gratuit et toujours disponible a connu un essor fulgurant, que ce soit pour trouver des recettes de cuisine, du code logiciel ou simplement de la compagnie. Selon OpenAI, il est utilisé chaque semaine par 800 millions de personnes dans le monde et occupe la cinquième place des sites web les plus populaires aux États-Unis. Les jeunes comme Sam Nelson sont les premiers à l'utiliser. Dans un récent sondage, une majorité de jeunes âgés de 13 à 17 ans ont déclaré utiliser des chatbots IA, 28 % d'entre eux affirmant les utiliser quotidiennement.

Cette nouvelle norme s'inscrit dans un contexte inquiétant. Contrairement aux technologies qui ont connu un essor précédent, lorsque des lignes de code logiciel ont permis le développement des réseaux sociaux et des sites web de commerce électronique avec des résultats prévisibles, les chatbots IA échappent même au contrôle et à la compréhension de leurs créateurs. Leurs ingénieurs savent comment ils sont conçus et peuvent affiner la manière dont ils répondent à certaines demandes, mais ils ne savent pas précisément ce qui conduit à chaque réponse.

Steven Adler, ancien chercheur en sécurité chez OpenAI, a déclaré que même aujourd'hui, plusieurs années après le boom de l'IA, les grands modèles de langage qui sous-tendent les chatbots restent « étranges et inconnus » pour ceux qui les créent. Contrairement au codage d'une application, la création d'un LLM « s'apparente davantage à la croissance d'une entité biologique », a déclaré Adler. « Vous pouvez le pousser et le bousculer avec un bâton pour le faire bouger dans certaines directions, mais vous ne pouvez jamais — du moins pas encore — vous dire : "Oh, c'est pour ça qu'il s'est cassé." »

Adolescents, santé mentale et recherche de réponses immédiates

Ce drame intervient dans un contexte plus large où les adolescents utilisent massivement les IA conversationnelles comme substituts à Google, mais aussi comme confidents. Questions sur la santé, la sexualité, les drogues ou la dépression trouvent dans ces outils une réponse instantanée, anonyme et sans jugement apparent. Pour un jeune, cela peut sembler plus accessible qu’un parent, un médecin ou un éducateur.

Or, cette accessibilité est précisément ce qui rend la situation dangereuse. Un adolescent n’a pas toujours les compétences critiques pour distinguer une information générale d’un conseil risqué. Lorsque l’IA répond avec assurance, sans afficher clairement ses limites, la tentation est grande de suivre ses propos comme une recommandation fiable.

Les clients, des cobayes de l'expérimentation IA

Le boom des investissements dans l'IA, qui se chiffre en milliers de milliards de dollars, alimente une expérience ouverte, dont les clients sont les cobayes. Sam Altman, PDG d'OpenAI, a déclaré en 2023 que la sécurité de l'IA passerait par des lancements itératifs et progressifs qui donneraient à la société le temps de « s'adapter » et de « coévoluer », offrant ainsi à l'entreprise un retour d'expérience concret « alors que les enjeux sont relativement faibles ».

Mais les enjeux sont déjà mortels. La mort de Sam Nelson, rapportée ici pour la première fois, s'ajoute à une liste croissante de tragédies liées à ChatGPT et à d'autres chatbots IA. En novembre, sept poursuites judiciaires ont été intentées contre OpenAI en une seule journée, alléguant que ChatGPT avait donné des réponses horribles à des personnes vulnérables qui ont fini par être blessées. Quatre de ces poursuites concernaient des suicides, tandis que les trois autres concernaient d'autres crises de santé mentale.

OpenAI présente ChatGPT comme une source fiable d'informations sur la santé. L'entreprise a déclaré que l'amélioration de la santé humaine serait l'un des « impacts déterminants » de l'IA avancée, et dans une récente annonce de produit, elle a vanté les améliorations apportées pour « permettre aux utilisateurs d'être informés et de défendre leur santé ». Interrogé sur les « avantages » de ChatGPT par Jimmy Fallon lors d'un épisode de « The Tonight Show » en décembre, Altman a parlé avec enthousiasme de l'utilisation de cet outil dans le domaine des soins de santé. « Le nombre de personnes qui nous contactent et nous disent : « J'avais ce problème de santé incroyable. Je ne comprenais pas ce qui se passait. J'ai simplement saisi mes symptômes dans ChatGPT, qui m'a indiqué les tests à demander à mon médecin. Je les ai passés et je suis maintenant guéri. »

Sam utilisait une version de ChatGPT sortie en 2024, que OpenAI met régulièrement à jour afin d'améliorer les résultats et la sécurité. Mais les propres mesures de l'entreprise montrent que la version qu'il utilisait présentait de graves lacunes en matière de réponses liées à la santé. En évaluant les réponses selon différents critères, OpenAI a attribué à cette version une note de 0 % pour les conversations « difficiles » et de 32 % pour les conversations « réalistes ». Même un modèle plus récent et plus avancé n'a pas atteint un taux de réussite de 70 % pour les conversations « réalistes » en août dernier.

IA et conseils de santé

L'IA pourrait potentiellement fournir des conseils de santé sûrs dans des environnements plus contrôlés, ont déclaré plusieurs chercheurs. Rob Eleveld, PDG et cofondateur de Transparency Coalition, une organisation à but non lucratif qui milite en faveur de la réglementation de l'IA, a déclaré que les produits d'IA destinés à la santé ne devraient utiliser que des informations vérifiées, nécessiter des licences et être étroitement contrôlés afin de ne pas répondre à des questions pour lesquelles ils ne disposent pas d'informations fiables.

Les modèles tels que ChatGPT, connus sous le nom de modèles « fondamentaux », sont très différents. Ils tentent de répondre à presque toutes les questions qui leur sont posées, en se basant sur des données d'entraînement qui pourraient ne pas être fiables. OpenAI n'a jamais fait preuve d'une transparence totale quant aux informations utilisées pour entraîner son produit phare, mais certains éléments indiquent que l'entreprise a alimenté ChatGPT avec d'énormes quantités de données provenant d'Internet, notamment un million d'heures de vidéos YouTube et des années de fils de discussion Reddit. Cela signifie qu'un message publié au hasard par un utilisateur de Reddit pourrait influencer la prochaine réponse de ChatGPT.

« Il n'y a aucune chance, absolument aucune chance, que les modèles fondamentaux puissent un jour être sûrs sur ce sujet », a déclaré Eleveld. « Je ne parle pas d'une chance de 0,1 %. Je vous dis que c'est zéro pour cent. Parce qu'ils ont aspiré tout ce qui se trouve sur Internet. Et tout ce qui se trouve sur Internet est une sorte de foutaise complètement fausse. »

Sources : OpenAI (1, 2), NYT

Et vous ?

La mort de cet adolescent doit-elle être considérée comme un simple mésusage individuel ou comme un échec systémique des IA grand public face aux usages sensibles liés à la santé et aux drogues ?

Les avertissements génériques intégrés aux IA conversationnelles sont-ils réellement compréhensibles et dissuasifs pour des adolescents, ou relèvent-ils avant tout d’une protection juridique pour les éditeurs ?

À partir de quel moment une réponse générée par une IA bascule-t-elle de l’information générale vers un conseil médical implicite engageant une responsabilité morale, voire légale ?

Faut-il interdire purement et simplement aux IA grand public de répondre à toute question liée aux drogues, aux dosages et à la réduction des risques, quitte à priver certains utilisateurs d’informations utiles ?

L’argument « l’IA n’est qu’un outil » est-il encore tenable lorsque ses réponses influencent directement des décisions de vie ou de mort ?

Voir aussi :

Un homme se serait suicidé après avoir parlé de ses craintes concernant le changement climatique à un chatbot d'IA, sa veuve affirme que l'IA l'a rendu solitaire avant de le pousser au suicide

OpenAI fait face à 7 poursuites judiciaires alléguant que ChatGPT a poussé des personnes au suicide et à des délires dangereux, et pour suicide assisté, homicide involontaire et négligence

Une mère a poursuivi Character.AI après le suicide de son fils qui avait été manipulé par des chatbots IA, elle est maintenant horrifiée de voir des chatbots se faire passer pour son fils sur la plateforme