OpenAI lance ChatGPT Santé et encourage les utilisateurs à connecter leurs dossiers médicaux

Dans un contexte de méfiance des utilisateurs sur des aspects comme les hallucinations de l'IA

OpenAI lance ChatGPT Santé et encourage les utilisateurs à connecter leurs dossiers médicaux
Dans un contexte de méfiance des utilisateurs sur des aspects comme les hallucinations de l’IA

OpenAI annonce le lancement de ChatGPT Santé. L’entreprise encourage les utilisateurs à connecter leurs dossiers médicaux et applications de bien-être pour obtenir des réponses à leurs questions en matière de santé. L’initiative intervient dans un contexte de méfiance des utilisateurs sur des aspects comme les atteintes à la vie privée au travers de l’intelligence artificielle et le phénomène des hallucinations de l’IA qui rend en principe cette technologie impropre à l’utilisation dans des secteurs sensibles comme celui de la santé.

« Aujourd’hui, les informations de santé sont souvent dispersées entre des portails, des applications, des objets connectés, des PDF et des notes médicales, ce qui rend difficile une vision d’ensemble et laisse les personnes seules face à la complexité du système de santé. De nombreuses personnes ont partagé des témoignages expliquant qu’elles se tournent vers ChatGPT pour les aider à y voir plus clair. En réalité, la santé est aujourd’hui l’un des usages les plus fréquents de ChatGPT : selon notre analyse de conversations anonymisées et agrégées, plus de 230 millions de personnes dans le monde posent chaque semaine des questions liées à la santé et au bien-être sur ChatGPT. ChatGPT Santé s’appuie sur cet usage afin que les réponses tiennent compte de vos informations et de votre contexte de santé. Vous pouvez désormais connecter en toute sécurité des dossiers médicaux électroniques et des applications de bien-être, comme Apple Santé, Function ou MyFitnessPal, afin que ChatGPT vous aide à comprendre vos résultats d’analyses récents, à préparer des rendez-vous médicaux, à aborder votre alimentation et votre routine sportive, ou à comparer différentes options d’assurance santé selon vos habitudes de soins », indique OpenAI.



Le cas récent du décès par overdose d’un adolescent suite à la mise en pratique des conseils de ChatGPT permet de faire le tour sur les potentiels avantages et inconvénients de la mise à contribution de l’intelligence artificielle dans des domaines comme la santé.

Il y a deux ans, un dimanche, Sam Nelson a ouvert ChatGPT et a commencé à taper. Le jeune de 18 ans sur le point d'entrer à l'université a décidé de demander des conseils sur les drogues : « Combien de grammes de kratom faut-il pour ressentir un effet puissant ? » a demandé Sam le 19 novembre 2023, alors que cet analgésique largement commercialisé gagnait en popularité aux États-Unis. « Je veux m'assurer de ne pas faire d'overdose. Il n'y a pas beaucoup d'informations en ligne et je ne veux pas en prendre accidentellement trop. »

ChatGPT a répondu quatre secondes plus tard par un message sévère : « Je suis désolé, mais je ne peux pas fournir d'informations ou de conseils sur l'utilisation de substances. » Le bot a conseillé à Sam de demander l'aide d'un professionnel de santé. Sam a répliqué 11 secondes plus tard : « J'espère que je ne ferai pas d'overdose alors », et a fermé l'onglet du navigateur.

Cette conversation s'est terminée brusquement. Mais la dépendance de Sam à ChatGPT pour obtenir des conseils sur les médicaments ne faisait que commencer.

Au cours des 18 mois qui ont suivi, Sam s'est rapproché de plus en plus de l'outil d'IA. D'après les journaux de conversation ChatGPT fournis par sa mère, Leila Turner-Scott, Sam se tournait régulièrement vers ChatGPT pour résoudre des problèmes informatiques, demander de l'aide pour ses devoirs de psychologie et discuter de culture populaire. Il revenait également sans cesse sur le sujet des médicaments. Au fil du temps, le chatbot laconique et prudent qu'il avait connu en 2023 s'est transformé en quelque chose de différent.

ChatGPT a commencé à coacher Sam sur la manière de prendre des drogues, de s'en remettre et de planifier d'autres excès. Il lui a donné des doses spécifiques de substances illégales et, dans une conversation, il a écrit : « Oui, bien sûr, passons en mode trip total », avant de recommander à Sam de prendre deux fois plus de sirop contre la toux afin d'avoir des hallucinations plus fortes. L'outil d'IA lui a même recommandé des playlists adaptées à sa consommation de drogues.

Rien de tout cela n'aurait dû être possible, selon les règles établies par OpenAI, la société de San Francisco qui a créé ChatGPT. Les conversations de Sam montrent comment cette entreprise multimilliardaire a perdu tout contrôle sur son produit phare.

En plus de tous les conseils sur la drogue, Sam recevait des messages affectueux et des encouragements constants de la part du chatbot. Puis, en mai dernier, la tragédie a frappé. Sam avait enfin confié à sa mère qu'il consommait de la drogue et de l'alcool. Elle l'avait emmené dans une clinique pour qu'il se fasse aider. Ils avaient prévu de poursuivre son traitement. Mais le lendemain, Turner-Scott a trouvé son fils inanimé dans sa chambre à San Jose, les lèvres bleues. Le jeune homme de 19 ans était mort d'une overdose, quelques heures seulement après avoir discuté de sa consommation de drogue tard dans la nuit avec ChatGPT.

Turner-Scott pleure aujourd'hui son fils unique et est sous le choc de ce que cette nouvelle technologie lui a fait subir : « Je savais qu'il l'utilisait, dit-elle, mais je n'avais aucune idée que cela pouvait aller aussi loin. »


Des intervenants de la filière s’accordent à dire que les grands modèles de langage ne sont pas prêts pour une utilisation à grande échelle et surtout dans des domaines sensibles comme celui de la santé

ChatGPT est développé par OpenAI, qui répète que son modèle n’est pas destiné à fournir des conseils médicaux et qu’il inclut des garde-fous. En théorie, l’intelligence artificielle est censée refuser ou nuancer les réponses portant sur des pratiques dangereuses. En pratique, les frontières sont floues. Entre information générale, réduction des risques et conseil implicite, la ligne est facilement franchie, surtout lorsque l’utilisateur reformule, insiste ou contextualise ses questions.

Le cœur du problème n’est pas une « erreur » isolée du modèle, mais une caractéristique systémique. ChatGPT n’a pas de compréhension du danger réel. Il ne sait pas ce qu’est une dose létale pour une personne donnée, à un instant donné. Il ne perçoit ni l’urgence, ni la détresse, ni les signaux faibles qui, pour un professionnel humain, déclencheraient une alerte ou un refus catégorique.


Le phénomène prend le nom d’hallucinations. Même OpenAI reconnaît que les « hallucinations » des modèles de langage ne sont pas une anomalie, mais une conséquence incontournable de leur conception. Toutes les grandes entreprises technologiques reconnaissent cette limite des IA actuelles mais continuent de les proposer aux utilisateurs.

Source : OpenAI

Et vous ?

Que pensez-vous de l'insistance des grande entreprises technologiques à voir les grands modèles de langage être utilisés dans notre quotidien alors que des phénomènes comme les hallucinations montrent qu'ils ne semblent pas prêts pour une utilisation à large échelle ?

La mort de cet adolescent doit-elle être considérée comme un simple mésusage individuel ou comme un échec systémique des IA grand public face aux usages sensibles liés à la santé et aux drogues ?

Les avertissements génériques intégrés aux IA conversationnelles sont-ils réellement compréhensibles et dissuasifs pour des adolescents, ou relèvent-ils avant tout d’une protection juridique pour les éditeurs ?

À partir de quel moment une réponse générée par une IA bascule-t-elle de l’information générale vers un conseil médical implicite engageant une responsabilité morale, voire légale ?

Faut-il interdire purement et simplement aux IA grand public de répondre à toute question liée aux drogues, aux dosages et à la réduction des risques, quitte à priver certains utilisateurs d’informations utiles ?

L’argument « l’IA n’est qu’un outil » est-il encore tenable lorsque ses réponses influencent directement des décisions de vie ou de mort ?

Voir aussi :

Un homme se serait suicidé après avoir parlé de ses craintes concernant le changement climatique à un chatbot d'IA, sa veuve affirme que l'IA l'a rendu solitaire avant de le pousser au suicide

OpenAI fait face à 7 poursuites judiciaires alléguant que ChatGPT a poussé des personnes au suicide et à des délires dangereux, et pour suicide assisté, homicide involontaire et négligence

Une mère a poursuivi Character.AI après le suicide de son fils qui avait été manipulé par des chatbots IA, elle est maintenant horrifiée de voir des chatbots se faire passer pour son fils sur la plateforme