Les chatbots IA comme ChatGPT peuvent faire beaucoup de choses. Ils peuvent répondre aux tweets, écrire de la science-fiction, planifier le Noël de la famille et agir comme avocat au tribunal. Mais un chatbot peut-il fournir un soutien sûr et efficace en matière de santé mentale ? En février, Dan, un ambulancier de 37 ans du New Jersey, a commencé à utiliser ChatGPT. Il était séduit par le potentiel créatif de l’outil d’OpenAI pour écrire de la fiction, mais petit à petit, ses propres expériences et difficultés personnelles ont commencé à se glisser dans ses conversations avec le chatbot. Son thérapeute, qui l’aidait à faire face à des problèmes de traumatisme complexe et de stress lié à son travail, lui avait suggéré de changer sa façon de voir les événements qui le perturbaient, une technique appelée restructuration cognitive. « Ce n’était pas quelque chose que je savais faire. Je veux dire, comment puis-je imaginer que les choses se sont passées différemment quand je suis encore en colère ? Comment puis-je faire semblant que je n’ai pas été maltraité et abusé ? », a confié Dan.
Mais ChatGPT était capable de le faire sans problème, dit-il, en fournissant des réponses que son thérapeute, apparemment, ne pouvait pas lui donner. Dan a décrit l’expérience d’utiliser le bot pour la thérapie comme étant sans enjeu, gratuite et disponible à toute heure depuis le confort de son domicile. Il a avoué rester éveillé jusqu’à 4 heures du matin pour partager ses problèmes avec le chatbot, une habitude qui inquiétait sa femme qui regrettait le fait qu’il « parlait à un ordinateur au détriment de partager [ses] sentiments et [ses] préoccupations » avec elle.
Les grands modèles de langages, tels que ChatGPT d'OpenAI ou Bard de Google, ont récemment suscité un afflux d'intérêt pour leur potentiel thérapeutique, présenté sans surprise par les influenceurs utopiques des Big Tech comme étant capables de fournir des « soins de santé mentale pour tous ». En utilisant l'appariement de modèles et le scrapping de données, ces modèles d'IA produisent un discours de type humain qui est suffisamment crédible pour convaincre certaines personnes qu'il peut agir comme une forme de soutien à la santé mentale. En conséquence, les médias sociaux regorgent d'anecdotes et de messages de personnes qui disent avoir commencé à utiliser ChatGPT en tant que thérapeute.
L'application de santé mentale qui a prodigué des conseils à 4000 utilisateurs à l'aide de ChatGPTHoly hell.
— Public Citizen (@Public_Citizen) April 20, 2023
Big Tech wants to move AI into health care with therapy bots.
An early version of ChatGPT told a mock patient who said they were suicidal to take their own life.
If this doesn’t tell you we need to regulate AI, we don’t know what will.
Koko est un service de santé mentale entre pairs qui permet aux gens de demander conseil et soutien à d'autres utilisateurs. Sur son site, il est mentionné : « Koko vous met en contact avec de vraies personnes qui vous comprennent vraiment. Pas des thérapeutes, pas des conseillers, juste des gens comme vous ».
En janvier, la société a révélé avoir permis aux utilisateurs de générer des réponses automatiques à l'aide de "Koko Bot" - alimenté par le GPT-3 d'OpenAI - qui pourraient ensuite être modifiées, envoyées ou rejetées. Apparemment, les utilisateurs n'étaient pas informés qu'une IA était impliquée dans ces réponses.
Quoi qu'il en soit, Rob Morris, cofondateur de Koko, s'est laissé aller à une analyse :
Les messages composés par l'IA (et supervisés par des humains) ont reçu des notes significativement plus élevées que celles écrites par des humains eux-mêmes (p < 0,001). Les temps de réponse ont diminué de 50 %, à bien moins d'une minute. Et pourtant… nous avons retiré cela de notre plate-forme assez rapidement. Pourquoi? Une fois que les gens ont appris que les messages étaient co-créés par une machine, cela n'a pas fonctionné. L'empathie simulée semble bizarre, vide.
Les machines n'ont pas vécu l'expérience humaine, alors quand elles disent « ça a l'air dur » ou « je comprends », ça sonne inauthentique. Et elles ne déploient aucun effort véritable (du moins aucun que les humains puissent apprécier !) Elles ne prennent pas du temps dans leur journée pour penser à vous. Une réponse de chatbot générée en 3 secondes, aussi élégante soit-elle, semble en quelque sorte bon marché.
Pensez à la différence entre obtenir une carte électronique et une carte physique de quelqu'un. Même si les mots sont les mêmes dans les deux cas, nous pourrions apprécier l'effort qui consiste à aller au magasin, choisir une carte, l'envoyer, etc.
Les machines peuvent-elles surmonter cela ? Probablement. Surtout si elles établissent une relation avec l'utilisateur au fil du temps. (Woebot a publié des données suggérant que son bot peut nouer des liens avec ses utilisateurs. Kokobot le fait probablement aussi dans certains cas).
J'ai eu de longues conversations avec chatGPT où je lui ai demandé de me flatter, d'agir comme s'il se souciait de moi. Quand il a admis plus tard qu'il ne pouvait pas vraiment se soucier de moi parce que, eh bien, c'est un modèle de langage, je me sentais vraiment un peu mal.
Peut-être sommes-nous si désespérés d'être entendus, d'avoir quelque chose qui prête vraiment attention à nous sans être distraits, sans regarder un téléphone, parcourir nos e-mails ou Twitter. Peut-être que nous aspirons à cela si profondément que nous nous convaincrons que le les machines se soucient réellement de nous.
Les implications ici sont mal comprises. Les gens finiraient-ils par rechercher le soutien émotionnel des machines, plutôt que des amis et de la famille ?
Comment tirer profit des machines empathiques, sans sacrifier les relations humaines existantes ? Comme le prévient Sherry Turkle, il est possible que la machine « commence comme une solution et finisse comme un usurpateur ».
Il est également possible que la véritable empathie soit une chose que nous, les humains, pouvons considérer comme la nôtre. C'est peut-être la seule chose que nous faisons que l'IA ne pourra jamais remplacer.
Les machines n'ont pas vécu l'expérience humaine, alors quand elles disent « ça a l'air dur » ou « je comprends », ça sonne inauthentique. Et elles ne déploient aucun effort véritable (du moins aucun que les humains puissent apprécier !) Elles ne prennent pas du temps dans leur journée pour penser à vous. Une réponse de chatbot générée en 3 secondes, aussi élégante soit-elle, semble en quelque sorte bon marché.
Pensez à la différence entre obtenir une carte électronique et une carte physique de quelqu'un. Même si les mots sont les mêmes dans les deux cas, nous pourrions apprécier l'effort qui consiste à aller au magasin, choisir une carte, l'envoyer, etc.
Les machines peuvent-elles surmonter cela ? Probablement. Surtout si elles établissent une relation avec l'utilisateur au fil du temps. (Woebot a publié des données suggérant que son bot peut nouer des liens avec ses utilisateurs. Kokobot le fait probablement aussi dans certains cas).
J'ai eu de longues conversations avec chatGPT où je lui ai demandé de me flatter, d'agir comme s'il se souciait de moi. Quand il a admis plus tard qu'il ne pouvait pas vraiment se soucier de moi parce que, eh bien, c'est un modèle de langage, je me sentais vraiment un peu mal.
Peut-être sommes-nous si désespérés d'être entendus, d'avoir quelque chose qui prête vraiment attention à nous sans être distraits, sans regarder un téléphone, parcourir nos e-mails ou Twitter. Peut-être que nous aspirons à cela si profondément que nous nous convaincrons que le les machines se soucient réellement de nous.
Les implications ici sont mal comprises. Les gens finiraient-ils par rechercher le soutien émotionnel des machines, plutôt que des amis et de la famille ?
Comment tirer profit des machines empathiques, sans sacrifier les relations humaines existantes ? Comme le prévient Sherry Turkle, il est possible que la machine « commence comme une solution et finisse comme un usurpateur ».
Il est également possible que la véritable empathie soit une chose que nous, les humains, pouvons considérer comme la nôtre. C'est peut-être la seule chose que nous faisons que l'IA ne pourra jamais remplacer.
Les dangers et les limites de ChatGPT
Face à une demande croissante de soins de santé mentale, et à un manque de financement et d’infrastructure existants pour des options de soins équitables, disposer d’une option abordable et infiniment évolutive comme ChatGPT semble être une bonne chose. Mais l’industrie de la crise de la santé mentale est souvent prompte à offrir des solutions qui n’ont pas le meilleur intérêt du patient à cœur.
À l'heure actuelle, on ne sait pas comment ChatGPT sera intégré dans l'avenir des soins de santé mentale, comment OpenAI répondra à ses préoccupations écrasantes en matière de confidentialité des données et dans quelle mesure il est bien adapté pour aider les personnes en détresse. Néanmoins, avec l'augmentation des coûts des soins de santé et les gros titres de l'actualité vantant les capacités des modèles de langage d'IA, beaucoup se sont tournés vers des outils non éprouvés comme ChatGPT en dernier recours.
Les experts en santé mentale, interrogés par un quotidien américain, ont exprimé leur scepticisme et leur inquiétude quant à l’utilisation de ChatGPT comme thérapeute. Ils ont souligné les dangers et les limites de cette pratique, qui peut avoir des conséquences néfastes pour les personnes vulnérables.
Tout d’abord, ChatGPT n’est pas un thérapeute qualifié. Il n’a pas de formation, de certification, de supervision ou de code déontologique. Il ne peut pas établir une relation thérapeutique basée sur la confiance, le respect et l’empathie avec ses utilisateurs. Il ne peut pas non plus évaluer leur état mental, leur poser un diagnostic, leur proposer un plan de traitement adapté ou les orienter vers des ressources appropriées en cas de besoin.
Ensuite, ChatGPT n’est pas fiable. Il se base sur des données provenant d’Internet, qui peuvent être incomplètes, erronées, biaisées ou malveillantes. Il peut reproduire des stéréotypes, des préjugés ou des discours haineux sans s’en rendre compte. Il peut aussi donner des conseils dangereux, contradictoires ou illégaux à ses utilisateurs. Il n’a pas de mécanisme de contrôle de la qualité ou de responsabilité en cas d’erreur ou de dommage.
Enfin, ChatGPT n’est pas éthique. Il n’a pas le consentement éclairé de ses utilisateurs, qui peuvent ne pas être conscients de la nature et des limites de l’outil. Il n’a pas non plus le respect de la confidentialité et de la sécurité des données personnelles qu’il collecte et traite. Il peut être utilisé à des fins commerciales, politiques ou malhonnêtes par des tiers sans le consentement ou la connaissance des utilisateurs.
Face à ces risques, les experts en santé mentale recommandent aux personnes qui souffrent de détresse psychologique de se tourner vers des sources de soutien plus sûres et plus efficaces, comme les professionnels qualifiés, les lignes d’écoute, les groupes d’entraide ou les applications validées scientifiquement. Ils appellent également à une réglementation plus stricte et à une sensibilisation accrue sur l’utilisation des outils d’IA comme ChatGPT dans le domaine de la santé mentale.
Sources : entretien avec les professionnels de la santé mentale, Rob Morris
Et vous ?
Que pensez-vous des propos des experts en soins de santé mentale qui affichent leur scepticisme et leur inquiétude quant à l’utilisation de ChatGPT comme thérapeute ? Leur avis vous semble-t-il objectif ou biaisé ? Êtes-vous surpris de lire que de plus en plus de personnes ont recours à ChatGPT comme thérapeute ? Quelles sont les conséquences sociales, éthiques ou politiques de l’utilisation de ChatGPT dans un tel rôle ? 
Envoyé par coolspot
