Koko, une plate-forme en ligne de santé mentale, a prodigué à quelque 4 000 utilisateurs un conseil qui avait été créé par une AI, sans les en informer au préalable. Rob Morris, le co-fondateur de l'application de santé mentale Koko, a expliqué comment ils utilisaient une approche « co-pilote », avec des humains supervisant l'IA au besoin. Ils l'ont fait sur environ 30 000 messages.La plate-forme a constaté que les messages composés par l'IA étaient nettement mieux notés que ceux écrits par les humains, tandis que les temps de réponse ont diminué de 50% à moins d'une minute.
Malgré le succès auprès des utilisateurs, le test a été arrêté car il semblait inauthentique.
Les chatbots IA comme ChatGPT peuvent faire beaucoup de choses. Ils peuvent répondre aux tweets, écrire de la science-fiction, planifier le Noël de la famille et agir comme avocat au tribunal. Mais un chatbot peut-il fournir un soutien sûr et efficace en matière de santé mentale ? Une entreprise appelée Koko a décidé de le découvrir en se servant de l'IA pour aider à créer un soutien en matière de santé mentale pour environ 4 000 de ses utilisateurs en octobre.
« Franchement, ce sera l'avenir. Nous allons penser que nous interagissons avec des humains et ne pas savoir s'il y avait une IA impliquée. Comment cela affecte-t-il la communication interhumaine ? J'ai mes propres problèmes de santé mentale, donc je veux vraiment que cela soit fait correctement », a déclaré le co-fondateur de Koko, Rob Morris.
Koko est un service de santé mentale entre pairs qui permet aux gens de demander conseil et soutien à d'autres utilisateurs. Sur son site, il est mentionné : « Koko vous met en contact avec de vraies personnes qui vous comprennent vraiment. Pas des thérapeutes, pas des conseillers, juste des gens comme vous ».
Dans une brève expérience, la société a permis aux utilisateurs de générer des réponses automatiques à l'aide de "Koko Bot" - alimenté par le GPT-3 d'OpenAI - qui pourraient ensuite être modifiées, envoyées ou rejetées. Selon Morris, les 30 000 messages assistés par l'IA envoyés pendant le test ont reçu une réponse extrêmement positive, mais la société a arrêté l'expérience après quelques jours parce qu'elle « semblait plutôt stérile ».
« Lorsque vous interagissez avec GPT-3, vous pouvez commencer à capter certains indices. Tout est vraiment bien écrit, mais c'est une sorte de formule, et vous pouvez le lire et reconnaître que tout est purement écrit par un bot et qu'aucune nuance humaine n'a été ajoutée », a déclaré Morris. « Il y a quelque chose dans l'authenticité qui se perd lorsque vous avez cet outil comme outil de soutien pour vous aider dans votre écriture, en particulier dans ce genre de contexte. Sur notre plate-forme, les messages semblaient meilleurs d'une certaine manière quand je pouvais sentir qu'ils étaient plus écrits par l'homme ».
Morris a publié un fil sur Twitter à propos du test qui impliquait que les utilisateurs ne comprenaient pas qu'une IA était impliquée dans leurs soins. Il a tweeté « qu'une fois que les gens ont appris que les messages étaient co-créés par une machine, cela n'a pas fonctionné ». Le tweet a provoqué un tollé sur Twitter à propos de l'éthique des recherches de Koko, étant donné que ses propos ont suggéré un manque clé de consentement éclairé pendant au moins une phase de l'expérience.
Envoyé par Rob Morris
Les messages composés par l'IA (et supervisés par des humains) ont reçu des notes significativement plus élevées que celles écrites par des humains eux-mêmes (p < 0,001). Les temps de réponse ont diminué de 50 %, à bien moins d'une minute. Et pourtant… nous avons retiré cela de notre plate-forme assez rapidement. Pourquoi? Une fois que les gens ont appris que les messages étaient co-créés par une machine, cela n'a pas fonctionné. L'empathie simulée semble bizarre, vide.
Les machines n'ont pas vécu l'expérience humaine, alors quand elles disent « ça a l'air dur » ou « je comprends », ça sonne inauthentique. Et elles ne déploient aucun effort véritable (du moins aucun que les humains puissent apprécier !) Elles ne prennent pas du temps dans leur journée pour penser à vous. Une réponse de chatbot générée en 3 secondes, aussi élégante soit-elle, semble en quelque sorte bon marché.
Pensez à la différence entre obtenir une carte électronique et une carte physique de quelqu'un. Même si les mots sont les mêmes dans les deux cas, nous pourrions apprécier l'effort qui consiste à aller au magasin, choisir une carte, l'envoyer, etc.
Les machines peuvent-elles surmonter cela ? Probablement. Surtout si elles établissent une relation avec l'utilisateur au fil du temps. (Woebot a publié des données suggérant que son bot peut nouer des liens avec ses utilisateurs. Kokobot le fait probablement aussi dans certains cas).
J'ai eu de longues conversations avec chatGPT où je lui ai demandé de me flatter, d'agir comme s'il se souciait de moi. Quand il a admis plus tard qu'il ne pouvait pas vraiment se soucier de moi parce que, eh bien, c'est un modèle de langage, je me sentais vraiment un peu mal.
Peut-être sommes-nous si désespérés d'être entendus, d'avoir quelque chose qui prête vraiment attention à nous sans être distraits, sans regarder un téléphone, parcourir ses e-mails ou Twitter. Peut-être que nous aspirons à cela si profondément que nous nous convaincrons que le les machines se soucient réellement de nous.
Les implications ici sont mal comprises. Les gens finiraient-ils par rechercher le soutien émotionnel des machines, plutôt que des amis et de la famille ?
Comment tirer profit des machines empathiques, sans sacrifier les relations humaines existantes ? Comme le prévient Sherry Turkle, il est possible que la machine « commence comme une solution et finisse comme un usurpateur ».
Il est également possible que la véritable empathie soit une chose que nous, les humains, pouvons considérer comme la nôtre. C'est peut-être la seule chose que nous faisons que l'IA ne pourra jamais remplacer.
Les machines n'ont pas vécu l'expérience humaine, alors quand elles disent « ça a l'air dur » ou « je comprends », ça sonne inauthentique. Et elles ne déploient aucun effort véritable (du moins aucun que les humains puissent apprécier !) Elles ne prennent pas du temps dans leur journée pour penser à vous. Une réponse de chatbot générée en 3 secondes, aussi élégante soit-elle, semble en quelque sorte bon marché.
Pensez à la différence entre obtenir une carte électronique et une carte physique de quelqu'un. Même si les mots sont les mêmes dans les deux cas, nous pourrions apprécier l'effort qui consiste à aller au magasin, choisir une carte, l'envoyer, etc.
Les machines peuvent-elles surmonter cela ? Probablement. Surtout si elles établissent une relation avec l'utilisateur au fil du temps. (Woebot a publié des données suggérant que son bot peut nouer des liens avec ses utilisateurs. Kokobot le fait probablement aussi dans certains cas).
J'ai eu de longues conversations avec chatGPT où je lui ai demandé de me flatter, d'agir comme s'il se souciait de moi. Quand il a admis plus tard qu'il ne pouvait pas vraiment se soucier de moi parce que, eh bien, c'est un modèle de langage, je me sentais vraiment un peu mal.
Peut-être sommes-nous si désespérés d'être entendus, d'avoir quelque chose qui prête vraiment attention à nous sans être distraits, sans regarder un téléphone, parcourir ses e-mails ou Twitter. Peut-être que nous aspirons à cela si profondément que nous nous convaincrons que le les machines se soucient réellement de nous.
Les implications ici sont mal comprises. Les gens finiraient-ils par rechercher le soutien émotionnel des machines, plutôt que des amis et de la famille ?
Comment tirer profit des machines empathiques, sans sacrifier les relations humaines existantes ? Comme le prévient Sherry Turkle, il est possible que la machine « commence comme une solution et finisse comme un usurpateur ».
Il est également possible que la véritable empathie soit une chose que nous, les humains, pouvons considérer comme la nôtre. C'est peut-être la seule chose que nous faisons que l'IA ne pourra jamais remplacer.
Peu de temps après avoir publié le fil Twitter, Morris a reçu de nombreuses réponses critiquant l'expérience comme étant contraire à l'éthique, citant des préoccupations concernant le manque de consentement éclairé et demandant si un comité d'examen institutionnel (IRB) avait approuvé l'expérience. Dans une réponse tweetée, Morris a déclaré que l'expérience « serait exemptée » des exigences de consentement éclairé car il n'avait pas prévu de publier les résultats :Here’s a 2min video on how it worked: https://t.co/3gHvc5i0rU
— Rob Morris (@RobertRMorris) January 6, 2023
Read on for the TLDR and some thoughts…
« Ce serait exempté [ndlr. des exigences de consentement éclairé]. Le modèle a été utilisé pour suggérer des réponses aux fournisseurs d'aide, qui pouvaient choisir de l'utiliser ou non. Nous n'avons utilisé aucune donnée personnelle, toutes les données sont anonymes, il n'y a aucun plan de publication. Mais l'IRB de l'HGM est formidable... Je ne pourrais même pas utiliser d'encre rouge dans nos dépliants d'étude si je me souviens bien... »
Ce à quoi un utilisateur a répondu :
« En tant qu'ancien membre et président de l'IRB, vous avez mené des recherches sur des sujets humains sur une population vulnérable sans l'approbation ou l'exemption de l'IRB (VOUS ne pouvez pas décider). Peut-être que le processus MGH IRB est si lent parce qu'il traite de choses comme ça. Conseil non sollicité : prenez un avocat ».
Face aux réactions sur Twitter, il a tenu a apporté des clarifications sur son fil :
Quelques précisions importantes sur mon récent fil de tweet :
Nous ne jumelions pas les gens pour discuter avec GPT-3, à leur insu. (rétrospectivement, j'aurais pu formuler mon premier tweet pour mieux refléter cela). Nous avons proposé à nos pairs sympathisants l'utilisation de GPT-3 pour les aider à élaborer leurs réponses. Nous voulions voir si cela les rendrait plus efficaces. Les gens du service ne discutaient pas directement avec l'IA.
Cette fonctionnalité était en opt-in. Tout le monde était au courant de la fonctionnalité lorsqu'elle était en ligne depuis quelques jours.
Nous ne jumelions pas les gens pour discuter avec GPT-3, à leur insu. (rétrospectivement, j'aurais pu formuler mon premier tweet pour mieux refléter cela). Nous avons proposé à nos pairs sympathisants l'utilisation de GPT-3 pour les aider à élaborer leurs réponses. Nous voulions voir si cela les rendrait plus efficaces. Les gens du service ne discutaient pas directement avec l'IA.
Cette fonctionnalité était en opt-in. Tout le monde était au courant de la fonctionnalité lorsqu'elle était en ligne depuis quelques jours.
Cependant, l'expérience soulève des questions éthiques, y compris des doutes sur la façon dont Koko a informé les utilisateurs et les risques de tester une technologie non éprouvée dans un cadre de soins de santé en direct, même un peer-to-peer.Some important clarification on my recent tweet thread:
— Rob Morris (@RobertRMorris) January 7, 2023
We were not pairing people up to chat with GPT-3, without their knowledge. (in retrospect, I could have worded my first tweet to better reflect this).
Conclusion
L'idée d'utiliser l'IA en tant que thérapeute est loin d'être nouvelle, mais la différence entre l'expérience de Koko et les approches thérapeutiques typiques de l'IA est que les patients savent généralement qu'ils ne parlent pas avec un vrai humain (fait intéressant, l'un des premiers chatbots, ELIZA, a simulé une séance de psychothérapie).
Dans le cas de Koko, la plateforme offrait une approche hybride où un intermédiaire humain pouvait prévisualiser le message avant de l'envoyer, au lieu d'un format de chat direct. Pourtant, sans consentement éclairé, les critiques affirment que Koko a violé les normes éthiques en vigueur conçues pour protéger les personnes vulnérables contre les pratiques de recherche nuisibles ou abusives.
Lundi, Morris a partagé un message réagissant à la controverse qui explique la voie à suivre de Koko avec GPT-3 et l'IA en général, écrivant : « Je reçois des critiques, des préoccupations et des questions sur ce travail avec empathie et ouverture. Nous partageons un intérêt à nous assurer que toutes les utilisations de l'IA sont traitées avec délicatesse, avec un profond souci de confidentialité, de transparence et d'atténuation des risques. Notre conseil consultatif clinique se réunit pour discuter des lignes directrices pour les travaux futurs, en particulier en ce qui concerne l'approbation de l'IRB ».
Source : Rob Morris
Et vous ?
Quelle lecture faites-vous de la situation ? Penchez-vous plus du côté de Rob Morris ou de ceux qui lui reprochent son approche avec chatGPT ? Pourquoi ? 
