La plate-forme a constaté que les messages composés par l'IA étaient nettement mieux notés que ceux écrits par les humains, tandis que les temps de réponse ont diminué de 50% à moins d'une minute.
Malgré le succès auprès des utilisateurs, le test a été arrêté car il semblait inauthentique.
Les chatbots IA comme ChatGPT peuvent faire beaucoup de choses. Ils peuvent répondre aux tweets, écrire de la science-fiction, planifier le Noël de la famille et agir comme avocat au tribunal. Mais un chatbot peut-il fournir un soutien sûr et efficace en matière de santé mentale ? Une entreprise appelée Koko a décidé de le découvrir en se servant de l'IA pour aider à créer un soutien en matière de santé mentale pour environ 4 000 de ses utilisateurs en octobre.
« Franchement, ce sera l'avenir. Nous allons penser que nous interagissons avec des humains et ne pas savoir s'il y avait une IA impliquée. Comment cela affecte-t-il la communication interhumaine ? J'ai mes propres problèmes de santé mentale, donc je veux vraiment que cela soit fait correctement », a déclaré le co-fondateur de Koko, Rob Morris.
Koko est un service de santé mentale entre pairs qui permet aux gens de demander conseil et soutien à d'autres utilisateurs. Sur son site, il est mentionné : « Koko vous met en contact avec de vraies personnes qui vous comprennent vraiment. Pas des thérapeutes, pas des conseillers, juste des gens comme vous ».
Dans une brève expérience, la société a permis aux utilisateurs de générer des réponses automatiques à l'aide de "Koko Bot" - alimenté par le GPT-3 d'OpenAI - qui pourraient ensuite être modifiées, envoyées ou rejetées. Selon Morris, les 30 000 messages assistés par l'IA envoyés pendant le test ont reçu une réponse extrêmement positive, mais la société a arrêté l'expérience après quelques jours parce qu'elle « semblait plutôt stérile ».
« Lorsque vous interagissez avec GPT-3, vous pouvez commencer à capter certains indices. Tout est vraiment bien écrit, mais c'est une sorte de formule, et vous pouvez le lire et reconnaître que tout est purement écrit par un bot et qu'aucune nuance humaine n'a été ajoutée », a déclaré Morris. « Il y a quelque chose dans l'authenticité qui se perd lorsque vous avez cet outil comme outil de soutien pour vous aider dans votre écriture, en particulier dans ce genre de contexte. Sur notre plate-forme, les messages semblaient meilleurs d'une certaine manière quand je pouvais sentir qu'ils étaient plus écrits par l'homme ».
Morris a publié un fil sur Twitter à propos du test qui impliquait que les utilisateurs ne comprenaient pas qu'une IA était impliquée dans leurs soins. Il a tweeté « qu'une fois que les gens ont appris que les messages étaient co-créés par une machine, cela n'a pas fonctionné ». Le tweet a provoqué un tollé sur Twitter à propos de l'éthique des recherches de Koko, étant donné que ses propos ont suggéré un manque clé de consentement éclairé pendant au moins une phase de l'expérience.
Envoyé par Rob Morris
[twitter]<blockquote class="twitter-tweet"><p lang="en" dir="ltr">Here’s a 2min video on how it worked: <a href="https://t.co/3gHvc5i0rU">https://t.co/3gHvc5i0rU</a><br><br>Read on for the TLDR and some thoughts…</p>— Rob Morris (@RobertRMorris) <a href="https://twitter.com/RobertRMorris/status/1611450205206888451?ref_src=twsrc%5Etfw">January 6, 2023</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script> [/twitter]
Peu de temps après avoir publié le fil Twitter, Morris a reçu de nombreuses réponses critiquant l'expérience comme étant contraire à l'éthique, citant des préoccupations concernant le manque de consentement éclairé et demandant si un comité d'examen institutionnel (IRB) avait approuvé l'expérience. Dans une réponse tweetée, Morris a déclaré que l'expérience « serait exemptée » des exigences de consentement éclairé car il n'avait pas prévu de publier les résultats :
« Ce serait exempté [ndlr. des exigences de consentement éclairé]. Le modèle a été utilisé pour suggérer des réponses aux fournisseurs d'aide, qui pouvaient choisir de l'utiliser ou non. Nous n'avons utilisé aucune donnée personnelle, toutes les données sont anonymes, il n'y a aucun plan de publication. Mais l'IRB de l'HGM est formidable... Je ne pourrais même pas utiliser d'encre rouge dans nos dépliants d'étude si je me souviens bien... »
Ce à quoi un utilisateur a répondu :
« En tant qu'ancien membre et président de l'IRB, vous avez mené des recherches sur des sujets humains sur une population vulnérable sans l'approbation ou l'exemption de l'IRB (VOUS ne pouvez pas décider). Peut-être que le processus MGH IRB est si lent parce qu'il traite de choses comme ça. Conseil non sollicité : prenez un avocat ».
Face aux réactions sur Twitter, il a tenu a apporté des clarifications sur son fil :
Quelques précisions importantes sur mon récent fil de tweet :
Nous ne jumelions pas les gens pour discuter avec GPT-3, à leur insu. (rétrospectivement, j'aurais pu formuler mon premier tweet pour mieux refléter cela). Nous avons proposé à nos pairs sympathisants l'utilisation de GPT-3 pour les aider à élaborer leurs réponses. Nous voulions voir si cela les rendrait plus efficaces. Les gens du service ne discutaient pas directement avec l'IA.
Cette fonctionnalité était en opt-in. Tout le monde était au courant de la fonctionnalité lorsqu'elle était en ligne depuis quelques jours.
Nous ne jumelions pas les gens pour discuter avec GPT-3, à leur insu. (rétrospectivement, j'aurais pu formuler mon premier tweet pour mieux refléter cela). Nous avons proposé à nos pairs sympathisants l'utilisation de GPT-3 pour les aider à élaborer leurs réponses. Nous voulions voir si cela les rendrait plus efficaces. Les gens du service ne discutaient pas directement avec l'IA.
Cette fonctionnalité était en opt-in. Tout le monde était au courant de la fonctionnalité lorsqu'elle était en ligne depuis quelques jours.
Cependant, l'expérience soulève des questions éthiques, y compris des doutes sur la façon dont Koko a informé les utilisateurs et les risques de tester une technologie non éprouvée dans un cadre de soins de santé en direct, même un peer-to-peer.
Conclusion
L'idée d'utiliser l'IA en tant que thérapeute est loin d'être nouvelle, mais la différence entre l'expérience de Koko et les approches thérapeutiques typiques de l'IA est que les patients savent généralement qu'ils ne parlent pas avec un vrai humain (fait intéressant, l'un des premiers chatbots, ELIZA, a simulé une séance de psychothérapie).
Dans le cas de Koko, la plateforme offrait une approche hybride où un intermédiaire humain pouvait prévisualiser le message avant de l'envoyer, au lieu d'un format de chat direct. Pourtant, sans consentement éclairé, les critiques affirment que Koko a violé les normes éthiques en vigueur conçues pour protéger les personnes vulnérables contre les pratiques de recherche nuisibles ou abusives.
Lundi, Morris a partagé un message réagissant à la controverse qui explique la voie à suivre de Koko avec GPT-3 et l'IA en général, écrivant : « Je reçois des critiques, des préoccupations et des questions sur ce travail avec empathie et ouverture. Nous partageons un intérêt à nous assurer que toutes les utilisations de l'IA sont traitées avec délicatesse, avec un profond souci de confidentialité, de transparence et d'atténuation des risques. Notre conseil consultatif clinique se réunit pour discuter des lignes directrices pour les travaux futurs, en particulier en ce qui concerne l'approbation de l'IRB ».
Source : Rob Morris
Et vous ?
Quelle lecture faites-vous de la situation ?
Penchez-vous plus du côté de Rob Morris ou de ceux qui lui reprochent son approche avec chatGPT ? Pourquoi ?