
La plate-forme a constaté que les messages composés par l'IA étaient nettement mieux notés que ceux écrits par les humains, tandis que les temps de réponse ont diminué de 50% à moins d'une minute.
Malgré le succès auprès des utilisateurs, le test a été arrêté car il semblait inauthentique.
Les chatbots IA comme ChatGPT peuvent faire beaucoup de choses. Ils peuvent répondre aux tweets, écrire de la science-fiction, planifier le Noël de la famille et agir comme avocat au tribunal. Mais un chatbot peut-il fournir un soutien sûr et efficace en matière de santé mentale ? Une entreprise appelée Koko a décidé de le découvrir en se servant de l'IA pour aider à créer un soutien en matière de santé mentale pour environ 4 000 de ses utilisateurs en octobre.
« Franchement, ce sera l'avenir. Nous allons penser que nous interagissons avec des humains et ne pas savoir s'il y avait une IA impliquée. Comment cela affecte-t-il la communication interhumaine ? J'ai mes propres problèmes de santé mentale, donc je veux vraiment que cela soit fait correctement », a déclaré le co-fondateur de Koko, Rob Morris.
Koko est un service de santé mentale entre pairs qui permet aux gens de demander conseil et soutien à d'autres utilisateurs. Sur son site, il est mentionné : « Koko vous met en contact avec de vraies personnes qui vous comprennent vraiment. Pas des thérapeutes, pas des conseillers, juste des gens comme vous ».
Dans une brève expérience, la société a permis aux utilisateurs de générer des réponses automatiques à l'aide de "Koko Bot" - alimenté par le GPT-3 d'OpenAI - qui pourraient ensuite être modifiées, envoyées ou rejetées. Selon Morris, les 30 000 messages assistés par l'IA envoyés pendant le test ont reçu une réponse extrêmement positive, mais la société a arrêté l'expérience après quelques jours parce qu'elle « semblait plutôt stérile ».
« Lorsque vous interagissez avec GPT-3, vous pouvez commencer à capter certains indices. Tout est vraiment bien écrit, mais c'est une sorte de formule, et vous pouvez le lire et reconnaître que tout est purement écrit par un bot et qu'aucune nuance humaine n'a été ajoutée », a déclaré Morris. « Il y a quelque chose dans l'authenticité qui se perd lorsque vous avez cet outil comme outil de soutien pour vous aider dans votre écriture, en particulier dans ce genre de contexte. Sur notre plate-forme, les messages semblaient meilleurs d'une certaine manière quand je pouvais sentir qu'ils étaient plus écrits par l'homme ».
Morris a publié un fil sur Twitter à propos du test qui impliquait que les utilisateurs ne comprenaient pas qu'une IA était impliquée dans leurs soins. Il a tweeté « qu'une fois que les gens ont appris que les messages étaient co-créés par une machine, cela n'a pas fonctionné ». Le tweet a provoqué un tollé sur Twitter à propos de l'éthique des recherches de Koko, étant donné que ses propos ont suggéré un manque clé de consentement éclairé pendant au moins une phase de l'expérience.

[twitter]<blockquote class="twitter-tweet"><p lang="en" dir="ltr">Here’s a 2min video on how it worked: <a href="https://t.co/3gHvc5i0rU">https://t.co/3gHvc5i0rU</a><br><br>Read on for the TLDR and some thoughts…</p>— Rob Morris (@RobertRMorris) <a href="https://twitter.com/RobertRMorris/status/1611450205206888451?ref_src=twsrc%5Etfw">January 6, 2023</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script> [/twitter]
Peu de temps après avoir publié le fil Twitter, Morris a reçu de nombreuses réponses critiquant l'expérience comme étant contraire à l'éthique, citant des préoccupations concernant le manque de consentement éclairé et demandant si un comité d'examen institutionnel (IRB) avait approuvé l'expérience. Dans une réponse tweetée, Morris a déclaré que l'expérience « serait exemptée » des exigences de consentement éclairé car il n'avait pas prévu de publier les résultats :
« Ce serait exempté [ndlr. des exigences de consentement éclairé]. Le modèle a été utilisé pour suggérer des réponses aux fournisseurs d'aide, qui pouvaient choisir de l'utiliser ou non. Nous n'avons utilisé aucune donnée personnelle, toutes les données sont anonymes, il n'y a aucun plan de publication. Mais l'IRB de l'HGM est formidable... Je ne pourrais même pas utiliser d'encre rouge dans nos dépliants d'étude si je me souviens bien... »
Ce à quoi un utilisateur a répondu :
« En tant qu'ancien membre et président de l'IRB, vous avez mené des recherches sur des sujets humains sur une population vulnérable sans l'approbation ou l'exemption de l'IRB (VOUS ne...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.