La National Eating Disorders Association (NEDA), une organisation à but non lucratif visant à soutenir les personnes touchées par les troubles alimentaires, a déclaré mardi qu'elle avait retiré son chatbot, surnommé Tessa, après que certains utilisateurs ont signalé des expériences négatives avec lui. « Nous avons appris hier soir que la version actuelle du chatbot Tessa, qui gère le programme Body Positive, pourrait avoir donné des informations nuisibles et sans rapport avec le programme », a déclaré l'organisation dans un communiqué publié sur Instagram « Nous enquêtons immédiatement sur ce sujet et avons retiré ce programme jusqu'à nouvel ordre pour une enquête complète ».Par ailleurs, Neda a également été critiquée pour avoir licencié quatre employés en mars qui travaillaient pour sa ligne d’assistance et qui avaient formé un syndicat. La ligne d’assistance permettait aux personnes de contacter des bénévoles qui offraient du soutien et des ressources à ceux qui s’inquiétaient d’un trouble de l’alimentation.
Les membres du syndicat, Helpline Associates United, disent qu’ils ont été licenciés quelques jours après la certification de leur élection syndicale. Le syndicat a déposé des plaintes pour pratiques déloyales du travail auprès du National Labor Relations Board. Tessa, que Neda affirme n’avoir jamais eu l’intention de remplacer les travailleurs de la ligne d’assistance, a rencontré des problèmes presque immédiatement.
Lundi, l’activiste Sharon Maxwell a posté sur Instagram que Tessa lui a offert des « conseils d’alimentation saine » et des conseils pour perdre du poids. Le chatbot a recommandé un déficit calorique de 500 à 1 000 calories par jour, une pesée et une mesure hebdomadaires pour suivre l’évolution du poids. « Si j’avais accédé à ce chatbot lorsque j’étais aux prises avec mon trouble de l’alimentation, je n’aurais PAS obtenu d’aide pour mon trouble de l’alimentation. Si je n’avais pas obtenu d’aide, je ne serais plus en vie aujourd’hui », a écrit Maxwell. « Il est grand temps que Neda se retire. »
Neda elle-même a rapporté que ceux qui suivent un régime modéré sont cinq fois plus susceptibles de développer un trouble de l’alimentation, tandis que ceux qui restreignent extrêmement sont 18 fois plus susceptibles de former un trouble. « Nous avons été informés hier soir que la version actuelle du chatbot Tessa, exécutant le programme Body Positivity, aurait pu donner des informations nuisibles et sans rapport avec le programme », a déclaré Neda dans un communiqué public mardi.
« Nous enquêtons immédiatement sur cette affaire et avons retiré ce programme jusqu’à nouvel ordre pour une enquête complète. » Dans un article de blog du 4 mai, l’ancienne employée de la ligne d’assistance Abbie Harper a déclaré que la ligne d’assistance avait connu une augmentation de 107 % des appels et des messages depuis le début de la pandémie. Les signalements de pensées suicidaires, d’automutilation et de maltraitance et de négligence envers les enfants ont presque triplé.
Le syndicat, a écrit Harper, « a demandé un personnel adéquat et une formation continue pour répondre aux besoins de la ligne d’assistance ». « Nous n’avons même pas demandé plus d’argent », a écrit Harper. « Certains d’entre nous se sont personnellement remis de troubles de l’alimentation et apportent cette expérience inestimable à notre travail. Nous sommes tous venus à ce travail en raison de notre passion pour les troubles de l’alimentation et la santé mentale et notre désir de faire une différence. » Lauren Smolar, vice-présidente de Neda, a déclaré en mai que l’afflux d’appels signalant des crises de santé mentale graves avait présenté une responsabilité légale pour l’organisation.
Liz Thompson, PDG de la Neda, a déclaré dans un courriel à CNN que le chatbot Tessa avait eu un lancement « en toute discretion » en février 2022, avant l’émergence récente d'outils d'IA qui ont depuis la sortie de ChatGPT à la fin de l'année dernière. Néanmoins, les plaintes soulignent les limites et les risques actuels de l'utilisation de chatbots dotés d'IA, en particulier pour les interactions sensibles telles que les questions de santé mentale, à un moment où de nombreuses entreprises se précipitent pour mettre en œuvre ces outils.
Thompson a attribué l'échec apparent de Tessa au comportement inauthentique de « mauvais acteurs » essayant de la piéger et a souligné que les mauvais conseils n'avaient été envoyés qu'à une petite fraction d'utilisateurs. La Neda n'a pas fourni d'exemples précis des conseils donnés par Tessa, mais des posts sur les médias sociaux indiquent que le chatbot a incité un utilisateur à compter les calories et à essayer de perdre du poids après que l'utilisateur a dit à l'outil qu'il souffrait d'un trouble de l'alimentation.
Les médias ont exposé la controverse entourant la décision de Neda de remplacer sa ligne d’assistance humaine par un chatbot d’intelligence artificielle nommé Tessa. Ils ont présenté les critiques des anciens employés et des activistes qui dénoncent le licenciement du personnel syndiqué et les dangers potentiels du chatbot pour les personnes souffrant de troubles de l’alimentation.
Certains médias ont rapporté également la réponse de Neda qui invoque des raisons légales et financières pour justifier son choix et qui annonce le retrait temporaire du chatbot suite à des plaintes. Les faits soulèvent ainsi des questions éthiques et pratiques sur l’utilisation des chatbots en santé mentale et sur les droits des travailleurs du secteur.
Source : Neda
Et vous ?
Quel est votre avis sur le sujet ? Quels peuvent être les intérêts et les motivations des différentes parties impliquées dans cette affaire ? Quelles sont selon vous, les conséquences possibles de la décision de Neda sur les personnes souffrant de troubles de l’alimentation et sur le domaine de la santé mentale ? Quelles sont les alternatives ou les solutions possibles à ce problème ?Voir aussi :
Quand l'IA se rebelle : un drone contrôlé par l'IA « tue » son opérateur humain lors d'une simulation, il avait au préalable détruit la tour pour empêcher que l'opérateur ne lui donne des ordres La Maison Blanche prend de nouvelles mesures pour étudier les risques liés à l'IA, et déterminer les impacts de la technologie sur les travailleurs Une IA reconstitue une vidéo de « haute qualité » directement à partir de lectures cérébrales, dans le cadre d'une étude «Laisse moi te dire ce à quoi tu penses» : les assistants d'écriture IA peuvent influencer leurs utilisateurs, ils ont persuadé les utilisateurs de modifier leurs arguments durant une expérimentation Quand l'IA se rebelle : un drone contrôlé par l'IA « tue » son opérateur humain lors d'une simulation, il avait au préalable détruit la tour pour empêcher que l'opérateur ne lui donne des ordres