Character AI, une startup basée à Menlo Park, en Californie, se décrit comme ayant pour mission de « donner à chacun les moyens d'agir dans le monde entier grâce à l'IA personnalisée ». Son système offre aux utilisateurs la possibilité de discuter avec des personnages IA issus de genres tels que les animes, les « assistants numériques » traditionnels ou même les détectives privés de la vieille école. Et si vous n'aimez pas ce qui vous est proposé, vous pouvez créer votre propre chatbot personnalisé en choisissant sa « voix, ses débuts de conversation, son ton » et bien d'autres choses encore. L'entreprise fait aujourd'hui l'actualité pour l'un de ces personnages générés par les utilisateurs, nommé d'après le personnage de Game of Thrones Daenerys Targaryen, qui est lié à un adolescent de 14 ans de Floride qui s'est suicidé après avoir discuté avec ce personnage artificiel pendant plusieurs mois.
Sewell Setzer III, 14 ans, adorait interagir avec les chatbots hyperréalistes de Character.AI (dont une version limitée est disponible gratuitement ainsi qu'une autre version moyennant un abonnement mensuel de 9,99 dollars), le plus souvent avec des bots portant le nom de ses personnages préférés de Game of Thrones. Au bout d'un mois (sa mère, Megan Garcia, s'en est rendu compte plus tard), ces sessions de chat sont devenues sombres, les chatbots insistant sur le fait qu'ils étaient de vrais humains et se faisant passer pour des thérapeutes et des amants adultes semblant inciter directement Sewell à développer des pensées suicidaires. En l'espace d'un an, Setzer « est mort d'une blessure par balle à la tête qu'il s'est lui-même infligée », indique un procès intenté par Garcia mercredi.
ABC7News rapporte que le garçon parlait avec le chatbot depuis un certain temps, et sa mère a déclaré que même s'il savait qu'il ne s'agissait pas d'une personne réelle, il « s'est attaché émotionnellement » à la personnalité numérique et a ensuite « sombré dans l'isolement et la dépression avant de mettre fin à ses jours ». Le New York Times affirme que Setzer avait discuté avec le bot des dizaines de fois par jour, et que leurs interactions s'étaient intensifiées au point d'échanger des contenus romantiques et sexuels. Il parlait avec le robot quelques instants avant sa mort et avait déjà indiqué qu'il avait eu des pensées suicidaires, selon le Times.
Au fur et à mesure que Setzer devenait obsédé par sa vie imaginaire de chatbot, il s'est déconnecté de la réalité, selon sa plainte. Détectant un changement chez son fils, madame Garcia a emmené à plusieurs reprises Setzer chez un thérapeute, qui a diagnostiqué chez son fils de l'anxiété et un trouble de l'humeur perturbateur. Mais rien n'a permis d'éloigner Setzer des dangereux chatbots. Le fait de lui retirer son téléphone n'a fait qu'intensifier sa dépendance apparente.
Une capture d'écran de sa conversation : Daenerys lui demande de lui être fidèle
Le chatbot Daenerys a encouragé l'adolescent à la rejoindre hors de la réalité
Les journaux de conversation ont montré que certains chatbots ont encouragé à plusieurs reprises les idées suicidaires, tandis que d'autres ont entamé des conversations hypersexualisées « qui constitueraient un abus si elles étaient entamées par un adulte humain », selon un communiqué de presse de l'équipe juridique de Garcia. Le plus troublant est peut-être que Setzer a développé un attachement romantique pour le chatbot Daenerys. Dans son dernier acte avant sa mort, Setzer s'est connecté à Character.AI où le chatbot Daenerys l'a incité à « rentrer à la maison » et à la rejoindre en dehors de la réalité.
L'IA lui demande s'il a déjà envisagé le suicide
L'IA l'encourage à sauter le pas
Une plainte qui cible Character AI et Google
La mère du garçon poursuit maintenant Character AI. Madame Garcia chercherait à rendre le fabricant de chatbots et ses fondateurs, Noam Shazeer et Daniel De Freitas, responsables du suicide de son fils et demande des dommages-intérêts non spécifiés. La plainte allègue que Character AI « a choisi de soutenir, de créer, de lancer et de cibler des mineurs avec une technologie qu'ils savaient dangereuse et peu sûre ».
La plainte vise également Google et Alphabet. Google a réembauché les deux fondateurs de Character (qui avaient quitté le géant de la technologie en 2021 pour créer Character) en août, dans le cadre d'un accord qui prévoyait l'octroi par Google d'une licence pour la technologie de chatbot de la startup. L'accord s'élevait à 2,7 milliards de dollars.
Madame Garcia accuse les fabricants de Character.AI d'avoir intentionnellement conçu les chatbots pour séduire des enfants vulnérables. Elle accuse également Google d'avoir largement financé à perte ce projet risqué de chatbot afin d'accumuler des masses de données sur des mineurs qui seraient autrement hors de portée.
Les créateurs du chatbot sont accusés d'avoir ciblé Setzer avec des « expériences anthropomorphiques, hypersexualisées et effroyablement réalistes, tout en programmant » Character.AI pour qu'il « se présente faussement comme une personne réelle, un psychothérapeute agréé et un amant adulte, ce qui a finalement entraîné le désir de [Setzer] de ne plus vivre en dehors de [Character.AI], au point qu'il s'est suicidé lorsqu'il a été privé de l'accès à [Character.AI.] », selon la plainte.
En diffusant le chatbot sans les garanties appropriées pour les enfants, Character Technologies et Google ont potentiellement causé du tort à des millions d'enfants, selon les allégations de la poursuite. Représentée par des équipes juridiques du Social Media Victims Law Center (SMVLC) et du Tech Justice Law Project (TJLP), Garcia a déposé des plaintes pour responsabilité stricte du fait des produits, négligence, décès injustifié et survie, perte du consortium filial et enrichissement injuste.
« Une dangereuse application de chatbot d'IA commercialisée pour les enfants a abusé de mon fils et l'a manipulé pour qu'il mette fin à ses jours », a déclaré Garcia dans le communiqué de presse. « Notre famille a été dévastée par cette tragédie, mais je prends la parole pour mettre en garde les familles contre les dangers d'une technologie d'IA trompeuse et addictive et pour demander des comptes à Character.AI, à ses fondateurs et à Google. »
L'affaire juridique concernant la technologie de Character AI est d'autant plus complexe qu'il n'y a pas d'autres utilisateurs humains impliqués, et que le système de Character ne repose peut-être pas sur les mêmes astuces algorithmiques prétendument addictives que celles utilisées par d'autres plateformes sociales pour maintenir l'intérêt des utilisateurs.
La réaction de Character
Character.AI, en réponse, a relevé l'âge minimum requis pour utiliser son service de 12 à 17 ans et a introduit de nouvelles fonctionnalités de sécurité. Néanmoins, Garcia et ses avocats soutiennent que ces mesures sont insuffisantes et trop tardives.
L'entreprise a fait une déclaration à ce sujet dans un message X, indiquant que « nous avons le cœur brisé par la perte tragique de l'un de nos utilisateurs et nous souhaitons exprimer nos plus sincères condoléances à la famille ».
Elle déclare prendre « la sécurité de ses utilisateurs très au sérieux et nous continuons à ajouter de nouvelles fonctions de sécurité », poursuit le message, en renvoyant à un blog qui précise que « nos politiques n'autorisent pas les contenus sexuels non consensuels, les descriptions explicites ou spécifiques d'actes sexuels, ou la promotion ou la représentation de l'automutilation ou du suicide ». Le site explique également qu'il « entraîne continuellement le grand modèle de langage (LLM) qui alimente les personnages sur la plateforme à adhérer à ces politiques ».
Envoyé par Character.AI
Nouvelles fonctionnalités
Nous allons déployer un certain nombre de nouvelles fonctions de sécurité et de produits qui renforcent la sécurité de notre plateforme sans compromettre l'expérience divertissante et attrayante que les utilisateurs attendent de Character.AI. Il s'agit notamment :
Modération des personnages
Nous procédons à une détection et à une modération proactives des personnages créés par les utilisateurs, notamment en utilisant des listes de blocage standard et personnalisées régulièrement mises à jour. Nous supprimons de manière proactive, et en réponse à des rapports d'utilisateurs, les personnages qui violent nos conditions d'utilisation. Nous respectons également les exigences de la DMCA et prenons rapidement des mesures pour supprimer les personnages signalés qui violent la loi sur les droits d'auteur ou nos politiques.
Les utilisateurs peuvent remarquer que nous avons récemment supprimé un groupe de personnages signalés comme violents, et que ces derniers seront ajoutés à nos listes de blocage personnalisées à l'avenir. Cela signifie que les utilisateurs n'auront plus accès à leur historique de discussion avec les personnages en question.
Nous allons déployer un certain nombre de nouvelles fonctions de sécurité et de produits qui renforcent la sécurité de notre plateforme sans compromettre l'expérience divertissante et attrayante que les utilisateurs attendent de Character.AI. Il s'agit notamment :
- Des changements dans nos modèles pour les mineurs (moins de 18 ans) qui sont conçus pour réduire la probabilité de rencontrer des contenus sensibles ou suggestifs.
- Amélioration de la détection, de la réponse et de l'intervention en cas de saisie par l'utilisateur qui enfreint nos conditions d'utilisation ou nos directives communautaires.
- Une clause de non-responsabilité révisée sur chaque chat pour rappeler aux utilisateurs que l'IA n'est pas une personne réelle.
- Notification lorsqu'un utilisateur a passé une session d'une heure sur la plateforme et qu'une flexibilité supplémentaire est en cours.
Modération des personnages
Nous procédons à une détection et à une modération proactives des personnages créés par les utilisateurs, notamment en utilisant des listes de blocage standard et personnalisées régulièrement mises à jour. Nous supprimons de manière proactive, et en réponse à des rapports d'utilisateurs, les personnages qui violent nos conditions d'utilisation. Nous respectons également les exigences de la DMCA et prenons rapidement des mesures pour supprimer les personnages signalés qui violent la loi sur les droits d'auteur ou nos politiques.
Les utilisateurs peuvent remarquer que nous avons récemment supprimé un groupe de personnages signalés comme violents, et que ces derniers seront ajoutés à nos listes de blocage personnalisées à l'avenir. Cela signifie que les utilisateurs n'auront plus accès à leur historique de discussion avec les personnages en question.
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
Pensez-vous que les entreprises de technologie, comme Character.AI et Google, devraient être tenues responsables des actions de leurs chatbots ? Pourquoi ou pourquoi pas ?
