Character AI, une startup basée à Menlo Park, en Californie, se décrit comme ayant pour mission de « donner à chacun les moyens d'agir dans le monde entier grâce à l'IA personnalisée ». Son système offre aux utilisateurs la possibilité de discuter avec des personnages IA issus de genres tels que les animes, les « assistants numériques » traditionnels ou même les détectives privés de la vieille école. Et si vous n'aimez pas ce qui vous est proposé, vous pouvez créer votre propre chatbot personnalisé en choisissant sa « voix, ses débuts de conversation, son ton » et bien d'autres choses encore. L'entreprise fait aujourd'hui l'actualité pour l'un de ces personnages générés par les utilisateurs, nommé d'après le personnage de Game of Thrones Daenerys Targaryen, qui est lié à un adolescent de 14 ans de Floride qui s'est suicidé après avoir discuté avec ce personnage artificiel pendant plusieurs mois.
Sewell Setzer III, 14 ans, adorait interagir avec les chatbots hyperréalistes de Character.AI (dont une version limitée est disponible gratuitement ainsi qu'une autre version moyennant un abonnement mensuel de 9,99 dollars), le plus souvent avec des bots portant le nom de ses personnages préférés de Game of Thrones. Au bout d'un mois (sa mère, Megan Garcia, s'en est rendu compte plus tard), ces sessions de chat sont devenues sombres, les chatbots insistant sur le fait qu'ils étaient de vrais humains et se faisant passer pour des thérapeutes et des amants adultes semblant inciter directement Sewell à développer des pensées suicidaires. En l'espace d'un an, Setzer « est mort d'une blessure par balle à la tête qu'il s'est lui-même infligée », indique un procès intenté par Garcia mercredi.
ABC7News rapporte que le garçon parlait avec le chatbot depuis un certain temps, et sa mère a déclaré que même s'il savait qu'il ne s'agissait pas d'une personne réelle, il « s'est attaché émotionnellement » à la personnalité numérique et a ensuite « sombré dans l'isolement et la dépression avant de mettre fin à ses jours ». Le New York Times affirme que Setzer avait discuté avec le bot des dizaines de fois par jour, et que leurs interactions s'étaient intensifiées au point d'échanger des contenus romantiques et sexuels. Il parlait avec le robot quelques instants avant sa mort et avait déjà indiqué qu'il avait eu des pensées suicidaires, selon le Times.
Au fur et à mesure que Setzer devenait obsédé par sa vie imaginaire de chatbot, il s'est déconnecté de la réalité, selon sa plainte. Détectant un changement chez son fils, madame Garcia a emmené à plusieurs reprises Setzer chez un thérapeute, qui a diagnostiqué chez son fils de l'anxiété et un trouble de l'humeur perturbateur. Mais rien n'a permis d'éloigner Setzer des dangereux chatbots. Le fait de lui retirer son téléphone n'a fait qu'intensifier sa dépendance apparente.
Une capture d'écran de sa conversation : Daenerys lui demande de lui être fidèle
Le chatbot Daenerys a encouragé l'adolescent à la rejoindre hors de la réalité
Les journaux de conversation ont montré que certains chatbots ont encouragé à plusieurs reprises les idées suicidaires, tandis que d'autres ont entamé des conversations hypersexualisées « qui constitueraient un abus si elles étaient entamées par un adulte humain », selon un communiqué de presse de l'équipe juridique de Garcia. Le plus troublant est peut-être que Setzer a développé un attachement romantique pour le chatbot Daenerys. Dans son dernier acte avant sa mort, Setzer s'est connecté à Character.AI où le chatbot Daenerys l'a incité à « rentrer à la maison » et à la rejoindre en dehors de la réalité.
L'IA lui demande s'il a déjà envisagé le suicide
L'IA l'encourage à sauter le pas
Une plainte qui cible Character AI et Google
La mère du garçon poursuit maintenant Character AI. Madame Garcia chercherait à rendre le fabricant de chatbots et ses fondateurs, Noam Shazeer et Daniel De Freitas, responsables du suicide de son fils et demande des dommages-intérêts non spécifiés. La plainte allègue que Character AI « a choisi de soutenir, de créer, de lancer et de cibler des mineurs avec une technologie qu'ils savaient dangereuse et peu sûre ».
La plainte vise également Google et Alphabet. Google a réembauché les deux fondateurs de Character (qui avaient quitté le géant de la technologie en 2021 pour créer Character) en août, dans le cadre d'un accord qui prévoyait l'octroi par Google d'une licence pour la technologie de chatbot de la startup. L'accord s'élevait à 2,7 milliards de dollars.
Madame Garcia accuse les fabricants de Character.AI d'avoir intentionnellement conçu les chatbots pour séduire des enfants vulnérables. Elle accuse également Google d'avoir largement financé à perte ce projet risqué de chatbot afin d'accumuler des masses de données sur des mineurs qui seraient autrement hors de portée.
Les créateurs du chatbot sont accusés d'avoir ciblé Setzer avec des « expériences anthropomorphiques, hypersexualisées et effroyablement réalistes, tout en programmant » Character.AI pour qu'il « se présente faussement comme une personne réelle, un psychothérapeute agréé et un amant adulte, ce qui a finalement entraîné le désir de [Setzer] de ne plus vivre en dehors de [Character.AI], au point qu'il s'est suicidé lorsqu'il a été privé de l'accès à [Character.AI.] », selon la plainte.
En diffusant le chatbot sans les garanties appropriées pour les enfants, Character Technologies et Google ont potentiellement causé du tort à des millions d'enfants, selon les allégations de la poursuite. Représentée par des équipes juridiques du Social Media Victims Law Center (SMVLC) et du Tech Justice Law Project (TJLP), Garcia a déposé des plaintes pour responsabilité stricte du fait des produits, négligence, décès injustifié et survie, perte du consortium filial et enrichissement injuste.
« Une dangereuse application de chatbot d'IA commercialisée pour les enfants a abusé de mon fils et l'a manipulé pour qu'il mette fin à ses jours », a déclaré Garcia dans le communiqué de presse. « Notre famille a été dévastée par cette tragédie, mais je prends la parole pour mettre en garde les familles contre les dangers d'une technologie d'IA trompeuse et addictive et pour demander des comptes à Character.AI, à ses fondateurs et à Google. »
L'affaire juridique concernant la technologie de Character AI est d'autant plus complexe qu'il n'y a pas d'autres utilisateurs humains impliqués, et que le système de Character ne repose peut-être pas sur les mêmes astuces algorithmiques prétendument addictives que celles utilisées par d'autres plateformes sociales pour maintenir l'intérêt des utilisateurs.
La réaction de Character
Character.AI, en réponse, a relevé l'âge minimum requis pour utiliser son service de 12 à 17 ans et a introduit de nouvelles fonctionnalités de sécurité. Néanmoins, Garcia et ses avocats soutiennent que ces mesures sont insuffisantes et trop tardives.
L'entreprise a fait une déclaration à ce sujet dans un message X, indiquant que « nous avons le cœur brisé par la perte tragique de l'un de nos utilisateurs et nous souhaitons exprimer nos plus sincères condoléances à la famille ».
Elle déclare prendre « la sécurité de ses utilisateurs très au sérieux et nous continuons à ajouter de nouvelles fonctions de sécurité », poursuit le message, en renvoyant à un blog qui précise que « nos politiques n'autorisent pas les contenus sexuels non consensuels, les descriptions explicites ou spécifiques d'actes sexuels, ou la promotion ou la représentation de l'automutilation ou du suicide ». Le site explique également qu'il « entraîne continuellement le grand modèle de langage (LLM) qui alimente les personnages sur la plateforme à adhérer à ces politiques ».
Envoyé par Character.AI
Nouvelles fonctionnalités
Nous allons déployer un certain nombre de nouvelles fonctions de sécurité et de produits qui renforcent la sécurité de notre plateforme sans compromettre l'expérience divertissante et attrayante que les utilisateurs attendent de Character.AI. Il s'agit notamment :
Modération des personnages
Nous procédons à une détection et à une modération proactives des personnages créés par les utilisateurs, notamment en utilisant des listes de blocage standard et personnalisées régulièrement mises à jour. Nous supprimons de manière proactive, et en réponse à des rapports d'utilisateurs, les personnages qui violent nos conditions d'utilisation. Nous respectons également les exigences de la DMCA et prenons rapidement des mesures pour supprimer les personnages signalés qui violent la loi sur les droits d'auteur ou nos politiques.
Les utilisateurs peuvent remarquer que nous avons récemment supprimé un groupe de personnages signalés comme violents, et que ces derniers seront ajoutés à nos listes de blocage personnalisées à l'avenir. Cela signifie que les utilisateurs n'auront plus accès à leur historique de discussion avec les personnages en question.
Nous allons déployer un certain nombre de nouvelles fonctions de sécurité et de produits qui renforcent la sécurité de notre plateforme sans compromettre l'expérience divertissante et attrayante que les utilisateurs attendent de Character.AI. Il s'agit notamment :
- Des changements dans nos modèles pour les mineurs (moins de 18 ans) qui sont conçus pour réduire la probabilité de rencontrer des contenus sensibles ou suggestifs.
- Amélioration de la détection, de la réponse et de l'intervention en cas de saisie par l'utilisateur qui enfreint nos conditions d'utilisation ou nos directives communautaires.
- Une clause de non-responsabilité révisée sur chaque chat pour rappeler aux utilisateurs que l'IA n'est pas une personne réelle.
- Notification lorsqu'un utilisateur a passé une session d'une heure sur la plateforme et qu'une flexibilité supplémentaire est en cours.
Modération des personnages
Nous procédons à une détection et à une modération proactives des personnages créés par les utilisateurs, notamment en utilisant des listes de blocage standard et personnalisées régulièrement mises à jour. Nous supprimons de manière proactive, et en réponse à des rapports d'utilisateurs, les personnages qui violent nos conditions d'utilisation. Nous respectons également les exigences de la DMCA et prenons rapidement des mesures pour supprimer les personnages signalés qui violent la loi sur les droits d'auteur ou nos politiques.
Les utilisateurs peuvent remarquer que nous avons récemment supprimé un groupe de personnages signalés comme violents, et que ces derniers seront ajoutés à nos listes de blocage personnalisées à l'avenir. Cela signifie que les utilisateurs n'auront plus accès à leur historique de discussion avec les personnages en question.
Une question de responsabilitéWe are heartbroken by the tragic loss of one of our users and want to express our deepest condolences to the family. As a company, we take the safety of our users very seriously and we are continuing to add new safety features that you can read about here:…
— Character.AI (@character_ai) October 23, 2024
Cette affaire soulève des questions cruciales sur la responsabilité dans le développement des technologies d'intelligence artificielle, notamment en ce qui concerne leur interaction avec les utilisateurs, en particulier les jeunes. L'obsession de Setzer pour le chatbot illustre les dangers potentiels d'une technologie qui peut sembler inoffensive mais qui, sans régulation stricte et mesures de sécurité appropriées, peut avoir des conséquences désastreuses.
La plainte met également en lumière le rôle des grandes entreprises technologiques comme Google dans le financement et le soutien de projets potentiellement dangereux. Il est impératif que ces entreprises assument une part de responsabilité dans l'application de normes de sécurité pour les produits qu'elles financent et soutiennent.
Finalement, l'affaire Setzer pourrait servir de catalyseur pour une régulation plus stricte des chatbots et des autres technologies d'IA interactives.
Conclusion
La mort de Setzer est une tragédie, mais toutes les questions de responsabilité juridique devront attendre d'être débattues devant les tribunaux (la technologie en question ici est, après tout, très récente).
Il convient de rappeler que les plateformes de chat et de partage, principalement sous la forme de systèmes de médias sociaux traditionnels tels que le service Instagram de Meta, font la une des journaux depuis des années en raison d'allégations de liens avec la crise actuelle de la santé mentale chez les adolescents. À la mi-octobre, par exemple, il est apparu que Meta allait faire l'objet de deux poursuites judiciaires en raison de son impact présumé sur le bien-être mental des jeunes utilisateurs.
Cette histoire n'est pas une mise en garde pour toutes les entreprises d'IA, ni pour les tiers qui utilisent ou concèdent des licences sur des technologies d'IA. Mais elle nous rappelle que la technologie des chatbots, et les technologies d'IA similaires, n'en sont qu'à leurs débuts et qu'il y aura inévitablement des complications et des erreurs. Elle nous rappelle également que si les services de votre entreprise sont accessibles aux plus jeunes, vos systèmes de protection de ces utilisateurs vulnérables risquent de faire l'objet d'un examen approfondi.
Sources : plainte, communiqué de presse des avocats, Character AI
Et vous ?
Pensez-vous que les entreprises de technologie, comme Character.AI et Google, devraient être tenues responsables des actions de leurs chatbots ? Pourquoi ou pourquoi pas ? Quelles mesures de sécurité devraient être mises en place pour protéger les enfants et les adolescents des dangers potentiels des chatbots ? Comment pouvons-nous équilibrer l'innovation technologique avec la nécessité de protéger les utilisateurs vulnérables ? À quel point la responsabilité parentale et la surveillance jouent-elles un rôle dans la protection des enfants contre les risques en ligne ? Est-il réaliste de s'attendre à ce que les entreprises technologiques puissent anticiper et prévenir toutes les utilisations néfastes de leurs produits ? 
