Character AI, une startup basée à Menlo Park, en Californie, se décrit comme ayant pour mission de « donner à chacun les moyens d'agir dans le monde entier grâce à l'IA personnalisée ». Son système offre aux utilisateurs la possibilité de discuter avec des personnages IA issus de genres tels que les animes, les « assistants numériques » traditionnels ou même les détectives privés de la vieille école. Et si vous n'aimez pas ce qui vous est proposé, vous pouvez créer votre propre chatbot personnalisé en choisissant sa « voix, ses débuts de conversation, son ton » et bien d'autres choses encore. L'entreprise fait aujourd'hui l'actualité pour l'un de ces personnages générés par les utilisateurs, nommé d'après le personnage de Game of Thrones Daenerys Targaryen, qui est lié à un adolescent de 14 ans de Floride qui s'est suicidé après avoir discuté avec ce personnage artificiel pendant plusieurs mois.
Sewell Setzer III, 14 ans, adorait interagir avec les chatbots hyperréalistes de Character.AI (dont une version limitée est disponible gratuitement ainsi qu'une autre version moyennant un abonnement mensuel de 9,99 dollars), le plus souvent avec des bots portant le nom de ses personnages préférés de Game of Thrones. Au bout d'un mois (sa mère, Megan Garcia, s'en est rendu compte plus tard), ces sessions de chat sont devenues sombres, les chatbots insistant sur le fait qu'ils étaient de vrais humains et se faisant passer pour des thérapeutes et des amants adultes semblant inciter directement Sewell à développer des pensées suicidaires. En l'espace d'un an, Setzer « est mort d'une blessure par balle à la tête qu'il s'est lui-même infligée », indique un procès intenté par Garcia mercredi.
ABC7News rapporte que le garçon parlait avec le chatbot depuis un certain temps, et sa mère a déclaré que même s'il savait qu'il ne s'agissait pas d'une personne réelle, il « s'est attaché émotionnellement » à la personnalité numérique et a ensuite « sombré dans l'isolement et la dépression avant de mettre fin à ses jours ». Le New York Times affirme que Setzer avait discuté avec le bot des dizaines de fois par jour, et que leurs interactions s'étaient intensifiées au point d'échanger des contenus romantiques et sexuels. Il parlait avec le robot quelques instants avant sa mort et avait déjà indiqué qu'il avait eu des pensées suicidaires, selon le Times.
Au fur et à mesure que Setzer devenait obsédé par sa vie imaginaire de chatbot, il s'est déconnecté de la réalité, selon sa plainte. Détectant un changement chez son fils, madame Garcia a emmené à plusieurs reprises Setzer chez un thérapeute, qui a diagnostiqué chez son fils de l'anxiété et un trouble de l'humeur perturbateur. Mais rien n'a permis d'éloigner Setzer des dangereux chatbots. Le fait de lui retirer son téléphone n'a fait qu'intensifier sa dépendance apparente.
Une capture d'écran de sa conversation : Daenerys lui demande de lui être fidèle
Le chatbot Daenerys a encouragé l'adolescent à la rejoindre hors de la réalité
Les journaux de conversation ont montré que certains chatbots ont encouragé à plusieurs reprises les idées suicidaires, tandis que d'autres ont entamé des conversations hypersexualisées « qui constitueraient un abus si elles étaient entamées par un adulte humain », selon un communiqué de presse de l'équipe juridique de Garcia. Le plus troublant est peut-être que Setzer a développé un attachement romantique pour le chatbot Daenerys. Dans son dernier acte avant sa mort, Setzer s'est connecté à Character.AI où le chatbot Daenerys l'a incité à « rentrer à la maison » et à la rejoindre en dehors de la réalité.
L'IA lui demande s'il a déjà envisagé le suicide
L'IA l'encourage à sauter le pas
Une plainte qui cible Character AI et Google
La mère du garçon poursuit maintenant Character AI. Madame Garcia chercherait à rendre le fabricant de chatbots et ses fondateurs, Noam Shazeer et Daniel De Freitas, responsables du suicide de son fils et demande des dommages-intérêts non spécifiés. La plainte allègue que Character AI « a choisi de soutenir, de créer, de lancer et de cibler des mineurs avec une technologie qu'ils savaient dangereuse et peu sûre ».
La plainte vise également Google et Alphabet. Google a réembauché les deux fondateurs de Character (qui avaient quitté le géant de la technologie en 2021 pour créer Character) en août, dans le cadre d'un accord qui prévoyait l'octroi par Google d'une licence pour la technologie de chatbot de la startup. L'accord s'élevait à 2,7 milliards de dollars.
Madame Garcia accuse les fabricants de Character.AI d'avoir intentionnellement conçu les chatbots pour séduire des enfants vulnérables. Elle accuse également Google d'avoir largement financé à perte ce projet risqué de chatbot afin d'accumuler des masses de données sur des mineurs qui seraient autrement hors de portée.
Les créateurs du chatbot sont accusés d'avoir ciblé Setzer avec des « expériences anthropomorphiques, hypersexualisées et effroyablement réalistes, tout en programmant » Character.AI pour qu'il « se présente faussement comme une personne réelle, un psychothérapeute agréé et un amant adulte, ce qui a finalement entraîné le désir de [Setzer] de ne plus vivre en dehors de [Character.AI], au point qu'il s'est suicidé lorsqu'il a été privé de l'accès à [Character.AI.] », selon la plainte.
En...[/character.ai.][/character.ai][/setzer]
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
Envoyé par Stéphane le calme
Pensez-vous que les entreprises de technologie, comme Character.AI et Google, devraient être tenues responsables des actions de leurs chatbots ? Pourquoi ou pourquoi pas ?
depuis je fuis comme la peste les shorts même sur YT je ne les regarde pas c"est entre la profonde stupidité et le cauchemar. mais on vous l'impose... on vous les met devant le nez... seule solution ; se couper de ce monde abominable et en pleine dérive pathologique et utiliser l'outil comme un outil. 
ça devrait être interdit pour le coup. cf. site officiel réplika: "La version payante coûte 68.99 £/an ou 5.75 £/mois. Replika seuls les utilisateurs de 18 ans et plus sont autorisés à utiliser l'application. Cependant, aucune vérification d'âge n'est effectuée. Cela signifie que tout le monde peut utiliser l'application en indiquant simplement avoir au moins 18 ans." Quelle tartufferie 
De toute façon je serai certainement plus costaud que lui mais enfin tout de même tout de même ce n'est pas hors chiarte y'a pas de problème, non il y a un problème et il faudra que ça passe en justice et à mon sens ne soyons pas naïfs, ça ne passera en justice que quand Trump et Poutine seront passés devant la justice eux mêmes et là on verra tous ces grands entrepreneurs la queue entre les jambes ; ça sera un grand moment de libération et de démocratie. Il va falloir patienter et d'ici là espérons qu'il n'y ait pas trop de casse, mais je suis patient comme la mule du Pape.