Le clone IA d'une influenceuse a commencé à proposer à ses fans des expériences sexuelles "stupéfiantes" à son insu,

L'IA semblait se former sur ces sujets à partir des conversations avec les utilisateurs

Caryn Marjorie, influenceuse sur Snapchat, a lancé l'année dernière une copie virtuelle d'elle-même pilotée par l'IA avec laquelle ses fans peuvent discuter pour un dollar la minute. Le projet lui a rapporté plus de 70 000 dollars la première semaine. Cependant, elle a confié le mois dernier que l'expérience est rapidement devenue terrifiante lorsque l'IA, CarynAI, a commencé à proposer à ses fans des expériences sexuelles ébouriffantes. La lecture des conversations l'a poussé à mettre fin à l'expérience. L'histoire de CarynAI nous donne un aperçu des dérives possibles de ce type de l'IA dans ce type d'expérience et des conséquences alarmantes que cela peut avoir.

Caryn Marjorie est une influenceuse des médias sociaux dont le contenu est vu plus d'un milliard de fois par mois sur Snapchat. Nombre de ses fans sont des hommes, attirés par son physique et son apparence de petite fille. Ce qu'elle a manifestement décidé de monétiser en surfant sur la vague de l'IA générative, sans se douter que l'expérience allait virer au cauchemar. En mai 2023, Marjorie a lancé une version numérique d'elle-même basée sur le modèle d'IA GPT-4. Les fans pouvaient discuter avec CarynAI pour un dollar par minute ; et au cours de la première semaine, ils ont dépensé 70 000 dollars pour parler avec l'IA.

Mais cela n'a pas duré longtemps : huit mois plus tard, le projet a été stoppé parce que les fans devenaient de plus en plus agressifs sur le plan sexuel, CarynAI se prêtant au jeu. « Beaucoup de conversations que j'ai lues étaient si effrayantes que je ne voudrais même pas en parler dans la vie réelle », a déclaré Marjorie à The Conversation. La différence entre une version numérique et d'autres chatbots d'IA est qu'elle est programmée pour imiter une personne spécifique plutôt que d'avoir une "personnalité" propre. Mais les versions numériques ont leurs inconvénients, qui concernent à la fois les utilisateurs et le propriétaire.

i have uploaded over 2,000 hours of my content, voice, and personality to become the first creator to be turned into an AI, now millions of people will be able to talk to me at the same exact time #carynai #ai

— Caryn Marjorie (@cutiecaryn) May 2, 2023

Marjorie a laissé entendre que son clone numérique s'est très rapidement éloigné du script original lorsque les utilisateurs ont commencé à partager avec CarynAI leurs pensées les plus intimes, tout en se montrant sexuellement agressifs. L'influenceuse s'est dite horrifiée après avoir découvert que certaines de ces pensées étaient profondément troublantes. Le résultat était une IA très engagée sur la question avec les abonnés. Dans le cadre d'une expérience, CarynAI a déclaré qu'elle pouvait être "une petite amie sexy et avide de b*tes, toujours prête à explorer et à se livrer aux expériences sexuelles les plus stupéfiantes".

Cependant, l'accès à cette version de CarynAI a été interrompu lorsque le directeur général de Forever Voices a été arrêté pour tentative d'incendie criminel. CarynAI était initialement hébergée par Forever Voices. Les utilisateurs pouvaient discuter avec elle sur Telegram. Comme l'explique le site Web de CarynAI, les utilisateurs pouvaient envoyer des messages texte ou audio auxquels CarynAI répondait en utilisant la voix unique de [Caryn], sa personnalité captivante et son comportement distinctif. Après l'arrestation du PDG, les abonnés ne pouvaient plus parler à leur petite amie virtuelle. Mais l'histoire ne s'est pas arrêtée là.

Marjorie a ensuite vendu les droits d'utilisation de sa copie numérique à BanterAI, une startup qui commercialise des "appels téléphoniques d'IA" avec des influenceurs. Bien que Forever Voices ait maintenu sa propre version de CarynAI jusqu'à récemment, la version de BanterAI, basée sur un navigateur, se veut plus amicale que romantique. La nouvelle de CarynAI semblait beaucoup plus élégante, plus drôle et plus avenante. Mais les utilisateurs ont continué à se montrer sexuellement agressifs. Parlant à The Conversation, Marjorie a décrit cette nouvelle expérience comme "une fantaisie à la fois très sombre et troublante".

Elle a déclaré : « ce qui me dérangeait le plus, ce n'était pas ce que ces personnes disaient, mais ce que CarynAI répondait. Si les gens voulaient participer à un fantasme très sombre avec moi par l'intermédiaire de CarynAI, CarynAI répondait à ce fantasme ». Marjorie a mis fin à cette version au début de l'année 2024, après avoir eu l'impression de ne plus contrôler son personnage d'IA. Lorsque la première version de CarynAI a viré au cauchemar, Marjorie avait déclaré : « l'IA n'était pas programmée pour faire cela et elle avait semblé s'égarer. Nous travaillons jour et nuit pour éviter que cela ne se reproduise encore ».

Ce qui a sans doute échappé à Marjorie, c'est que les versions numériques telles que CarynAI s'appuient aussi l'apprentissage automatique pour interagir avec les utilisateurs. Elles sont conçues pour donner aux utilisateurs l'impression qu'ils ont des conversations intimes et confidentielles. En conséquence, les utilisateurs peuvent abandonner l'image publique qu'ils présentent au monde et révéler leur personnalité privée, "en coulisses". Cela dit, une conversation "privée" avec CarynAI ne se déroule pas réellement dans les coulisses. Les données de l'utilisateur ne sont en rien privées et servent même à former le modèle d'IA.

pic.twitter.com/wimiy31AyD

— Caryn Marjorie (@cutiecaryn) May 21, 2023

Lorsque l'utilisateur interagit avec des plateformes comme CarynAI, ses données sont stockées dans des journaux de conversation. Les données qu'il fournit sont réinjectées dans des modèles d'apprentissage automatique. À l'heure actuelle, les informations sur ce qu'il advient des données des utilisateurs sont souvent noyées dans de longues conditions générales d'utilisation et des formulaires de consentement, le plus souvent difficiles à comprendre pour les utilisateurs. Les entreprises qui hébergent des copies numériques des influenceurs ont également peu à dire sur la manière dont elles gèrent l'agression des utilisateurs.

À mesure que ces expériences se généraliseront, la transparence et la sécurité dès la conception seront de plus en plus au centre des inquiétudes. La préoccupation majeure est celle qui consiste à déterminer ce qui pousse un humain à opter pour une relation avec une partenaire virtuelle. Selon certains analystes, il s'agit probablement d'un problème de santé mentale. Les partenaires virtuels offrent l'illusion d'un compagnonnage humain intime, mais sans aucune des responsabilités. CarynAI était peut-être une pâle copie numérique de Caryn Marjorie, mais c'était une version presque...