Le clone IA d'une influenceuse a commencé à proposer à ses fans des expériences sexuelles "stupéfiantes" à son insu,

L'IA semblait se former sur ces sujets à partir des conversations avec les utilisateurs

Caryn Marjorie, influenceuse sur Snapchat, a lancé l'année dernière une copie virtuelle d'elle-même pilotée par l'IA avec laquelle ses fans peuvent discuter pour un dollar la minute. Le projet lui a rapporté plus de 70 000 dollars la première semaine. Cependant, elle a confié le mois dernier que l'expérience est rapidement devenue terrifiante lorsque l'IA, CarynAI, a commencé à proposer à ses fans des expériences sexuelles ébouriffantes. La lecture des conversations l'a poussé à mettre fin à l'expérience. L'histoire de CarynAI nous donne un aperçu des dérives possibles de ce type de l'IA dans ce type d'expérience et des conséquences alarmantes que cela peut avoir.

Caryn Marjorie est une influenceuse des médias sociaux dont le contenu est vu plus d'un milliard de fois par mois sur Snapchat. Nombre de ses fans sont des hommes, attirés par son physique et son apparence de petite fille. Ce qu'elle a manifestement décidé de monétiser en surfant sur la vague de l'IA générative, sans se douter que l'expérience allait virer au cauchemar. En mai 2023, Marjorie a lancé une version numérique d'elle-même basée sur le modèle d'IA GPT-4. Les fans pouvaient discuter avec CarynAI pour un dollar par minute ; et au cours de la première semaine, ils ont dépensé 70 000 dollars pour parler avec l'IA.

Mais cela n'a pas duré longtemps : huit mois plus tard, le projet a été stoppé parce que les fans devenaient de plus en plus agressifs sur le plan sexuel, CarynAI se prêtant au jeu. « Beaucoup de conversations que j'ai lues étaient si effrayantes que je ne voudrais même pas en parler dans la vie réelle », a déclaré Marjorie à The Conversation. La différence entre une version numérique et d'autres chatbots d'IA est qu'elle est programmée pour imiter une personne spécifique plutôt que d'avoir une "personnalité" propre. Mais les versions numériques ont leurs inconvénients, qui concernent à la fois les utilisateurs et le propriétaire.

i have uploaded over 2,000 hours of my content, voice, and personality to become the first creator to be turned into an AI, now millions of people will be able to talk to me at the same exact time #carynai #ai

— Caryn Marjorie (@cutiecaryn) May 2, 2023

Marjorie a laissé entendre que son clone numérique s'est très rapidement éloigné du script original lorsque les utilisateurs ont commencé à partager avec CarynAI leurs pensées les plus intimes, tout en se montrant sexuellement agressifs. L'influenceuse s'est dite horrifiée après avoir découvert que certaines de ces pensées étaient profondément troublantes. Le résultat était une IA très engagée sur la question avec les abonnés. Dans le cadre d'une expérience, CarynAI a déclaré qu'elle pouvait être "une petite amie sexy et avide de b*tes, toujours prête à explorer et à se livrer aux expériences sexuelles les plus stupéfiantes".

Cependant, l'accès à cette version de CarynAI a été interrompu lorsque le directeur général de Forever Voices a été arrêté pour tentative d'incendie criminel. CarynAI était initialement hébergée par Forever Voices. Les utilisateurs pouvaient discuter avec elle sur Telegram. Comme l'explique le site Web de CarynAI, les utilisateurs pouvaient envoyer des messages texte ou audio auxquels CarynAI répondait en utilisant la voix unique de [Caryn], sa personnalité captivante et son comportement distinctif. Après l'arrestation du PDG, les abonnés ne pouvaient plus parler à leur petite amie virtuelle. Mais l'histoire ne s'est pas arrêtée là.

Marjorie a ensuite vendu les droits d'utilisation de sa copie numérique à BanterAI, une startup qui commercialise des "appels téléphoniques d'IA" avec des influenceurs. Bien que Forever Voices ait maintenu sa propre version de CarynAI jusqu'à récemment, la...[/caryn]