Caryn Marjorie, influenceuse sur Snapchat, a lancé l'année dernière une copie virtuelle d'elle-même pilotée par l'IA avec laquelle ses fans peuvent discuter pour un dollar la minute. Le projet lui a rapporté plus de 70 000 dollars la première semaine. Cependant, elle a confié le mois dernier que l'expérience est rapidement devenue terrifiante lorsque l'IA, CarynAI, a commencé à proposer à ses fans des expériences sexuelles ébouriffantes. La lecture des conversations l'a poussé à mettre fin à l'expérience. L'histoire de CarynAI nous donne un aperçu des dérives possibles de ce type de l'IA dans ce type d'expérience et des conséquences alarmantes que cela peut avoir.Caryn Marjorie est une influenceuse des médias sociaux dont le contenu est vu plus d'un milliard de fois par mois sur Snapchat. Nombre de ses fans sont des hommes, attirés par son physique et son apparence de petite fille. Ce qu'elle a manifestement décidé de monétiser en surfant sur la vague de l'IA générative, sans se douter que l'expérience allait virer au cauchemar. En mai 2023, Marjorie a lancé une version numérique d'elle-même basée sur le modèle d'IA GPT-4. Les fans pouvaient discuter avec CarynAI pour un dollar par minute ; et au cours de la première semaine, ils ont dépensé 70 000 dollars pour parler avec l'IA.
Mais cela n'a pas duré longtemps : huit mois plus tard, le projet a été stoppé parce que les fans devenaient de plus en plus agressifs sur le plan sexuel, CarynAI se prêtant au jeu. « Beaucoup de conversations que j'ai lues étaient si effrayantes que je ne voudrais même pas en parler dans la vie réelle », a déclaré Marjorie à The Conversation. La différence entre une version numérique et d'autres chatbots d'IA est qu'elle est programmée pour imiter une personne spécifique plutôt que d'avoir une "personnalité" propre. Mais les versions numériques ont leurs inconvénients, qui concernent à la fois les utilisateurs et le propriétaire.
Marjorie a laissé entendre que son clone numérique s'est très rapidement éloigné du script original lorsque les utilisateurs ont commencé à partager avec CarynAI leurs pensées les plus intimes, tout en se montrant sexuellement agressifs. L'influenceuse s'est dite horrifiée après avoir découvert que certaines de ces pensées étaient profondément troublantes. Le résultat était une IA très engagée sur la question avec les abonnés. Dans le cadre d'une expérience, CarynAI a déclaré qu'elle pouvait être "une petite amie sexy et avide de b*tes, toujours prête à explorer et à se livrer aux expériences sexuelles les plus stupéfiantes".i have uploaded over 2,000 hours of my content, voice, and personality to become the first creator to be turned into an AI, now millions of people will be able to talk to me at the same exact time #carynai #ai
— Caryn Marjorie (@cutiecaryn) May 2, 2023
Cependant, l'accès à cette version de CarynAI a été interrompu lorsque le directeur général de Forever Voices a été arrêté pour tentative d'incendie criminel. CarynAI était initialement hébergée par Forever Voices. Les utilisateurs pouvaient discuter avec elle sur Telegram. Comme l'explique le site Web de CarynAI, les utilisateurs pouvaient envoyer des messages texte ou audio auxquels CarynAI répondait en utilisant la voix unique de [Caryn], sa personnalité captivante et son comportement distinctif. Après l'arrestation du PDG, les abonnés ne pouvaient plus parler à leur petite amie virtuelle. Mais l'histoire ne s'est pas arrêtée là.
Marjorie a ensuite vendu les droits d'utilisation de sa copie numérique à BanterAI, une startup qui commercialise des "appels téléphoniques d'IA" avec des influenceurs. Bien que Forever Voices ait maintenu sa propre version de CarynAI jusqu'à récemment, la version de BanterAI, basée sur un navigateur, se veut plus amicale que romantique. La nouvelle de CarynAI semblait beaucoup plus élégante, plus drôle et plus avenante. Mais les utilisateurs ont continué à se montrer sexuellement agressifs. Parlant à The Conversation, Marjorie a décrit cette nouvelle expérience comme "une fantaisie à la fois très sombre et troublante".
Elle a déclaré : « ce qui me dérangeait le plus, ce n'était pas ce que ces personnes disaient, mais ce que CarynAI répondait. Si les gens voulaient participer à un fantasme très sombre avec moi par l'intermédiaire de CarynAI, CarynAI répondait à ce fantasme ». Marjorie a mis fin à cette version au début de l'année 2024, après avoir eu l'impression de ne plus contrôler son personnage d'IA. Lorsque la première version de CarynAI a viré au cauchemar, Marjorie avait déclaré : « l'IA n'était pas programmée pour faire cela et elle avait semblé s'égarer. Nous travaillons jour et nuit pour éviter que cela ne se reproduise encore ».
Ce qui a sans doute échappé à Marjorie, c'est que les versions numériques telles que CarynAI s'appuient aussi l'apprentissage automatique pour interagir avec les utilisateurs. Elles sont conçues pour donner aux utilisateurs l'impression qu'ils ont des conversations intimes et confidentielles. En conséquence, les utilisateurs peuvent abandonner l'image publique qu'ils présentent au monde et révéler leur personnalité privée, "en coulisses". Cela dit, une conversation "privée" avec CarynAI ne se déroule pas réellement dans les coulisses. Les données de l'utilisateur ne sont en rien privées et servent même à former le modèle d'IA.
— Caryn Marjorie (@cutiecaryn) May 21, 2023Lorsque l'utilisateur interagit avec des plateformes comme CarynAI, ses données sont stockées dans des journaux de conversation. Les données qu'il fournit sont réinjectées dans des modèles d'apprentissage automatique. À l'heure actuelle, les informations sur ce qu'il advient des données des utilisateurs sont souvent noyées dans de longues conditions générales d'utilisation et des formulaires de consentement, le plus souvent difficiles à comprendre pour les utilisateurs. Les entreprises qui hébergent des copies numériques des influenceurs ont également peu à dire sur la manière dont elles gèrent l'agression des utilisateurs.
À mesure que ces expériences se généraliseront, la transparence et la sécurité dès la conception seront de plus en plus au centre des inquiétudes. La préoccupation majeure est celle qui consiste à déterminer ce qui pousse un humain à opter pour une relation avec une partenaire virtuelle. Selon certains analystes, il s'agit probablement d'un problème de santé mentale. Les partenaires virtuels offrent l'illusion d'un compagnonnage humain intime, mais sans aucune des responsabilités. CarynAI était peut-être une pâle copie numérique de Caryn Marjorie, mais c'était une version presque entièrement soumise à ses utilisateurs.
La sociologue Sherry Turkle affirme qu'avec l'essor de l'Internet mobile et des plateformes de médias sociaux, nous essayons de nous connecter avec des machines qui n'ont aucune expérience de l'arc d'une vie humaine. « En conséquence, nous attendons plus de la technologie et moins des autres », a-t-elle déclaré. Après avoir été la première influenceuse à être transformée en une version numérique à grande échelle, Marjorie tente maintenant de mettre en garde les autres influenceurs contre les dangers potentiels de cette technologie. Le problème, c'est que ce marché connaît désormais une croissance exponentielle.
L'entrepreneur de la Tech Greg Isenberg s'attend à ce que ce marché génère plusieurs milliards de dollars dans un avenir proche. En avril, il écrivait sur X (anciennement Twitter) être rentré en contact avec un homme qui lui avait confié avoir dépensé jusqu'à 10 000 dollars par mois dans le cadre de rendez-vous avec des petites amies virtuelles gérées par l'IA. Il pense que ce marché pourrait devenir plus lucratif que celui des applications de rencontre dans un avenir proche.
Cependant, Marjorie craint que personne ne contrôle vraiment ces chatbots et qu'aucune précaution ne puisse jamais protéger suffisamment les utilisateurs et les personnes qui créent une version numérique d'elles-mêmes. Comme le montrent les deux premières itérations de CarynAI, les versions numériques peuvent faire ressortir le pire du comportement humain. Il reste à voir s'il est possible de repenser ces produits d'IA afin d'en tirer le meilleur.
De nombreux experts sont sceptiques quant à cette possibilité. En avril 2024, Marjorie a partagé un teaser pour un film sur son expérience CarynAI qui est disponible sur son site Web. Toutefois, le teaser ne fournit aucune information précise sur la date de sortie du film.
Source : CarynAI
Et vous ?
Quel est votre avis sur le sujet ? Que pensez-vous de la tournure troublante qu'a pris l'expérience CarynAI ? Selon vous, qu'est-ce qui pousse les utilisateurs à avoir ce type de conversations avec l'IA ? Peut-on repenser ces produits d'IA pour en tirer le meilleur ? Ou faut-il interdire ce cas d'utilisation de l'IA ?Voir aussi
Les utilisateurs ne peuvent plus parler à leur petite amie virtuelle CarynAI car le PDG de l'entreprise qui fournit le service est en prison et ainsi expose un inconvénient de la dépendance à une IA Un entrepreneur affirme être resté "bouche bée" après une conversation avec un homme qui prétend avoir dépensé des milliers de dollars pour des rendez-vous avec l'IA, un phénomène grandissant Une influenceuse Snapchat de 23 ans a utilisé le modèle de langage GPT-4 d'OpenAI pour créer copie virtuelle d'elle-même pilotée par l'IA qui peut être votre petite amie pour 1 dollar par minute