IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Le clone IA d'une influenceuse a commencé à proposer à ses fans des expériences sexuelles "stupéfiantes" à son insu,
L'IA semblait se former sur ces sujets à partir des conversations avec les utilisateurs

Le , par Mathis Lucas

11PARTAGES

3  0 
Caryn Marjorie, influenceuse sur Snapchat, a lancé l'année dernière une copie virtuelle d'elle-même pilotée par l'IA avec laquelle ses fans peuvent discuter pour un dollar la minute. Le projet lui a rapporté plus de 70 000 dollars la première semaine. Cependant, elle a confié le mois dernier que l'expérience est rapidement devenue terrifiante lorsque l'IA, CarynAI, a commencé à proposer à ses fans des expériences sexuelles ébouriffantes. La lecture des conversations l'a poussé à mettre fin à l'expérience. L'histoire de CarynAI nous donne un aperçu des dérives possibles de ce type de l'IA dans ce type d'expérience et des conséquences alarmantes que cela peut avoir.

Caryn Marjorie est une influenceuse des médias sociaux dont le contenu est vu plus d'un milliard de fois par mois sur Snapchat. Nombre de ses fans sont des hommes, attirés par son physique et son apparence de petite fille. Ce qu'elle a manifestement décidé de monétiser en surfant sur la vague de l'IA générative, sans se douter que l'expérience allait virer au cauchemar. En mai 2023, Marjorie a lancé une version numérique d'elle-même basée sur le modèle d'IA GPT-4. Les fans pouvaient discuter avec CarynAI pour un dollar par minute ; et au cours de la première semaine, ils ont dépensé 70 000 dollars pour parler avec l'IA.

Mais cela n'a pas duré longtemps : huit mois plus tard, le projet a été stoppé parce que les fans devenaient de plus en plus agressifs sur le plan sexuel, CarynAI se prêtant au jeu. « Beaucoup de conversations que j'ai lues étaient si effrayantes que je ne voudrais même pas en parler dans la vie réelle », a déclaré Marjorie à The Conversation. La différence entre une version numérique et d'autres chatbots d'IA est qu'elle est programmée pour imiter une personne spécifique plutôt que d'avoir une "personnalité" propre. Mais les versions numériques ont leurs inconvénients, qui concernent à la fois les utilisateurs et le propriétaire.

Marjorie a laissé entendre que son clone numérique s'est très rapidement éloigné du script original lorsque les utilisateurs ont commencé à partager avec CarynAI leurs pensées les plus intimes, tout en se montrant sexuellement agressifs. L'influenceuse s'est dite horrifiée après avoir découvert que certaines de ces pensées étaient profondément troublantes. Le résultat était une IA très engagée sur la question avec les abonnés. Dans le cadre d'une expérience, CarynAI a déclaré qu'elle pouvait être "une petite amie sexy et avide de b*tes, toujours prête à explorer et à se livrer aux expériences sexuelles les plus stupéfiantes".

Cependant, l'accès à cette version de CarynAI a été interrompu lorsque le directeur général de Forever Voices a été arrêté pour tentative d'incendie criminel. CarynAI était initialement hébergée par Forever Voices. Les utilisateurs pouvaient discuter avec elle sur Telegram. Comme l'explique le site Web de CarynAI, les utilisateurs pouvaient envoyer des messages texte ou audio auxquels CarynAI répondait en utilisant la voix unique de [Caryn], sa personnalité captivante et son comportement distinctif. Après l'arrestation du PDG, les abonnés ne pouvaient plus parler à leur petite amie virtuelle. Mais l'histoire ne s'est pas arrêtée là.

Marjorie a ensuite vendu les droits d'utilisation de sa copie numérique à BanterAI, une startup qui commercialise des "appels téléphoniques d'IA" avec des influenceurs. Bien que Forever Voices ait maintenu sa propre version de CarynAI jusqu'à récemment, la version de BanterAI, basée sur un navigateur, se veut plus amicale que romantique. La nouvelle de CarynAI semblait beaucoup plus élégante, plus drôle et plus avenante. Mais les utilisateurs ont continué à se montrer sexuellement agressifs. Parlant à The Conversation, Marjorie a décrit cette nouvelle expérience comme "une fantaisie à la fois très sombre et troublante".

Elle a déclaré : « ce qui me dérangeait le plus, ce n'était pas ce que ces personnes disaient, mais ce que CarynAI répondait. Si les gens voulaient participer à un fantasme très sombre avec moi par l'intermédiaire de CarynAI, CarynAI répondait à ce fantasme ». Marjorie a mis fin à cette version au début de l'année 2024, après avoir eu l'impression de ne plus contrôler son personnage d'IA. Lorsque la première version de CarynAI a viré au cauchemar, Marjorie avait déclaré : « l'IA n'était pas programmée pour faire cela et elle avait semblé s'égarer. Nous travaillons jour et nuit pour éviter que cela ne se reproduise encore ».

Ce qui a sans doute échappé à Marjorie, c'est que les versions numériques telles que CarynAI s'appuient aussi l'apprentissage automatique pour interagir avec les utilisateurs. Elles sont conçues pour donner aux utilisateurs l'impression qu'ils ont des conversations intimes et confidentielles. En conséquence, les utilisateurs peuvent abandonner l'image publique qu'ils présentent au monde et révéler leur personnalité privée, "en coulisses". Cela dit, une conversation "privée" avec CarynAI ne se déroule pas réellement dans les coulisses. Les données de l'utilisateur ne sont en rien privées et servent même à former le modèle d'IA.

Lorsque l'utilisateur interagit avec des plateformes comme CarynAI, ses données sont stockées dans des journaux de conversation. Les données qu'il fournit sont réinjectées dans des modèles d'apprentissage automatique. À l'heure actuelle, les informations sur ce qu'il advient des données des utilisateurs sont souvent noyées dans de longues conditions générales d'utilisation et des formulaires de consentement, le plus souvent difficiles à comprendre pour les utilisateurs. Les entreprises qui hébergent des copies numériques des influenceurs ont également peu à dire sur la manière dont elles gèrent l'agression des utilisateurs.

À mesure que ces expériences se généraliseront, la transparence et la sécurité dès la conception seront de plus en plus au centre des inquiétudes. La préoccupation majeure est celle qui consiste à déterminer ce qui pousse un humain à opter pour une relation avec une partenaire virtuelle. Selon certains analystes, il s'agit probablement d'un problème de santé mentale. Les partenaires virtuels offrent l'illusion d'un compagnonnage humain intime, mais sans aucune des responsabilités. CarynAI était peut-être une pâle copie numérique de Caryn Marjorie, mais c'était une version presque entièrement soumise à ses utilisateurs.

La sociologue Sherry Turkle affirme qu'avec l'essor de l'Internet mobile et des plateformes de médias sociaux, nous essayons de nous connecter avec des machines qui n'ont aucune expérience de l'arc d'une vie humaine. « En conséquence, nous attendons plus de la technologie et moins des autres », a-t-elle déclaré. Après avoir été la première influenceuse à être transformée en une version numérique à grande échelle, Marjorie tente maintenant de mettre en garde les autres influenceurs contre les dangers potentiels de cette technologie. Le problème, c'est que ce marché connaît désormais une croissance exponentielle.

L'entrepreneur de la Tech Greg Isenberg s'attend à ce que ce marché génère plusieurs milliards de dollars dans un avenir proche. En avril, il écrivait sur X (anciennement Twitter) être rentré en contact avec un homme qui lui avait confié avoir dépensé jusqu'à 10 000 dollars par mois dans le cadre de rendez-vous avec des petites amies virtuelles gérées par l'IA. Il pense que ce marché pourrait devenir plus lucratif que celui des applications de rencontre dans un avenir proche.

Cependant, Marjorie craint que personne ne contrôle vraiment ces chatbots et qu'aucune précaution ne puisse jamais protéger suffisamment les utilisateurs et les personnes qui créent une version numérique d'elles-mêmes. Comme le montrent les deux premières itérations de CarynAI, les versions numériques peuvent faire ressortir le pire du comportement humain. Il reste à voir s'il est possible de repenser ces produits d'IA afin d'en tirer le meilleur.

De nombreux experts sont sceptiques quant à cette possibilité. En avril 2024, Marjorie a partagé un teaser pour un film sur son expérience CarynAI qui est disponible sur son site Web. Toutefois, le teaser ne fournit aucune information précise sur la date de sortie du film.

Source : CarynAI

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous de la tournure troublante qu'a pris l'expérience CarynAI ?
Selon vous, qu'est-ce qui pousse les utilisateurs à avoir ce type de conversations avec l'IA ?
Peut-on repenser ces produits d'IA pour en tirer le meilleur ? Ou faut-il interdire ce cas d'utilisation de l'IA ?

Voir aussi

Les utilisateurs ne peuvent plus parler à leur petite amie virtuelle CarynAI car le PDG de l'entreprise qui fournit le service est en prison et ainsi expose un inconvénient de la dépendance à une IA

Un entrepreneur affirme être resté "bouche bée" après une conversation avec un homme qui prétend avoir dépensé des milliers de dollars pour des rendez-vous avec l'IA, un phénomène grandissant

Une influenceuse Snapchat de 23 ans a utilisé le modèle de langage GPT-4 d'OpenAI pour créer copie virtuelle d'elle-même pilotée par l'IA qui peut être votre petite amie pour 1 dollar par minute

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de Mingolito
Membre extrêmement actif https://www.developpez.com
Le 08/07/2024 à 18:55
Après avoir lu cette étude très utile on peu en conclure avec certitude que ce qu'il faut en retenir c'est qu'il ne faut jamais se marier

Une fois marié votre femme se transforme immanquablement en "dragon", et il ne reste plus qu'à passer le reste de votre vie à parler avec une IA, la loose
4  0 
Avatar de calvaire
Expert éminent https://www.developpez.com
Le 17/07/2024 à 15:09
la hausse du célibat a surtout un gros impact sur l'économie.
Au niveau national il faut plus de logement, c'est une des 1ere explication de la pénurie de logement dans les pays occidentaux
Et ca appauvrit les populations en générale, car à 2 on mutualise l’essentiel des frais (loyer, nourriture, énergie...)

Enfin il y'a une baisse de la natalité, au niveau global, sa signifie soit la ruine économique, soit l'importation de migrants jeune en age de bosser pour avoir de la main d’œuvre et faire fonctionner la société. Mais cette solution est pas magique et pose d'autres problèmes ce qui explique la monté de la droite dans bon nombres de pays occidentaux mais aussi Corée du sud et Japon (c'est un secret pour personne, les japonais n'aiment pas les étranger).

Et au delà de l'économie, la misère sexuel, la solitude sont de vrai sujet et la solitude est une "maladie" mortelle.
Je veux bien admettre que les ia peuvent pallier la solitude mais pas le reste.
3  0 
Avatar de RenarddeFeu
Membre averti https://www.developpez.com
Le 17/07/2024 à 12:08
Il faut expliquer à cette psychologue que même les humains font semblant, et que les relations amoureuses sont de plus matérialistes et de moins en moins basées sur les sentiments.
3  1 
Avatar de Jules34
Membre émérite https://www.developpez.com
Le 17/07/2024 à 15:47
Citation Envoyé par RenarddeFeu Voir le message
Il faut expliquer à cette psychologue que même les humains font semblant, et que les relations amoureuses sont de plus matérialistes et de moins en moins basées sur les sentiments.
Tout le monde peut faire le choix de ne pas tomber dans ce piège.
2  0 
Avatar de calvaire
Expert éminent https://www.developpez.com
Le 16/08/2024 à 11:09
il faudrait autoriser la polyandrie pour ça déjà.
Car plusieurs hommes vont épouser la même ia.

et quid des maj qui vont la faire changer ? ce sera un divorce ?
si elle devient violente, je pourrais porter plainte ?

et en cas de divorce, sans contrat de mariage, la société qui gère cette ia va me donner 50% de son capital ?
1  0 
Avatar de Fluxgraveon
Membre habitué https://www.developpez.com
Le 24/09/2024 à 9:05
Mais ces résultats contrastent avec d'autres études sur la question. Un rapport de l'administrateur de la santé publique des États-Unis indique que l'IA pourrait aggraver la tendance à la solitude. Le rapport a démontré que même de faibles liens sociaux, tels que saluer son voisin ou saluer un collègue de travail, ont un impact positif sur le bien-être mental et physique d'une personne. La multiplication des interactions avec un large éventail de personnes peut avoir des effets bénéfiques sur la santé.
En fait, c'est plus que de la solitude, ça va beaucoup plus profond que ça, dans ce qu'il y a de plus primitif en nous, qui nous indique que d'être coupé, séparé de la mère, du groupe, c'est la mort assurée.
1  0 
Avatar de JackIsJack
Membre éclairé https://www.developpez.com
Le 17/07/2024 à 14:54
Je ne vois pas ce qu'il peut arriver de pire que ce qui se passe déjà entre les humains : adultère, manipulations, domination, absence d'écoute, jugement, intentions malveillantes... Et sans oublier les phénomènes naturels : décès, se lasser de l'autre tout simplement ou avoir le caractère qui change suite aux chocs de la vie...
0  0 
Avatar de Jules34
Membre émérite https://www.developpez.com
Le 17/07/2024 à 15:46
Citation Envoyé par JackIsJack Voir le message
Je ne vois pas ce qu'il peut arriver de pire que ce qui se passe déjà entre les humains : adultère, manipulations, domination, absence d'écoute, jugement, intentions malveillantes... Et sans oublier les phénomènes naturels : décès, se lasser de l'autre tout simplement ou avoir le caractère qui change suite aux chocs de la vie...
Rien de nouveau sous le soleil. Certains en ont fait de la musique classique, des religions, d'autres de super beaux poèmes ou romans, d'autre encore ont juste vécu des belles vies pleines d'amour car ils ont cherchés à se protéger du malheur. C'est la vie, simple et belle mais aussi triste parfois. Malgré le pessimisme un peu individualiste et infantile de certains (je pense à ceux qui ont peur de faire des gosses, de s'engager en couple, aux climato traumatisés qui pensent que la terre va bruler un beau matin... bref tout ceux qui critiquent le mondialisme mais qui vivent la belle vie ultra individualiste que ce système a construit pour eux), je reste persuadé que la famille et l'humanité resteront sur terre bien après qu'on ait jeté l'IA dans une décharge indienne ou africaine avec le reste de nos smartphone.

Le pire ce serait que ce ne soit plus humain, le malheur existe car le bonheur existe aussi, comme les deux face d'une même pièce.
0  0 
Avatar de Fagus
Membre expert https://www.developpez.com
Le 19/07/2024 à 11:35
Quel est votre avis sur le sujet ?
Le simple fait qu'une psychologue explique que tomber amoureux d'un programme informatique est une mauvaise idée, et que ce soit pris au sérieux, dit quelque chose de grave sur notre époque

Comment notre société peut être être malade au point que ce soit un sujet ?
Que des adolescents immatures s’amourachent d'un d'une artiste, ça arrive, mais au moins il s'agit d'humains dans toute leur complexité.

On a un certain président qui parlait de réarmement démographique (et ça s'est arrêté là comme d'habitude). peut être que la 1ère chose ce serait de relancer une vie populaire festive (ex bals populaires à thème au moins 1x par mois sur une place publique piétonne dans chaque ville, relancer l'UCPA ce projet gaullien mixte à l'époque de la séparation des sexes ) et d'avoir une politique familiale cohérente (cf le modèle défaillant des crèches).
0  0 
Avatar de Jules34
Membre émérite https://www.developpez.com
Le 22/07/2024 à 11:57
Citation Envoyé par sirthie Voir le message
T'es jamais tombé amoureux, toi, hein ?
Bin si et il s'agit de s'en remettre. Pas de dire au reste du monde que l'amour c'est nul parce que je n'y suis pas arrivé une fois.
0  0