L'essor de l'IA générative favorise l'émergence d'une nouvelle industrie controversée : le « proxénétisme de l'IA ». Les auteurs de cette activité créent des visages à l'aide de l'IA, puis les greffent sur des images de corps de femmes volées sur des comptes de médias sociaux. Les créateurs utilisent ensuite les faux personnages pour encourager leurs abonnés à s'inscrire à des sites d'abonnement tels que Patreon et OnlyFans où ils peuvent payer pour des images et des vidéos pornographiques du modèle d'IA. Cette activité est en plein essor et les créateurs humains de contenu pour adulte affirment que cela impacte négativement leur capacité à gagner leur vie.Le proxénétisme de l'IA : une industrie avec une croissance fulgurante
Le phénomène du proxénétisme de l'IA implique l'utilisation de l'IA pour gérer et faciliter la logistique du travail du sexe. L'IA apparaît comme une force libératrice qui élimine une grande partie du danger et de l'imprévisibilité liés aux proxénètes humains. Cette industrie émergente transforme le visage du Web et laisse entrevoir ce que les réseaux sociaux pourraient devenir dans un avenir proche : un espace où le contenu généré par l'IA éclipse celui des humains.
Selon un rapport de 404 Media, Instagram est inondé de centaines d'influenceurs générés par l'IA qui volent des vidéos de vrais mannequins et créateurs de contenu pour adultes, leur donnent des visages générés par l'IA et monétisent leurs corps avec des liens vers des sites de rencontres, Patreon, des concurrents d'OnlyFans, etc. Le rapport est basé sur une enquête qui a examiné en détail plus de 1 000 comptes d'influenceurs Instagram générés par l'IA.
Parmi les comptes examinés par l'enquête, au moins 100 comptes comprenaient du contenu deepfake qui utilise des vidéos existantes, généralement de mannequins et d'artistes de divertissement pour adultes, et remplace leur visage par un nouveau visage généré par l'IA pour faire passer ces vidéos pour du contenu nouveau et original, cohérent avec les autres images et vidéos générées par l'IA et partagées par l'influenceur géré par l'IA sur son compte.
Les 900 autres comptes ont partagé des images qui, dans certains cas, ont été formées à partir de photographies réelles et, dans d'autres cas, ont été conçues pour ressembler à des célébrités, mais elles ont été entièrement générées par l'IA, et non par des photographies ou des vidéos modifiées.
Sur ces 100 comptes qui ont partagé des vidéos de deepfake, 60 s'identifient comme étant générés par l'IA, en écrivant dans leur biographie qu'ils sont un « modèle virtuel et un influenceur » ou en déclarant que « toutes les photos ont été créées avec l'IA et des applications ».
Les 40 autres ne précisent pas qu'elles sont générées par l'IA. L'un des comptes les plus importants de cette dernière catégorie est intitulé « Chloe Johnson ». Il dispose d'un compte vérifié sur Instagram et de 171 000 abonnés. Ce compte a été supprimé par Meta, propriétaire d'Instagram, au cours des dernières semaines.
Neuf des posts de Chloe Johnson étaient basés des personnes réelles. Ces vidéos montrent que la personne qui se gère le compte Chloe Johnson greffe le visage de l'influenceuse virtuelle sur le corps de vraies femmes, notamment les mannequins Tana Rain, Skyler Simpson et Kyla Yesenosky.
D'autres vidéos ont été volées à des utilisateurs de TikTok et d'Instagram qui ne sont pas célèbres et qui ont un petit nombre d'abonnés. Par ailleurs, des comptes de substitution de visage s'approvisionnent également en vidéos auprès de défilés de maillots de bain et sur le site d'images et de vidéos de Getty, iStock.
Des outils et des manuels sont mis au service du proxénétisme de l'IA
Il est désormais facile de créer ces comptes et de les monétiser à l'aide d'un assortiment d'outils et d'applications prêts à l'emploi. Certaines de ces applications sont hébergées sur l'App Stores d'Apple et de Google Play Store. Dans le cadre de leur enquête, les auteurs ont acheté deux guides : un manuel d'instruction au format PDF intitulé Instagram Mastery, proposé par une agence d'influenceurs IA appelée Digital Divas, et un autre intitulé AI Influencer Accelerator.
Ce dernier est réalisé par une personne qui se fait appeler Professeur EP, et qui dit gérer le compte Instagram de l'influenceuse IA Emily Pellegrini, qui compte 253 000 abonnés. Professeur EP a également été juge lors du premier concours « Miss AI », organisé en partenariat avec Fanvue. Professeur EP prétend avoir gagné plus d'un million de dollars en six mois, et lorsqu'il exploitait le compte Emily Pellegrini, il a affirmé avoir gagné 100 000 dollars rien que sur Fanvue.
Le manuel « Instagram Mastery » de Digital Divas coûte 50 dollars et est un mélange de conseils techniques et de stratégie d'ingénierie sociale. Il suggère d'utiliser des outils largement connus des créateurs d'œuvres d'art générées par l'IA. Plusieurs des comptes générés par l'IA examinés par l'enquête semblent utiliser une application appelée HelloFace, qui était jusqu'à récemment disponible sur les places de marché Apple App et Google Play, et en font la promotion.
Chacun de ces outils est utilisé pour différentes parties du processus de création. La plupart des guides examinés par l'enquête recommandent de générer les visages avec l'outil Leonardo, puis de les affiner dans un autre outil d'IA pour supprimer les défauts. Outre cette collection d'outils et de manuels, il existe désormais plusieurs sites qui servent de guichet unique pour créer et monétiser des influenceurs générés par l'IA, comme Glambase, SynthLife et Genfluence.
Leur promotion est également assurée par des influenceurs générés par l'IA sur Instagram. Dans un canal Discord dédié au jailbreaking d'outils d'IA afin de générer du contenu adulte ou NSFW (Not safe for work), un utilisateur portant le pseudonyme « BabaYaga » a partagé son parcours de création de l'un de ces comptes deepfake en utilisant une variété de services en ligne gratuits, principalement le générateur d'images Krea, qui est un concurrent de Stable Diffusion.
BabaYaga a créé des comptes Instagram, TikTok et Twitter pour la même influenceuse générée par l'IA, qui renvoient tous à un compte Fanvue sur lequel il vend des images d'elle nue générées par l'IA. Il a également créé un compte OnlyFans pour l'influenceuse générée par l'IA, mais n'y a pas encore publié de contenu. Selon les critiques, le fait que beaucoup de ces comptes d'influence générés par l'IA soient gérés par des hommes ajoute l'insulte à l'injure.
Le guide « AI Influencer Accelerator » de Professeur EP est une série de vidéos d'instruction et de PDF coûtant 220 $. Il comprend également des conseils sur la création d'un compte Fanvue et sur l'envoi de messages à des « personnes isolées ». Dans ses vidéos, l'auteur est soit une voix d'IA, soit une personne utilisant un changeur de voix, et il est personnifié comme une personne dans des images d'archives portant un costume et un masque argenté de Guy Fawkes.
Cette industrie soulève de nombreuses préoccupations d'ordre éthique
L'utilisation de deepfakes générés à partir des images et des vidéos de vrais créateurs et créatrices de contenus pour adultes soulèvent des préoccupations, notamment en matière de sécurité et sur le plan éthique. L'agence Digital Divas déconseille les deepfakes et recommande aux utilisateurs de son guide de trouver l'inspiration dans les images que d'autres influenceurs ont postées, puis de générer des images similaires, mais transformatrices et originales.
Professeur EP, quant à lui, conseille aux personnes qui le suivent de se poser la question suivante : « qui sont mes célébrités préférées ? ». Ensuite, ils doivent essayer ensuite de créer des influenceurs hybrides qui sont un mélange de différentes personnes réelles. Il affirme : « si, par exemple, vous aimez les yeux d'Ariana Grande et les lèvres de Kylie Jenner, vous pouvez créer une image qui combine ces attributs en incluant ces spécifications dans votre message ».
Apple a retiré HelloFace de l'App Store après que les auteurs de l'enquête l'ont contacté pour obtenir des commentaires. L'entreprise s'est appuyée sur les directives d'évaluation de l'App Store, qui stipulent que « les applications ne doivent pas inclure de contenu offensant, insensible, dérangeant, destiné à dégoûter, de très mauvais goût ou effrayant ». Google a refusé de commenter, mais l'application HelloFace n'est plus disponible au téléchargement sur Google Play.
Apple cherche toujours à résoudre le problème du « double usage » des applications de substitution de visages qui peuvent être utilisées à bon escient (innocemment), mais qui sont souvent détournées et utilisées pour créer des contenus non consensuels, comme dans le cas présent. L'essor du proxénétisme de l'IA montre que les applications de substitution de visages sont un élément essentiel de la boîte des personnes impliquées dans cette industrie émergente.
Selon les critiques, le fait que tant de contenus générés par l'IA monétisent des travaux volés à des créateurs de contenus pour adultes n'est pas une coïncidence, mais plutôt un résultat direct de la politique d'Instagram qui marginalise depuis des années les créateurs de contenus pour adultes, les travailleurs du sexe et les éducateurs sexuels sur sa plateforme. Ces derniers estiment que le réseau social n'investit pas dans la sécurité de cette catégorie d'utilisateurs.
Contrairement à d'autres célébrités qui doivent faire face à des usurpateurs d'identité, la plupart des créateurs de contenus pour adultes et des travailleurs du sexe utilisent des noms de scène et des pseudonymes pour se protéger des harceleurs ou des persécutions de la part de personnes qui diabolisent leur profession.
Instagram refuse de les vérifier à moins qu'ils ne fournissent une pièce d'identité avec leur vrai nom, ce qui inquiète les créateurs de contenu pour adultes qui craignent une fuite vers le public et le doxing et le harcèlement. Selon le rapport, le proxénétisme de l'IA a un impact négatif sur leur capacité à gagner leur vie.
Le proxénétisme de l'IA et la question de la protection du droit d'auteur
Plusieurs personnes dont les images Instagram ont été reprises par les proxénètes de l'IA ignorent que leur contenu a été utilisé sans leur consentement. Kimberlee Weatherall, professeur de droit à l'Université de Sydney et experte en propriété intellectuelle, a déclaré que l'utilisation d'images du corps d'une femme pour créer des influenceurs d'IA était « absolument répréhensible » et que cela constitue des violations des droits de propriété intellectuelle des personnes.
« Mon premier avis juridique est ick. Sur le plan juridique, si vous avez simplement pris les films d'autres personnes et que vous les réutilisez ou une partie substantielle du film, il s'agit d'une violation assez claire du droit d'auteur, sans aucune exception évidente », a déclaré Kimberlee Weatherall à ABC.
Jane Rawlings, avocate spécialisée dans la propriété intellectuelle et conférencière, s'est fait l'écho de son évaluation, ajoutant que bon nombre de ces créateurs d'influenceurs d'IA pourraient également enfreindre le droit de la consommation en n'indiquant pas clairement qu'il s'agit de mannequins synthétiques.
Et vous ?
Quel est votre avis sur le sujet ? Que pensez-vous du phénomène grandissant du proxénétisme de l'IA ? Selon vous, quels pourraient être les impacts du proxénétisme de l'IA sur le Web à long terme ? Quel est votre avis sur les préoccupations en matière de sécurité et d'ordre éthique que soulève le proxénétisme de l'IA ? Comment les plateformes de médias sociaux peuvent-elles faire face à ce phénomène ? Ce cas d'utilisation de l'IA doit-il être interdit ?Voir aussi
D'ici 2025, plus de la moitié des comptes OnlyFans les plus populaires seront des modèles générés par l'intelligence artificielle pilotés en secret par des hommes, d'après Alex Valaitis Une agence espagnole de mannequins crée une influenceuse pilotée par l'IA qui rapporte jusqu'à 11 000 $ par mois, la société affirme qu'elle en avait assez des influenceurs humains et de leur égo Miss AI : le premier concours mettant en compétition des candidates générées par IA, indépendamment de la technologie utilisée, disposera de deux influenceuses générées par IA dans son panel de juges 
Envoyé par calvaire
bien joué
