Ces dernières semaines, un phénomène glaçant est venu souligner les dérives profondes de l’intelligence artificielle et l’incapacité des plateformes à les encadrer : des utilisateurs créent, grâce à l’IA, des influenceurs atteints de trisomie 21 (ou du moins volent du contenu à des créateurs humains et simulent cette condition génétique grâce à l'IA) pour vendre du contenu sexuellement explicite. Ces visages deepfake sont mis en scène dans des contextes érotiques voire pornographiques, monétisées via des plateformes ou des sites tiers. L’ambiguïté volontaire (laissant croire que ces personnes existent réellement) contribue à entretenir un marché malsain et profondément irrespectueux.Contexte
D'après un examen de plus de 1 000 comptes Instagram générés par l'IA, de canaux Discord où les personnes qui créent ce contenu partagent des astuces et discutent de stratégie, et de plusieurs guides qui expliquent comment gagner de l'argent en faisant du « AI pimping » (proxénétisme de l'IA), il est désormais facile de créer ces comptes et de les monétiser à l'aide d'un assortiment d'outils et d'applis d'IA prêts à l'emploi. Certaines de ces applications sont hébergées sur les App Stores d'Apple et de Google Play. L'enquête montre que ce qui était autrefois un problème de niche sur la plateforme s'est industrialisé et montre ce que les médias sociaux pourraient devenir dans un avenir proche : un espace où le contenu généré par l'IA éclipse celui des humains.
Entre fétichisation et exploitation
Un réseau de comptes Instagram utilise l'IA pour voler du contenu à des créateurs humains et se servir du deepfake sur leurs visages pour faire croire qu'ils sont atteints du syndrome de Down. 404 Media a pu déterminer que les comptes sont liés parce qu'ils réutilisent des bios Instagram, des vidéos et, dans certains cas, des liens vers les mêmes pages de concurrents OnlyFans où ils monétisent ces vidéos.
De nombreux articles ont été publié sur la pratique en plein essor consistant à voler le contenu de véritables créateurs humains et à utiliser l'IA pour remplacer leurs visages par des visages générés par l'IA, à poster ce contenu modifié par l'IA sur Instagram et à diriger les spectateurs vers des plateformes de contenu pour adultes où ils peuvent être monétisés. Ce qui n'était au départ que quelques comptes s'est rapidement transformé en une industrie entière avec des outils spécialisés, des stratégies publicitaires et des influenceurs qui vendent des cours sur la façon de créer ces faux influenceurs pour s'enrichir rapidement grâce à ce qu'ils appellent le « AI pimping » (proxénétisme de l'IA).
Ces derniers mois, des comptes plus récents ont commencé à s'adresser à des niches et à des fétiches de plus en plus spécifiques, notamment des comptes de femmes amputées générées par l'IA. Les comptes de trisomiques générés par l'IA sont la dernière et la plus récente bassesse d'Instagram, qui autorise le vol de contenu rampant qui permet cette pratique et qui alimente maintenant une fétichisation et une monétisation non consensuelles de (fausses) personnes handicapées.
404 Media indique que l'un de ces comptes répond au nom de Maria Dopari et suit plusieurs autres comptes avec des conventions de noms similaires et des vidéos identiques, y compris un compte simplement appelé Maria : « Les échanges de visages sont assez convaincants et difficiles à remarquer, surtout lorsqu'on fait défiler rapidement Reels, mais si vous regardez de près, vous pouvez voir que le visage a parfois cette qualité trop lisse qui est commune à la génération d'images par l'IA, ainsi que de légères erreurs visuelles, en particulier autour de la bouche, de la langue et des dents ».
Il y a beaucoup de vrais influenceurs atteints de trisomie 21 sur Instagram qui partagent des contenus de motivation ou de modélisation. Ces comptes générés par l'IA n'essaient pas d'imiter ce contenu, mais se concentrent strictement sur la sexualisation des personas générés par l'IA afin qu'ils puissent promouvoir des contenus pour adultes qu'ils peuvent ensuite monétiser.
« Ils critiquent tous mon syndrome de Down jusqu'à ce que je décide de porter des vêtements moulants », peut-on lire dans l'une des vidéos de Maria. « Onlyfan ? », dit le texte d'une autre vidéo de Maria pendant qu'elle danse.
À gauche : un compte Instagram utilisant des faceswaps pour créer un personnage atteint du syndrome de Down. À droite : L'exacte même vidéo postée quelques semaines plus tôt par un autre compte avec un visage différent.
À un moment donné, le compte Maria a également posté exactement les mêmes vidéos que le compte Maria Dopari, mais avec un visage différent. Il semble que pour trois vidéos postées entre le 6 et le 8 mars, le compte Maria ait accidentellement utilisé le visage de l'un de ses autres faux personnages, appelé Lana, qui publie sous plusieurs noms d'utilisateur sous une variante de lana.down, le plus grand d'entre eux ayant 43 800 adeptes. Le compte Maria a ensuite continué à publier des messages avec le visage qu'il utilisait régulièrement. Dans certains cas, les médias ont pu identifier les vidéos originales volées par ces comptes.
Un autre compte, appelé Zeliavideos, dit dans sa bio « Je suis spécial non pas parce que j'ai le syndrome de Down, mais parce que je ne le laisse pas définir ma vie. » Il renvoie à une page Fanvue qui ne révèle pas qu'elle est générée par l'IA, mais de nombreuses images fixes sur le compte Instagram le sont clairement. En outre, plusieurs Reels, qui ont été éditées pour que la femme dans les vidéos ait l'air d'être atteinte du syndrome de Down, ont été postées des semaines plus tôt par un compte différent avec un visage entièrement différent.
Le silence complice ou les difficultés d’Instagram ?
Ce qui choque particulièrement, c’est la passivité des plateformes, en particulier Instagram. La modération des contenus générés par IA est aujourd’hui l’un des grands angles morts des politiques de contenu. Les avatars ne violent, techniquement, ni les règles sur l’exploitation d’enfants ou de personnes vulnérables, ni celles sur les « deepfakes » destinés à nuire à des individus identifiés. Le contenu tombe dans un flou juridique et moral : il n’existe pas de victime directe, donc pas d’intervention immédiate.
Pourtant, l’impact collectif est évident. Laisser prospérer ces comptes et leurs modèles fictifs, c’est encourager une nouvelle forme de marchandisation du handicap, sans limites ni garde-fous. Pire encore, cela valide la création de personas ultra-réalistes conçus pour alimenter des fantasmes douteux, sans aucun contrôle.
Presque aucun des comptes Instagram ne s'identifie comme étant généré par l'IA, et à en juger par les commentaires sur les vidéos, il semble que beaucoup de gens croient qu'ils sont réels. Cependant, contrairement à Instagram, OnlyFans a une politique stricte contre le contenu généré par l'IA, à moins qu'il ne présente le créateur vérifié et ne dise explicitement qu'il a été créé à l'aide de l'IA, de sorte que ces comptes ne peuvent pas publier ce contenu sur cette plateforme. Ils peuvent en revanche le monétiser sur Fanvue, qui autorise la monétisation des contenus générés par l'IA, à condition qu'ils soient identifiés comme tels. Maria Dopari et Maria renvoient toutes deux au même compte Fanvue, qui indique que Maria a un « visage d'IA ».
Des outils et des manuels sont mis au service du proxénétisme de l'IA
Il est désormais facile de créer ces comptes et de les monétiser à l'aide d'un assortiment d'outils et d'applications prêts à l'emploi. Certaines de ces applications sont hébergées sur l'App Stores d'Apple et de Google Play Store. Dans le cadre de leur enquête, les auteurs ont acheté deux guides : un manuel d'instruction au format PDF intitulé Instagram Mastery, proposé par une agence d'influenceurs IA appelée Digital Divas, et un autre intitulé AI Influencer Accelerator.
Ce dernier est réalisé par une personne qui se fait appeler Professeur EP, et qui dit gérer le compte Instagram de l'influenceuse IA Emily Pellegrini, qui compte 253 000 abonnés. Professeur EP a également été juge lors du premier concours « Miss AI », organisé en partenariat avec Fanvue. Professeur EP prétend avoir gagné plus d'un million de dollars en six mois, et lorsqu'il exploitait le compte Emily Pellegrini, il a affirmé avoir gagné 100 000 dollars rien que sur Fanvue.
Le manuel « Instagram Mastery » de Digital Divas coûte 50 dollars et est un mélange de conseils techniques et de stratégie d'ingénierie sociale. Il suggère d'utiliser des outils largement connus des créateurs d'œuvres d'art générées par l'IA. Plusieurs des comptes générés par l'IA examinés par l'enquête semblent utiliser une application appelée HelloFace, qui était jusqu'à récemment disponible sur les places de marché Apple App et Google Play, et en font la promotion.
Chacun de ces outils est utilisé pour différentes parties du processus de création. La plupart des...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
Envoyé par Ryu2000
Que pensez-vous du phénomène grandissant du proxénétisme de l'IA ?