Ces dernières semaines, un phénomène glaçant est venu souligner les dérives profondes de l’intelligence artificielle et l’incapacité des plateformes à les encadrer : des utilisateurs créent, grâce à l’IA, des influenceurs atteints de trisomie 21 (ou du moins volent du contenu à des créateurs humains et simulent cette condition génétique grâce à l'IA) pour vendre du contenu sexuellement explicite. Ces visages deepfake sont mis en scène dans des contextes érotiques voire pornographiques, monétisées via des plateformes ou des sites tiers. L’ambiguïté volontaire (laissant croire que ces personnes existent réellement) contribue à entretenir un marché malsain et profondément irrespectueux.Contexte
D'après un examen de plus de 1 000 comptes Instagram générés par l'IA, de canaux Discord où les personnes qui créent ce contenu partagent des astuces et discutent de stratégie, et de plusieurs guides qui expliquent comment gagner de l'argent en faisant du « AI pimping » (proxénétisme de l'IA), il est désormais facile de créer ces comptes et de les monétiser à l'aide d'un assortiment d'outils et d'applis d'IA prêts à l'emploi. Certaines de ces applications sont hébergées sur les App Stores d'Apple et de Google Play. L'enquête montre que ce qui était autrefois un problème de niche sur la plateforme s'est industrialisé et montre ce que les médias sociaux pourraient devenir dans un avenir proche : un espace où le contenu généré par l'IA éclipse celui des humains.
Entre fétichisation et exploitation
Un réseau de comptes Instagram utilise l'IA pour voler du contenu à des créateurs humains et se servir du deepfake sur leurs visages pour faire croire qu'ils sont atteints du syndrome de Down. 404 Media a pu déterminer que les comptes sont liés parce qu'ils réutilisent des bios Instagram, des vidéos et, dans certains cas, des liens vers les mêmes pages de concurrents OnlyFans où ils monétisent ces vidéos.
De nombreux articles ont été publié sur la pratique en plein essor consistant à voler le contenu de véritables créateurs humains et à utiliser l'IA pour remplacer leurs visages par des visages générés par l'IA, à poster ce contenu modifié par l'IA sur Instagram et à diriger les spectateurs vers des plateformes de contenu pour adultes où ils peuvent être monétisés. Ce qui n'était au départ que quelques comptes s'est rapidement transformé en une industrie entière avec des outils spécialisés, des stratégies publicitaires et des influenceurs qui vendent des cours sur la façon de créer ces faux influenceurs pour s'enrichir rapidement grâce à ce qu'ils appellent le « AI pimping » (proxénétisme de l'IA).
Ces derniers mois, des comptes plus récents ont commencé à s'adresser à des niches et à des fétiches de plus en plus spécifiques, notamment des comptes de femmes amputées générées par l'IA. Les comptes de trisomiques générés par l'IA sont la dernière et la plus récente bassesse d'Instagram, qui autorise le vol de contenu rampant qui permet cette pratique et qui alimente maintenant une fétichisation et une monétisation non consensuelles de (fausses) personnes handicapées.
404 Media indique que l'un de ces comptes répond au nom de Maria Dopari et suit plusieurs autres comptes avec des conventions de noms similaires et des vidéos identiques, y compris un compte simplement appelé Maria : « Les échanges de visages sont assez convaincants et difficiles à remarquer, surtout lorsqu'on fait défiler rapidement Reels, mais si vous regardez de près, vous pouvez voir que le visage a parfois cette qualité trop lisse qui est commune à la génération d'images par l'IA, ainsi que de légères erreurs visuelles, en particulier autour de la bouche, de la langue et des dents ».
Il y a beaucoup de vrais influenceurs atteints de trisomie 21 sur Instagram qui partagent des contenus de motivation ou de modélisation. Ces comptes générés par l'IA n'essaient pas d'imiter ce contenu, mais se concentrent strictement sur la sexualisation des personas générés par l'IA afin qu'ils puissent promouvoir des contenus pour adultes qu'ils peuvent ensuite monétiser.
« Ils critiquent tous mon syndrome de Down jusqu'à ce que je décide de porter des vêtements moulants », peut-on lire dans l'une des vidéos de Maria. « Onlyfan ? », dit le texte d'une autre vidéo de Maria pendant qu'elle danse.
À gauche : un compte Instagram utilisant des faceswaps pour créer un personnage atteint du syndrome de Down. À droite : L'exacte même vidéo postée quelques semaines plus tôt par un autre compte avec un visage différent.
À un moment donné, le compte Maria a également posté exactement les mêmes vidéos que le compte Maria Dopari, mais avec un visage différent. Il semble que pour trois vidéos postées entre le 6 et le 8 mars, le compte Maria ait accidentellement utilisé le visage de l'un de ses autres faux personnages, appelé Lana, qui publie sous plusieurs noms d'utilisateur sous une variante de lana.down, le plus grand d'entre eux ayant 43 800 adeptes. Le compte Maria a ensuite continué à publier des messages avec le visage qu'il utilisait régulièrement. Dans certains cas, les médias ont pu identifier les vidéos originales volées par ces comptes.
Un autre compte, appelé Zeliavideos, dit dans...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
Envoyé par Ryu2000
Que pensez-vous du phénomène grandissant du proxénétisme de l'IA ?