Quand l'IA instrumentalise le handicap : des gens utilisent l'IA pour créer des influenceurs trisomiques qui vendent des nus

Tandis qu'Instagram est réticent à modérer les contenus générés par l'IA

Quand l'IA instrumentalise le handicap : des gens utilisent l'IA pour créer des influenceurs trisomiques qui vendent des nus,
la réticence d'Instagram à modérer les contenus générés par l'IA atteint un nouveau seuil

Ces dernières semaines, un phénomène glaçant est venu souligner les dérives profondes de l’intelligence artificielle et l’incapacité des plateformes à les encadrer : des utilisateurs créent, grâce à l’IA, des influenceurs atteints de trisomie 21 (ou du moins volent du contenu à des créateurs humains et simulent cette condition génétique grâce à l'IA) pour vendre du contenu sexuellement explicite. Ces visages deepfake sont mis en scène dans des contextes érotiques voire pornographiques, monétisées via des plateformes ou des sites tiers. L’ambiguïté volontaire (laissant croire que ces personnes existent réellement) contribue à entretenir un marché malsain et profondément irrespectueux.

Contexte

D'après un examen de plus de 1 000 comptes Instagram générés par l'IA, de canaux Discord où les personnes qui créent ce contenu partagent des astuces et discutent de stratégie, et de plusieurs guides qui expliquent comment gagner de l'argent en faisant du « AI pimping » (proxénétisme de l'IA), il est désormais facile de créer ces comptes et de les monétiser à l'aide d'un assortiment d'outils et d'applis d'IA prêts à l'emploi. Certaines de ces applications sont hébergées sur les App Stores d'Apple et de Google Play. L'enquête montre que ce qui était autrefois un problème de niche sur la plateforme s'est industrialisé et montre ce que les médias sociaux pourraient devenir dans un avenir proche : un espace où le contenu généré par l'IA éclipse celui des humains.

Entre fétichisation et exploitation

Un réseau de comptes Instagram utilise l'IA pour voler du contenu à des créateurs humains et se servir du deepfake sur leurs visages pour faire croire qu'ils sont atteints du syndrome de Down. 404 Media a pu déterminer que les comptes sont liés parce qu'ils réutilisent des bios Instagram, des vidéos et, dans certains cas, des liens vers les mêmes pages de concurrents OnlyFans où ils monétisent ces vidéos.

De nombreux articles ont été publié sur la pratique en plein essor consistant à voler le contenu de véritables créateurs humains et à utiliser l'IA pour remplacer leurs visages par des visages générés par l'IA, à poster ce contenu modifié par l'IA sur Instagram et à diriger les spectateurs vers des plateformes de contenu pour adultes où ils peuvent être monétisés. Ce qui n'était au départ que quelques comptes s'est rapidement transformé en une industrie entière avec des outils spécialisés, des stratégies publicitaires et des influenceurs qui vendent des cours sur la façon de créer ces faux influenceurs pour s'enrichir rapidement grâce à ce qu'ils appellent le « AI pimping » (proxénétisme de l'IA).

Ces derniers mois, des comptes plus récents ont commencé à s'adresser à des niches et à des fétiches de plus en plus spécifiques, notamment des comptes de femmes amputées générées par l'IA. Les comptes de trisomiques générés par l'IA sont la dernière et la plus récente bassesse d'Instagram, qui autorise le vol de contenu rampant qui permet cette pratique et qui alimente maintenant une fétichisation et une monétisation non consensuelles de (fausses) personnes handicapées.

404 Media indique que l'un de ces comptes répond au nom de Maria Dopari et suit plusieurs autres comptes avec des conventions de noms similaires et des vidéos identiques, y compris un compte simplement appelé Maria : « Les échanges de visages sont assez convaincants et difficiles à remarquer, surtout lorsqu'on fait défiler rapidement Reels, mais si vous regardez de près, vous pouvez voir que le visage a parfois cette qualité trop lisse qui est commune à la génération d'images par l'IA, ainsi que de légères erreurs visuelles, en particulier autour de la bouche, de la langue et des dents ».

Il y a beaucoup de vrais influenceurs atteints de trisomie 21 sur Instagram qui partagent des contenus de motivation ou de modélisation. Ces comptes générés par l'IA n'essaient pas d'imiter ce contenu, mais se concentrent strictement sur la sexualisation des personas générés par l'IA afin qu'ils puissent promouvoir des contenus pour adultes qu'ils peuvent ensuite monétiser.

« Ils critiquent tous mon syndrome de Down jusqu'à ce que je décide de porter des vêtements moulants », peut-on lire dans l'une des vidéos de Maria. « Onlyfan ? », dit le texte d'une autre vidéo de Maria pendant qu'elle danse.


À un moment donné, le compte Maria a également posté exactement les mêmes vidéos que le compte Maria Dopari, mais avec un visage différent. Il semble que pour trois vidéos postées entre le 6 et le 8 mars, le compte Maria ait accidentellement utilisé le visage de l'un de ses autres faux personnages, appelé Lana, qui publie sous plusieurs noms d'utilisateur sous une variante de lana.down, le plus grand d'entre eux ayant 43 800 adeptes. Le compte Maria a ensuite continué à publier des messages avec le visage qu'il utilisait régulièrement. Dans certains cas, les médias ont pu identifier les vidéos originales volées par ces comptes.

Un autre compte, appelé Zeliavideos, dit dans sa bio « Je suis spécial non pas parce que j'ai le syndrome de Down, mais parce que je ne le laisse pas définir ma vie. » Il renvoie à une page Fanvue qui ne révèle pas qu'elle est générée par l'IA, mais de nombreuses images fixes sur le compte Instagram le sont clairement. En outre, plusieurs Reels, qui ont été éditées pour que la femme dans les vidéos ait l'air d'être atteinte du syndrome de Down, ont été postées des semaines plus tôt par un compte différent avec un visage entièrement différent.

Le silence complice ou les difficultés d’Instagram ?

Ce qui choque particulièrement, c’est la passivité des plateformes, en particulier Instagram. La modération des contenus générés par IA est aujourd’hui l’un des grands angles morts des politiques de contenu. Les avatars ne violent, techniquement, ni les règles sur l’exploitation d’enfants ou de personnes vulnérables, ni celles sur les « deepfakes » destinés à nuire à des individus identifiés. Le contenu tombe dans un flou juridique et moral : il n’existe pas de victime directe, donc pas d’intervention immédiate.

Pourtant, l’impact collectif est évident. Laisser prospérer ces comptes et leurs modèles fictifs, c’est encourager une nouvelle forme de marchandisation du handicap, sans limites ni garde-fous. Pire encore, cela valide la création de personas ultra-réalistes conçus pour alimenter des fantasmes douteux, sans aucun contrôle.

Presque aucun des comptes Instagram ne s'identifie comme étant généré par l'IA, et à en juger par les commentaires sur les vidéos, il semble que beaucoup de gens croient qu'ils sont réels. Cependant, contrairement à Instagram, OnlyFans a une politique stricte contre le contenu généré par l'IA, à moins qu'il ne présente le créateur vérifié et ne dise explicitement qu'il a été créé à l'aide de l'IA, de sorte que ces comptes ne peuvent pas publier ce contenu sur cette plateforme. Ils peuvent en revanche le monétiser sur Fanvue, qui autorise la monétisation des contenus générés par l'IA, à condition qu'ils soient identifiés comme tels. Maria Dopari et Maria renvoient toutes deux au même compte Fanvue, qui indique que Maria a un « visage d'IA ».


Des outils et des manuels sont mis au service du proxénétisme de l'IA

Il est désormais facile de créer ces comptes et de les monétiser à l'aide d'un assortiment d'outils et d'applications prêts à l'emploi. Certaines de ces applications sont hébergées sur l'App Stores d'Apple et de Google Play Store. Dans le cadre de leur enquête, les auteurs ont acheté deux guides : un manuel d'instruction au format PDF intitulé Instagram Mastery, proposé par une agence d'influenceurs IA appelée Digital Divas, et un autre intitulé AI Influencer Accelerator.

Ce dernier est réalisé par une personne qui se fait appeler Professeur EP, et qui dit gérer le compte Instagram de l'influenceuse IA Emily Pellegrini, qui compte 253 000 abonnés. Professeur EP a également été juge lors du premier concours « Miss AI », organisé en partenariat avec Fanvue. Professeur EP prétend avoir gagné plus d'un million de dollars en six mois, et lorsqu'il exploitait le compte Emily Pellegrini, il a affirmé avoir gagné 100 000 dollars rien que sur Fanvue.

Le manuel « Instagram Mastery » de Digital Divas coûte 50 dollars et est un mélange de conseils techniques et de stratégie d'ingénierie sociale. Il suggère d'utiliser des outils largement connus des créateurs d'œuvres d'art générées par l'IA. Plusieurs des comptes générés par l'IA examinés par l'enquête semblent utiliser une application appelée HelloFace, qui était jusqu'à récemment disponible sur les places de marché Apple App et Google Play, et en font la promotion.

Chacun de ces outils est utilisé pour différentes parties du processus de création. La plupart des guides examinés par l'enquête recommandent de générer les visages avec l'outil Leonardo, puis de les affiner dans un autre outil d'IA pour supprimer les défauts. Outre cette collection d'outils et de manuels, il existe désormais plusieurs sites qui servent de guichet unique pour créer et monétiser des influenceurs générés par l'IA, comme Glambase, SynthLife et Genfluence.

Leur promotion est également assurée par des influenceurs générés par l'IA sur Instagram. Dans un canal Discord dédié au jailbreaking d'outils d'IA afin de générer du contenu adulte ou NSFW (Not safe for work), un utilisateur portant le pseudonyme « BabaYaga » a partagé son parcours de création de l'un de ces comptes deepfake en utilisant une variété de services en ligne gratuits, principalement le générateur d'images Krea, qui est un concurrent de Stable Diffusion.

BabaYaga a créé des comptes Instagram, TikTok et Twitter pour la même influenceuse générée par l'IA, qui renvoient tous à un compte Fanvue sur lequel il vend des images d'elle nue générées par l'IA. Il a également créé un compte OnlyFans pour l'influenceuse générée par l'IA, mais n'y a pas encore publié de contenu. Selon les critiques, le fait que beaucoup de ces comptes d'influence générés par l'IA soient gérés par des hommes ajoute l'insulte à l'injure.

Le guide « AI Influencer Accelerator » de Professeur EP est une série de vidéos d'instruction et de PDF coûtant 220 $. Il comprend également des conseils sur la création d'un compte Fanvue et sur l'envoi de messages à des « personnes isolées ». Dans ses vidéos, l'auteur est soit une voix d'IA, soit une personne utilisant un changeur de voix, et il est personnifié comme une personne dans des images d'archives portant un costume et un masque argenté de Guy Fawkes.

Le proxénétisme de l'IA et la question de la protection du droit d'auteur

Plusieurs personnes dont les images Instagram ont été reprises par les proxénètes de l'IA ignorent que leur contenu a été utilisé sans leur consentement. Kimberlee Weatherall, professeur de droit à l'Université de Sydney et experte en propriété intellectuelle, a déclaré que l'utilisation d'images du corps d'une femme pour créer des influenceurs d'IA était « absolument répréhensible » et que cela constitue des violations des droits de propriété intellectuelle des personnes.

« Sur le plan juridique, si vous avez simplement pris les films d'autres personnes et que vous les réutilisez ou une partie substantielle du film, il s'agit d'une violation assez claire du droit d'auteur, sans aucune exception évidente », a déclaré Kimberlee Weatherall à ABC.

Jane Rawlings, avocate spécialisée dans la propriété intellectuelle et conférencière, s'est fait l'écho de son évaluation, ajoutant que bon nombre de ces créateurs d'influenceurs d'IA pourraient également enfreindre le droit de la consommation en n'indiquant pas clairement qu'il s'agit de mannequins synthétiques.

Sources : Fanvue, Onlyfans, Meta

Et vous ?

Quel est votre avis sur le sujet ?

Que pensez-vous du phénomène grandissant du proxénétisme de l'IA ?

Selon vous, quels pourraient être les impacts du proxénétisme de l'IA sur le Web à long terme ?

Avez-vous déjà ou envisagez-vous participer à un projet de monétisation de contenus pour adulte générés par intelligence artificielle en tant que développeur ? Partagez votre expérience

Voir aussi :

D'ici 2025, plus de la moitié des comptes OnlyFans les plus populaires seront des modèles générés par l'intelligence artificielle pilotés en secret par des hommes, d'après Alex Valaitis