Les photos pornos de Taylor Swift générées par IA sont issues d'un défi, selon un rapport

Indiquant que plusieurs utilisateurs cherchaient des moyens de contourner les filtres d'outils IA populaires

Selon la société d'analyse des réseaux sociaux Graphika, les "deepfakes" pornographiques de Taylor Swift qui ont proliféré sur les médias sociaux à la fin du mois dernier sont nés d'un défi en ligne visant à briser les mécanismes de sécurité conçus pour empêcher les gens de générer des images obscènes à l'aide de l'intelligence artificielle.

Pendant des semaines, les utilisateurs du forum internet 4chan ont participé à des concours quotidiens pour trouver des mots et des phrases qui pourraient les aider à contourner les filtres des services de génération d'images les plus populaires, notamment Microsoft Designer et OpenAI's DALL-E, ont constaté les chercheurs. L'objectif final était de créer des images sexuelles de personnalités féminines de premier plan, telles que des chanteuses et des politiciennes.

Fin janvier, des images pornographiques de la chanteuse et actrice Taylor Swift ont circulé sur les réseaux sociaux. Certaines d'entre elles ont été générées en piratant Designer, le générateur d'IA texte-image gratuit de Microsoft.

Des internautes ont réussi à contourner les mesures de protection conçues pour empêcher l'outil de générer des images de célébrités. C'est dans un groupe de Telegram que les membres ont partagé des stratégies pour y parvenir. Ils notaient par exemple qu'il fallait éviter de se servir d'invites utilisant "Taylor Swift" et en utilisant à la place des mots-clés tels que "Taylor 'singer' Swift". Ils ont ensuite été en mesure de générer des images sexualisées en utilisant des mots-clés décrivant « des objets, des couleurs et des compositions qui ressemblent clairement à des actes sexuels », plutôt que d'essayer d'utiliser des termes sexuels.

Très vite, un porte-parole de Microsoft a déclaré que la grande enseigne technologique « enquêtait sur ces rapports » et avait « pris des mesures appropriées pour empêcher l'utilisation abusive de nos outils ». Le porte-parole a également indiqué que le code de conduite de Microsoft interdit l'utilisation des outils Microsoft « pour la création de contenus intimes pour adultes ou non consensuels, et toute tentative répétée de produire des contenus qui vont à l'encontre de nos politiques peut entraîner la perte de l'accès au service ».

Satya Nadella, le PDG de l'entreprise, s'est dit très inquiet et a déclaré qu'il était urgent d'agir. Dans une interview exclusive avec Lester Holt de NBC News, il a déclaré : « Nous devons agir et, très franchement, nous tous qui faisons partie de la plateforme technologique, quelle que soit notre position sur un sujet particulier, je pense que nous avons tous intérêt à ce que le monde en ligne soit un monde sûr ».


Tout part d'un challenge IA

Graphika, une société de recherche qui étudie la désinformation, a retracé les images jusqu'à une communauté sur 4chan, un forum de discussion connu pour partager des discours haineux, des théories du complot et, de plus en plus, des contenus racistes et offensants créés à l'aide de l'intelligence artificielle.

Selon les chercheurs, les membres de 4chan qui ont créé les images de la chanteuse l'ont fait dans le cadre d'une sorte de jeu, un test pour voir s'ils pouvaient créer des images obscènes (et parfois violentes) de personnalités féminines célèbres.

Les images synthétiques de Swift se sont répandues sur d'autres plateformes et ont été visionnées des millions de fois. Les fans ont pris la défense de Taylor Swift et les législateurs ont exigé des protections plus fortes contre les images créées par l'intelligence artificielle.

Graphika a trouvé un fil de messages sur 4chan qui encourageait les gens à essayer de contourner les mesures de protection mises en place par les outils de génération d'images, notamment DALL-E d'OpenAI, Microsoft Designer et Bing Image Creator. Les utilisateurs étaient invités à partager leurs « trucs et astuces pour trouver de nouveaux moyens de contourner les filtres » et il leur était dit : « Bonne chance, soyez créatifs ».

Dans le fil de discussion 4chan qui a conduit aux fausses images de Swift, plusieurs utilisateurs ont reçu des compliments. Un utilisateur a déploré qu'une invite ait produit l'image d'une célébrité vêtue d'un maillot de bain plutôt que nue. Les règles affichées par 4chan et applicables à l'ensemble du site n'interdisent pas spécifiquement les images sexuellement explicites d'adultes réels générées par l'IA.

« Ces images proviennent d'une communauté de personnes motivées par le "défi" de contourner les mesures de protection des produits d'IA générative, et les nouvelles restrictions sont perçues comme un nouvel obstacle à "vaincre" », a déclaré Cristina Lopez G., analyste senior chez Graphika, dans un communiqué accompagnant le rapport. « Il est important de comprendre la nature ludique de cette activité malveillante afin de prévenir d'autres abus à la source ».

Et de continuer...