Les photos pornos de Taylor Swift générées par IA sont issues d'un défi, selon un rapport

Indiquant que plusieurs utilisateurs cherchaient des moyens de contourner les filtres d'outils IA populaires

Selon la société d'analyse des réseaux sociaux Graphika, les "deepfakes" pornographiques de Taylor Swift qui ont proliféré sur les médias sociaux à la fin du mois dernier sont nés d'un défi en ligne visant à briser les mécanismes de sécurité conçus pour empêcher les gens de générer des images obscènes à l'aide de l'intelligence artificielle.

Pendant des semaines, les utilisateurs du forum internet 4chan ont participé à des concours quotidiens pour trouver des mots et des phrases qui pourraient les aider à contourner les filtres des services de génération d'images les plus populaires, notamment Microsoft Designer et OpenAI's DALL-E, ont constaté les chercheurs. L'objectif final était de créer des images sexuelles de personnalités féminines de premier plan, telles que des chanteuses et des politiciennes.

Fin janvier, des images pornographiques de la chanteuse et actrice Taylor Swift ont circulé sur les réseaux sociaux. Certaines d'entre elles ont été générées en piratant Designer, le générateur d'IA texte-image gratuit de Microsoft.

Des internautes ont réussi à contourner les mesures de protection conçues pour empêcher l'outil de générer des images de célébrités. C'est dans un groupe de Telegram que les membres ont partagé des stratégies pour y parvenir. Ils notaient par exemple qu'il fallait éviter de se servir d'invites utilisant "Taylor Swift" et en utilisant à la place des mots-clés tels que "Taylor 'singer' Swift". Ils ont ensuite été en mesure de générer des images sexualisées en utilisant des mots-clés décrivant « des objets, des couleurs et des compositions qui ressemblent clairement à des actes sexuels », plutôt que d'essayer d'utiliser des termes sexuels.

Très vite, un porte-parole de Microsoft a déclaré que la grande enseigne technologique « enquêtait sur ces rapports » et avait « pris des mesures appropriées pour empêcher l'utilisation abusive de nos outils ». Le porte-parole a également indiqué que le code de conduite de Microsoft interdit l'utilisation des outils Microsoft « pour la création de contenus intimes pour adultes ou non consensuels, et toute tentative répétée de produire des contenus qui vont à l'encontre de nos politiques peut entraîner la perte de l'accès au service ».

Satya Nadella, le PDG de l'entreprise, s'est dit très inquiet et a déclaré qu'il était urgent d'agir. Dans une interview exclusive avec Lester Holt de NBC News, il a déclaré : « Nous devons agir et, très franchement, nous tous qui faisons partie de la plateforme technologique, quelle que soit notre position sur un sujet particulier, je pense que nous avons tous intérêt à ce que le monde en ligne soit un monde sûr ».


Tout part d'un challenge IA

Graphika, une société de recherche qui étudie la désinformation, a retracé les images jusqu'à une communauté sur 4chan, un forum de discussion connu pour partager des discours haineux, des théories du complot et, de plus en plus, des contenus racistes et offensants créés à l'aide de l'intelligence artificielle.

Selon les chercheurs, les membres de 4chan qui ont créé les images de la chanteuse l'ont fait dans le cadre d'une sorte de jeu, un test pour voir s'ils pouvaient créer des images obscènes (et parfois violentes) de personnalités féminines célèbres.

Les images synthétiques de Swift se sont répandues sur d'autres plateformes et ont été visionnées des millions de fois. Les fans ont pris la défense de Taylor Swift et les législateurs ont exigé des protections plus fortes contre les images créées par l'intelligence artificielle.

Graphika a trouvé un fil de messages sur 4chan qui encourageait les gens à essayer de contourner les mesures de protection mises en place par les outils de génération d'images, notamment DALL-E d'OpenAI, Microsoft Designer et Bing Image Creator. Les utilisateurs étaient invités à partager leurs « trucs et astuces pour trouver de nouveaux moyens de contourner les filtres » et il leur était dit : « Bonne chance, soyez créatifs ».

Dans le fil de discussion 4chan qui a conduit aux fausses images de Swift, plusieurs utilisateurs ont reçu des compliments. Un utilisateur a déploré qu'une invite ait produit l'image d'une célébrité vêtue d'un maillot de bain plutôt que nue. Les règles affichées par 4chan et applicables à l'ensemble du site n'interdisent pas spécifiquement les images sexuellement explicites d'adultes réels générées par l'IA.

« Ces images proviennent d'une communauté de personnes motivées par le "défi" de contourner les mesures de protection des produits d'IA générative, et les nouvelles restrictions sont perçues comme un nouvel obstacle à "vaincre" », a déclaré Cristina Lopez G., analyste senior chez Graphika, dans un communiqué accompagnant le rapport. « Il est important de comprendre la nature ludique de cette activité malveillante afin de prévenir d'autres abus à la source ».

Et de continuer en disant que « Si les images pornographiques virales de Taylor Swift ont attiré l'attention du grand public sur la question des images intimes non consensuelles générées par l'IA, elle est loin d'être la seule victime ». Puis, elle a précisé que « dans la communauté 4chan d'où proviennent ces images, elle n'est même pas la personnalité publique la plus fréquemment ciblée. Cela montre que n'importe qui peut être visé de cette manière, des célébrités mondiales aux écoliers ».

OpenAI défend ChatGPT, Microsoft indique qu'une enquête est toujours en cours

OpenAI a déclaré que les images explicites de Swift n'ont pas été générées à l'aide de ChatGPT ou de son interface de programmation d'applications.

« Nous nous efforçons de filtrer les contenus les plus explicites lorsque nous formons le modèle DALL-E sous-jacent, et nous appliquons des garde-fous supplémentaires pour nos produits tels que ChatGPT - notamment en refusant les requêtes qui demandent le nom d'une personnalité publique ou en refusant les requêtes de contenu explicite », a déclaré OpenAI.

Microsoft continue d'enquêter sur ces images et a renforcé ses « systèmes de sécurité existants afin d'empêcher que nos services ne soient utilisés à mauvais escient pour générer des images comme celles-ci », a déclaré un porte-parole.

Un fléau qui sévit depuis au moins 2017

Le partage de contenus peu recommandables par l'intermédiaire de défis permet aux gens de se sentir connectés à une communauté plus large, et ils sont motivés par le cachet qu'ils reçoivent pour leur participation, ont déclaré les experts. À l'approche des élections de mi-mandat en 2022, des groupes sur des plateformes telles que Telegram, WhatsApp et Truth Social se sont lancés dans une chasse à la fraude électorale, gagnant des points ou des titres honorifiques en produisant des preuves supposées de la malversation des électeurs (selon les médias, les vraies preuves de fraude électorale sont exceptionnellement rares).

La fausse pornographie générée par un logiciel est un fléau depuis au moins 2017, affectant des célébrités, des personnalités gouvernementales, des streamers Twitch, des étudiants et d'autres. La réglementation inégale laisse peu de victimes avec un recours juridique ; d'ailleurs, peu d'entre les victimes ont une base de fans dévoués pour noyer les fausses images avec des messages coordonnés « Protégez Taylor Swift ».

Après que les fausses images de Swift sont devenues virales, Karine Jean-Pierre, attachée de presse de la Maison Blanche, a qualifié la situation « d'alarmante » et a déclaré que le laxisme des entreprises de médias sociaux dans l'application de leurs propres règles affectait de manière disproportionnée les femmes et les jeunes filles. Elle a indiqué que le ministère de la justice avait récemment financé le premier service national d'assistance téléphonique pour les personnes victimes d'abus sexuels fondés sur l'image, qui, selon le ministère, répond à un « besoin croissant de services » liés à la diffusion d'images intimes sans consentement. SAG-AFTRA, le syndicat représentant des dizaines de milliers d'acteurs, a qualifié les fausses images de Swift et d'autres personnes de « vol de leur vie privée et de leur droit à l'autonomie ».


Des versions artificielles de Swift ont également été utilisées pour promouvoir des escroqueries concernant les ustensiles de cuisine Le Creuset. L'IA a été utilisée pour imiter la voix du président Biden dans des robocalls dissuadant les électeurs de participer aux élections primaires du New Hampshire. Les experts en technologie affirment qu'à mesure que les outils d'IA deviennent plus accessibles et plus faciles à utiliser, des parodies audio et des vidéos avec des avatars réalistes pourraient être créées en quelques minutes seulement.

Une désinformation en masse qui se prépare ?

Les images et vidéos manipulées entourant les élections ne sont pas nouvelles, mais 2024 sera la première élection présidentielle américaine au cours de laquelle des outils d'IA sophistiqués capables de produire des contrefaçons convaincantes en quelques secondes ne seront qu'à quelques clics.

« Je m'attends à un tsunami de désinformation », a déclaré Oren Etzioni, expert en intelligence artificielle et professeur émérite à l'Université de Washington. « Je ne peux pas le prouver. J'espère avoir tort. Mais les ingrédients sont là et je suis complètement terrifié ».

Les images, vidéos et clips audio fabriqués, connus sous le nom de deepfakes, ont commencé à se frayer un chemin dans les publicités expérimentales de la campagne présidentielle. Des versions plus sinistres pourraient facilement se propager sans étiquette sur les réseaux sociaux et tromper les gens quelques jours avant une élection, a déclaré Etzioni.

« On pourrait voir un candidat politique comme le président Biden être transporté d’urgence à l’hôpital », a-t-il déclaré. « On pourrait voir un candidat dire des choses qu’il n’avait jamais dites. On pourrait assister à une ruée sur les banques. On pouvait voir des bombardements et des violences qui n’ont jamais eu lieu ».

Les contrefaçons de haute technologie ont déjà affecté les élections dans le monde entier, a déclaré Larry Norden, directeur principal des élections et du programme gouvernemental au Brennan Center for Justice. Quelques jours seulement avant les récentes élections en Slovaquie, des enregistrements audio générés par l’IA ont usurpé l’identité d’un candidat libéral discutant de projets visant à augmenter les prix de la bière et à truquer les élections. Les vérificateurs de faits se sont efforcés de les identifier comme étant faux, mais ils ont malgré tout été partagés comme étant réels sur les réseaux sociaux.

Ces outils pourraient également être utilisés pour cibler des communautés spécifiques et affiner les messages trompeurs sur le vote. Cela pourrait ressembler à des messages texte persuasifs, à de fausses annonces sur les processus de vote partagées dans différentes langues sur WhatsApp, ou à de faux sites Web simulés pour ressembler à ceux officiels du gouvernement de votre région, ont déclaré les experts.

Face à un contenu conçu pour paraître réel, « tout ce que nous avons été programmés pour faire au cours de l'évolution va entrer en jeu pour nous faire croire à la fabrication plutôt qu'à la réalité réelle », a déclaré Kathleen Hall Jamieson, spécialiste de la désinformation et directeur du Annenberg Public Policy Center de l'Université de Pennsylvanie.

Source : Graphika

Et vous ?

Que pensez-vous de cette affaire ?
Êtes-vous surpris de voir des outils, comme celui de Microsoft, détournés de leur usage d'origine pour faire autant de dégâts ?
Les entreprises ont-elles une part de responsabilité selon vous ? Dans quelle mesure ?
La régulation des technologies d'IA en général, et de deepfake en particulier, vous semble-t-elle apporté un début de solution à ce problème ? Pourquoi ?
Quelles mesures devraient être prises ?