Un artiste banni par Midjourney pour avoir utilisé l'IA pour créer des images de politiciens trompant leur femme,

Ces images réalistes montrent l'ampleur du problème des deepfakes générés par l'IA

Une expérience réalisée récemment par un artiste a attiré une nouvelle fois l'attention sur la dangerosité des deepfakes à l'ère de l'IA générative. Il a utilisé l'IA de génération d'œuvres d'art de Midjourney pour créer des images de politiciens trompant leur partenaire. Bien que ces photos soient fausses, elles sont "hyperréalistes" et capables de tromper facilement la vigilance d'un public non averti. L'artiste a déclaré que son objectif était d'alerter le public sur les dangers potentiels de ce type d'IA pour les personnes, les entreprises et les gouvernements, mais il a été banni par Midjourney. L'entreprise n'a pas évoqué les raisons justifiant cette décision.

L'IA générative a propulsé les deepfakes dans une nouvelle ère. Ils sont passés de l'état de simples canulars à celui d'armes dangereuses pouvant être dirigées contre des politiciens, des personnalités influentes, les ménages, les internautes et les entreprises. Un rapport publié le mois dernier indique que les deepfakes sont devenus la première forme de fraude et sont principalement utilisés pour contourner des systèmes de reconnaissance biométrique et fabriquer de fausses cartes d'identité. Cet état de choses alarme les chercheurs et les entreprises qui tentent tant bien que mal de trouver une solution efficace. D'autres activistes alertent sur les dangers de l'IA.

Récemment, Justin T. Brown, éditeur de vidéos et satiriste politique, a utilisé Midjourney (une plateforme d'IA permettant de créer des images à partir de descriptions textuelles) pour générer de fausses images montrant des personnalités politiques américaines telles que Donald Trump et Joe Biden dans des positions compromettantes. Selon l'artiste, la collection d'images, intitulée "AI's Impact on the Blackmail Industry" (l'impact de l'IA sur l'industrie du chantage), vise à démontrer le potentiel de l'IA générative en tant qu'arme dangereuse lorsqu'elle est utilisée pour représenter des scénarios susceptibles d'infliger des dommages à des personnes innocentes.

I got banned from Midjourney AI for generating realistic images of politicians cheating on their wives for a series called “AI will revolutionize the blackmail industry”

A couple thoughts on AI images from someone who’s good at making fake stuff 🧵

Trump cheating on his wife: pic.twitter.com/HjxBj7qdaR

— JustinTBrown (@JuuustinBrown) May 26, 2023

« J'ai créé cette série dans le but d'impliquer certaines des personnes les plus influentes d'Amérique dans la conversation sur les dangers de l'IA, et d'atteindre le plus grand public possible. Le but était de créer un buzz et de susciter la conversation de la manière la plus salace, la plus choquante et la plus drôle possible. Pour montrer le danger potentiel réel de l'IA, le projet lui-même devait être une menace, et à mon avis, il n'y a pas de cibles plus sûres que les hommes puissants de Washington. Il s'agissait d'un coup d'épée dans l'eau », a déclaré Brown lors d'un interview. L'artiste a ajouté ensuite avoir été banni par Midjourney sans aucune explication.

Brown, qui est basé à Los Angeles, affirme avoir créé ces images plusieurs mois auparavant et qu'il lui a fallu un peu plus d'une heure pour cela. Mais deux jours après la publication des photos sur Reddit, les modérateurs de Reddit ont supprimé les images et Brown a rapidement été banni de Midjourney presque au même moment. « Après avoir gagné du terrain sur Reddit, la série a été supprimée par les modérateurs et le bannissement de Midjourney a suivi presque immédiatement. J'ai déjà été confronté à des messages bloqués par le passé - pour des mots grossiers ou des personnages controversés - mais je n'ai jamais été banni », explique Brown.

« Midjourney ne m'a donné aucune raison directe justifiant l'interdiction, seulement un message disant que j'étais bloqué, mais le moment de la publication sur Reddit et l'interdiction sont en corrélation directe. C'est un espace où les gens de Midjourney se retrouvent », a-t-il ajouté. L'interdiction concerne le fait que les images n'ont été signalées qu'après avoir été partagées sur un site tiers. Selon les experts, cela confirme l'affirmation de Brown selon laquelle d'autres personnes pourraient créer des images similaires sans que Midjourney les détecte. Ces images pourraient servir dans des campagnes de chantage et d'autres types d'actions malveillantes.

Dans un fil de discussion viral sur Twitter, Brown a fait part de ses sentiments contradictoires au sujet de son exclusion de Midjourney et de la facilité avec laquelle l'IA peut générer des images fausses, mais crédibles. « Je ressens toutes les émotions possibles à ce sujet. Je préférerais ne pas être banni, mais au moins cela signifie peut-être qu'il y a une certaine responsabilité lorsque les utilisateurs génèrent du contenu nuisible avec de mauvaises intentions », explique Brown. Mais il a laissé entendre que le fait de punir une personne après qu'elle a généré des contenus malveillants n'est pas une politique rassurante. Selon l'artiste, le mal est déjà fait.

« J'ai été banni des mois après avoir créé les images, alors quand un contenu préjudiciable est généré, n'est-il pas déjà trop tard ? Je pense qu'une certaine régulation du contenu est nécessaire, mais pourquoi ferais-je confiance à une entreprise pour réguler ses propres résultats ? Et qui décide du type de contenu à réglementer ? », s'interroge Brown. Il affirme en outre que l'une de ses principales préoccupations à l'égard de l'IA est sa capacité à diffuser de la désinformation et qu'il est nécessaire d'engager une "conversation internationale" sur cette technologie. « Je n'ai jamais présenté les images [de la série de photos] comme réelles », a-t-il déclaré.

Midjourney et al have some safe guards in place, but you can get around them with creative prompting or repeated requests. These generators are mostly just mashing up photos available on the internet. Privacy, copyright, dignity, and safety be damned

Bernie cheating on his wife: pic.twitter.com/uxSCXevQFd

— JustinTBrown (@JuuustinBrown) May 26, 2023

« Toutefois, je sais que certaines de ces images ont été prises et partagées hors contexte par d'autres, et je ne serais donc pas surpris que certaines personnes croient qu'elles sont réelles. Mais dans une certaine mesure, cela fait partie du projet. Ce type de désinformation continuera à se produire, la prochaine fois par des personnes mal intentionnées, et nous ferions mieux de commencer à nous en occuper dès maintenant. Dans un monde meilleur, je serais favorable à l'IA. Cela dit, dans le monde dans lequel nous vivons, elle a le potentiel d'être dévastatrice. Je pense que notre monde doit changer », a-t-il ajouté. Cette forme d'utilisation est déjà répandue.

Un récent rapport du New York Times montre comment les lacunes dans la réglementation des campagnes électorales ont facilité la circulation d'images générées par l'IA par les politiciens. À l'approche de l'élection présidentielle américaine de 2024, cela pourrait s'avérer désastreux. Par exemple, en avril, le parti républicain a réagi à l'annonce de la candidature de Biden à l'élection présidentielle de 2024 par une publicité générée par l'IA qui dépeint une vision dystopique des États-Unis si l'actuel locataire de la Maison-Blanche est réélu. Dans la vidéo partagée par les républicains, l'IA suggère que la réélection de Joe Biden entraînera une série de crises.

Les images diffusées dans la vidéo représentent des explosions à Taïwan après une invasion chinoise et des déploiements militaires importants dans ce que l'on suppose être des rues américaines. Pour aggraver les choses, les efforts des réseaux sociaux pour détecter le contenu généré par l'IA se sont avérés largement inefficaces pour endiguer l'afflux de faux contenus. Par conséquent, il est de plus en plus difficile de distinguer la réalité de la fiction. En outre, les experts indiquent que les faux contenus générés par l'IA peuvent violer la vie privée des personnes en créant et en diffusant des images ou des enregistrements vocaux sans leur consentement.

Cela porte non seulement atteinte aux limites de la vie privée, mais ouvre également la porte à des abus potentiels, tels que le chantage ou l'usurpation d'identité. Les implications juridiques et éthiques des contenus générés par l'IA ne peuvent pas non plus être ignorées. Les droits de propriété intellectuelle et les lois sur les droits d'auteur peuvent être enfreints, entraînant des conséquences juridiques et financières importantes. En outre, l'utilisation de faux contenus à des fins frauduleuses ou diffamatoires est une préoccupation croissante qui doit être prise en compte. En raison de l'essor de l'IA, la confiance et la crédibilité des médias numériques sont en jeu.

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous des propos de l'artiste Justin Brown ?
Que pensez-vous de la démarche qu'il a utilisée pour alerter sur les dangers de l'IA ?
Selon vous, Midjourney a-t-il bien fait de le bannir ? Pourquoi ?
Que pensez-vous du fait que Midjourney laisse les utilisateurs générer de telles images ?
Selon vous, quels pourraient être les impacts de l'IA générative sur l'avenir des deepfakes ?

Voir aussi

Les "deepfakes" deviennent la première forme de fraude et sont principalement utilisés pour le "liveness bypass" et la fabrication de cartes d'identité falsifiées ou modifiées, selon Sumsub

Les publicités générées par l'IA visant à attaquer des adversaires politiques sont là et les implications sont terrifiantes, une IA dépeint une vision dystopique des États-Unis si Joe Biden est réélu

Le nombre de contenus deepfake en ligne augmente à un rythme annuel de 900 %, d'après le World Economic Forum

Des cybercriminels ont utilisé la technologie deepfake pour voler 35 millions de dollars à une banque, en clonant la voix du directeur