IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Le modèle d'IA de génération d'images Midjourney suspend les essais gratuits après que les deepfakes sont devenus viraux,
Mais la société impute ce choix à la création excessive de comptes jetables

Le , par Bill Fassinou

5PARTAGES

6  0 
Midjourney a discrètement mis fin aux essais gratuits de son modèle d'IA de génération d'images après avoir constaté "un afflux soudain de nouveaux utilisateurs et un abus de l'offre gratuite". Cette décision intervient après que Midjourney s'est retrouvé au cœur d'une attention indésirable ces dernières semaines. Son modèle d'IA a été utilisé pour créer des deepfakes de Donald Trump en train de se faire arrêter et du pape François portant un manteau à la mode. Le PDG de Midjourney, David Holz, a déclaré mardi que l'entreprise a tenté de résoudre les problèmes d'abus avec des correctifs de sécurité, mais que ces changements n'ont malheureusement pas suffi.

Midjourney est une IA qui génère des images en fonction des instructions fournies par l'utilisateur. Aussi absurdes ou irréalistes que soient les requêtes, Midjourney est capable d'en produire au moins l'essentiel. Il existe de nombreux autres modèles d'IA de ce type, dont les plus populaires sont DALL-E et Stable Diffusion. Cependant, bien qu'ils soient impressionnants et utiles à certains égards, ces nouveaux outils d'IA ont également malheureusement enclenché l'ère des images réalistes et facilement trompeuses générées par l'IA. Midjourney, DALL-E et Stable Diffusion ont propulsé le réalisme des deepfakes à un niveau supérieur, compliquant ainsi leur détection.

Midjourney a récemment mis fin aux essais gratuits de son service, évoquant un afflux soudain de nouveaux utilisateurs. David Holz, cofondateur et PDG de Midjourney, a annoncé le changement mardi, affirmant que "la décision est due à un nombre massif de personnes créant des comptes jetables pour obtenir des images gratuites". Holz a déclaré que Midjourney a tenté de résoudre les problèmes d'abus avec des correctifs de sécurité, mais les changements tentés n'ont pas pu résoudre les problèmes : « nous avons essayé de réactiver les essais avec de nouvelles sécurités contre les abus, mais cela n'a pas semblé suffisant. Nous les désactivons à nouveau ».


Le service payant de l'entreprise reste disponible et, bien que les essais gratuits soient interrompus pour l'instant, ils pourraient revenir à tout moment. L'utilisation du terme "abus" par Holz dans ses messages sur Discord a laissé penser que l'interruption de l'offre gratuite est intervenue après que des deepfakes générés grâce à son outil d'IA sont devenus viraux. En fait, les utilisateurs de Midjourney ont créé de fausses images montrant Donald Trump qui tente de résister tant bien que mal à une arrestation, mais également des images montrant l'ancien président des États-Unis en tenue de détenu et faisant du nettoyage dans une enceinte pénitentiaire.

Midjourney a également permis aux internautes de créer des images montrant le pape François dans un manteau à la mode et le président français Emmanuel Macron ramassant des ordures dans les rues de Paris ou se mêlant aux forces de l'ordre pour encadrer des manifestants. Bien que les images aient été rapidement identifiées comme des deepfakes, il est à craindre que des acteurs malveillants utilisent Midjourney, DALL-E, Stable Diffusion ou d'autres outils similaires pour diffuser de fausses informations avec des images très réalistes à l'appui. Mais Holz a affirmé que la décision n'a pas été motivée par le souci de limiter la prolifération des deepfakes.

En parlant d'un rapport publié par le Washington Post, Holz explique : « l'article contient de gros malentendus. Nous avons arrêté les essais en raison du nombre massif de personnes qui créaient des comptes jetables pour obtenir des images gratuites. Cela s'est produit en même temps qu'une pénurie temporaire de GPU. Les deux choses se sont conjuguées et ont entraîné une baisse du service pour les utilisateurs payants ». Les rapports affirment également que les récents deepfakes viraux ont été créés grâce à la dernière version de Midjourney, Midjourney v5, mais Holz a déclaré sur Discord que l'offre gratuite n'a jamais inclus l'accès à cette version.


Midjourney v5 a considérablement amélioré la qualité des images représentant des personnes. Par exemple, les mains difformes qui étaient auparavant une caractéristique des images générées par l'IA posent désormais moins de problèmes. L'éclairage et les tissus sont également plus réalistes, et le système est capable de générer des images d'innombrables célébrités et personnalités publiques. En raison de ces améliorations, mais également d'améliorations similaires ou plus avancées apportées par les rivaux tels que DALL-E et Stable Diffusion, l'utilisation des modèles d'IA de génération d'images pour créer des deepfakes a le vent en poupe.

Sur les réseaux sociaux, vous avez peut-être rencontré des images du président russe Vladimir Poutine face à un tribunal de La Haye, ou encore de l'ancien président des États-Unis John F. Kennedy pointant un fusil par la fenêtre. Toutes ces images ont été créées à l'aide de Midjourney, mais Holz affirme que ces images ne sont pas une raison suffisante pour restreindre ou fermer l'accès à Midjourney. Au contraire, l'entreprise affirme que son interdiction actuelle des essais gratuits est une forme de protection des bénéfices. Elle souhaite que les utilisateurs passent de l'essai gratuit à un abonnement payant, et non à un autre essai gratuit.

La réponse de Midjourney à l'escalade de la menace politiquement sensible des fausses images a jusqu'à présent été fragmentaire, sans révision significative de ses politiques de modération. Les restrictions de contenu de Midjourney sont plus permissives que certains services concurrents (comme DALL-E), mais plus restrictives que d'autres (comme Stable Diffusion). Holz a néanmoins déclaré que Midjourney s'efforçait d'améliorer la modération : « je crois que nous essayons encore de trouver les bonnes politiques de modération. Nous prenons en compte les commentaires des experts et de la communauté et nous essayons d'être vraiment réfléchis ».


« Nous avons déjà de nouveaux systèmes qui devraient être livrés prochainement », a-t-il ajouté. Les difficultés de Midjourney, et de ses rivaux, à mettre un terme à l'essor de fausses images divertissantes, mais potentiellement dangereuses et trompeuses, illustrent les questions obscures de la réglementation de l'IA. Comment les créateurs d'IA générative parviendront-ils à trouver un équilibre entre la pression pour l'accès, la "liberté d'expression" et la fabrication d'un produit que les gens veulent réellement utiliser, d'une part, et la responsabilité sociale et le risque d'abus flagrant, d'autre part ? Quels rôles les régulateurs auront-ils à jouer ?

Pour l'instant, les réponses restent floues, y compris pour les PDG des entreprises technologiques. Mercredi, lors d'une session Discord en direct, Holz a reconnu qu'il a du mal à établir des politiques en matière de contenu, en particulier en ce qui concerne l'utilisation d'images de personnes réelles. « Il y a un argument en faveur d'un Disney total ou d'un Far West total, et tout ce qui se trouve au milieu est un peu pénible. Nous sommes en quelque sorte au milieu en ce moment, et je ne sais pas ce que je dois en penser », aurait déclaré le PDG de Midjourney, selon certains rapports. Le moratoire sur l'accès gratuit à Midjourney ne résout pas le problème.

Et, une fois de plus, le PDG affirme que la décision d'arrêter les essais gratuits n'est pas du tout le résultat de la diffusion de deepfake. Mais peut-être que cela pourrait ralentir le problème en limitant le nombre de personnes qui peuvent produire des photos effrayantes, vraies et fausses de presque tout ce qu'elles veulent. Pour 10, 30 ou 60 dollars par mois, ceux qui sont prêts à payer pour accéder à Midjourney peuvent toujours opter pour le chaos du contenu. Par ailleurs, selon un message de Holz datant d'octobre, Midjourney tient à jour une liste de mots interdits liés à des sujets dans différents pays, sur la base de plaintes d'utilisateurs de ces pays.


Holz a ajouté que l'entreprise ne partage pas la version complète de cette liste afin de minimiser les "drames". Mais l'entreprise a élargi cette liste au fur et à mesure que ses contrefaçons devenaient virales, interdisant récemment le terme "arrêté", par exemple. Cette mesure semble avoir été prise après la publication des images montrant Donald Trump en train d'être arrêté. Ces images auraient été créées par le journaliste d'investigation Eliot Higgins, qui a depuis affirmé que Midjourney l'a banni. Il est toutefois facile de contourner de telles restrictions. Par exemple, il suffit d'utiliser des synonymes ou de formuler sa phrase autrement pour obtenir des résultats.

Source : David Holz, cofondateur et PDG de Midjourney

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous de la décision de Midjourney de suspendre son offre gratuite ?
Quel est votre avis sur la raison évoquée par le PDG de Midjourney ?
Selon vous, comment ces entreprises d'IA pourraient-elles lutter contre la prolifération des deepfakes ?

Voir aussi

« J'ai perdu tout ce qui me faisait aimer mon travail à cause du modèle d'IA Midjourney », affirme un artiste 3D qui raconte comment l'IA lui a arraché son travail du jour au lendemain

L'IA de génération d'images la plus avancée de la Chine bloque déjà les contenus politiques, des entrées telles que "place Tiananmen" et "Xi Jinping" ne produisent aucun résultat

Les nouveaux outils de clonage de voix par l'IA ajoutent "de l'huile sur le feu" de la désinformation, une voix de Joe Biden générée par l'IA prononce un discours "hilarant" sur l'état de l'Union

Des images truquées par l'IA de l'arrestation imaginaire de Donald Trump circulent sur Twitter, montrant Donald Trump résistant à l'arrestation et traîné par la police

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de calvaire
Expert éminent https://www.developpez.com
Le 16/05/2023 à 8:18
ces algos de toute manière vol le travail de millions de personnes (légalement mais aussi illégalement).
que ce soit midjourney ou chatgpt.
Ils pillent le contenu des forums, les code source de projet open source...etc

Il faut que les forums et les codes inclus de base dans leurs licences et chate d'utilisation l'interdiction d'entrainement de model d'ia a des fin commercial.
Même chose pour les images, si des artistes partage sur DeviantArt leurs œuvres c'est pas pour qu'une boite se fasse de la tune avec en entrainement son ia dessus et reproduise le style de l'artiste.

Quand chatgpt répond a une question, sa réponse est une synthèse de plusieurs site web.
sauf dans des cas de niche ou il y'a peu de sujet sur internet et la chatgpt ressort mots pour mots la même réponse que le site web qui en parle et c'est assez facile de découvrir le vol de propriété intellectuel.

quand a ceux que ca dérange pas de se faire piller leurs savoirs, dite vous bien que chatgpt peut vous tuer à terme. Si j'ai mes réponses sur chatgpt pourquoi es ce que je m'emmerderai a aller chercher des infos sur developpez.net et wikipedia.
Donc je ne verrai plus les pub sur developpez.net et je ferai plus de don sur Wikipédia donc ces sites vont inéluctablement mourir. Ensuite chatgpt va lui aussi devenir inutile car il n'aura plus de nouvelles infos dans son dataset.

les outils comme chatgpt sont super intéressant et il ne faut pas les interdire mais il faut trouver un bon équilibre pour concilier les intérêts de tous le monde.
Ces algos n'invente rien, il ne font que répéter, si demain les entreprises vire les artistes ou les dev ou les avocats ou autres, ce sera la fin de l'innovation, enfin tout du moins un gros ralentissement.

Il faut pas oublier que beaucoup de dev qui ont un emploi pas trop mal payé et stable, profite du taff en entreprise pour maintenir leurs compétence et de leurs temps libre pour utiliser leurs connaissance pour faire des libs et code opensouce qui seront massivement utilisé par la suite par pleins d'entreprises gratuitement.
si demain on vire massivement beaucoup de dev ce seront fatalement moins de contributions a ces projets et donc très peu d'innovation.
c'est la même chose pour les artistes. Un artistes qui n'arrive pas a s'acheter à manger pour ces repas ne fera pas de contribution bénévole et ne fera aucune innovation car pas d'argent pour nnover.
4  1 
Avatar de onilink_
Membre émérite https://www.developpez.com
Le 12/09/2023 à 13:09
M. Allen a déclaré à l'office qu'il avait "saisi de nombreuses révisions et invites de texte au moins 624 fois pour parvenir à la version initiale de l'image" à l'aide de Midjourney et qu'il l'avait modifiée à l'aide d'Adobe Photoshop. L'Office a demandé à Allen de renoncer aux parties de l'image générées par Midjourney afin de bénéficier de la protection du droit d'auteur. Il a rejeté la demande d'Allen après son refus.
Ce qui est logique. On ne peut protéger que ce qui a été crée par le créateur, pas ce qui a été "commandé".
Sinon cela voudrait dire que je pourrais m'approprier n'importe quelle œuvre commandée à un artiste du tier monde pour trois francs six sous. Et évidemment sous cet angle la on comprend bien le non sens au niveau du droit d'auteur.

Ici, il faudrait plus une protection hybride entre les parties de l'image retouchées sur photoshop, les itérations sur les prompts et tous les paramètres de génération utilisés.
Mais évidemment, cela n'a que peu d’intérêt pratique. C'est un peu comme nommer une étoile que l'on a découverte.

"certain que nous gagnerons à la fin"
Je ne comprend pas son combat.
Si ils "gagnent", pour moi ce serait plus une défaite globale.
Pour les vrai artistes mais aussi ces prétentieux "AI artists" que personnellement je qualifierais plus de "prompt monkeys", sans vouloir être méchant

Les seuls qui y gagneront seront ceux qui ont déjà des moyens énormes, comme disney ou hollywood.
Il n'y a qu'a voir ce qu'il se passe actuellement.
3  1 
Avatar de Matthieu Vergne
Expert éminent https://www.developpez.com
Le 25/11/2023 à 12:15
Citation Envoyé par shenron666 Voir le message
copier ou réutiliser c'est du vol
De la contrefaçon. Le vol consiste à subtiliser quelque chose à quelqu'un, de sorte que ce quelqu'un ne l'a plus. La contrefaçon non.

Les discussions de ce genre se basent trop souvent sur des amalgames pour faire valoir telle ou telle interprétation. On ne peut pas critiquer qu'un tel fasse un argument fallacieux si de notre côté on fait pareil. Et corriger ça commence par utiliser la bonne terminologie.
3  1 
Avatar de Prox_13
Membre éprouvé https://www.developpez.com
Le 31/03/2023 à 14:25
Le pire... C'est que les deux photos du Pape (il signe la Lambo, et il prend le micro) sont des vraies photos
1  0 
Avatar de totozor
Expert confirmé https://www.developpez.com
Le 16/05/2023 à 7:59
Citation Envoyé par Stéphane le calme Voir le message
Quelle est votre opinion sur le procès des artistes contre les entreprises d’IA ? Pensez-vous que les artistes ont raison de défendre leurs droits d’auteur ou que les entreprises d’IA ont le droit d’utiliser leurs images pour créer de nouvelles œuvres ?
Les artistes auraient tort de laisser ce concurrent ultra agressif entrer sur le marché.
Combien d'entreprises ne repectent pas les droits d'auteur et utilisent des images (ou musiques ou ...) pour leur communication, les artistes se retournent contre elles régulièrement et ce n'est pas un mal de mon point de vue. L'IA fait une mise à l'echelle exponentielle de ce problème.
Citation Envoyé par Stéphane le calme Voir le message
Quelle est votre définition de l’art ? Pensez-vous que les images générées par l’IA sont des œuvres d’art originales et indépendantes ou des copies et des plagiat des œuvres des artistes ?
Pour moi l'art est un processus de création dont le résultat va être emetteur/transmetteur d'émotion.
La plupart des ouvres de l'IA ne sont pas des oeuvres d'art de mon point de vue, mais il en est de même pour les créations humaines donc je ne suis pas sur que cette distinction soit pertinente.
La plupart des produits de l'IA sont sans interet dont certains éléments sont tellement génériques ou dont la référence est tellement claire qu'on ne peut plus parler de création originale.
Je trouve que l'IA a malgré tout cette faculté de faire des oeuvres proches d'une certaine réalité mais qui ont des éléments incohérents qui font tiquer et donnent une dimension dérangeante que je trouve interressante.
Citation Envoyé par Stéphane le calme Voir le message
Quels sont les avantages et les inconvénients des générateurs d’images basés sur l’IA pour la création et l’expression artistiques ? Pensez-vous que ces outils favorisent l’innovation et la diversité ou qu’ils nuisent à la valeur et à la singularité de l’art ?
Depuis combien de temps les gens se plaignent de ne pas avoir d'oeuvre originale au cinéma (on a des suites, des adaptations, des remakes, des plagiats) et vont malgré tout voir chaque film du MCU, star wars ou la Nième adaptation d'une nouvelle de Philip K Dick ou Stephen King?
Biensur que si le générateur d'image qui sert à faire une image complète nuit à l'innovation parce que le consommateur ne cherche pas quelquechose d'innovant mais quelquechose qui marque. Combien de vues de New York en noir et blanc avec un détail en couleur dans les salons Français?
Mais j'ai aussi vu un photographe supprimer un élément de sa photo et gagner un temps monstre en faisant générer un détail qui était masqué par Midjourney et l'integrer dans sa photo.
Citation Envoyé par Stéphane le calme Voir le message
D'ailleurs seriez-vous disposé à acheter une image créée par l'IA auprès d'un individu si vous pouviez simplement taper vous même les requêtes pour obtenir la même ?
Ma réalité est qu'aucune de mes tentatives de faire une image avec une IA était satisfaisante donc je ne peux, a priori, pas faire une oeuvre digne de quelques € avec une IA.
Est ce que je suis pret à acheter un tableau généré par IA? Oui, au même prix qu'une oeuvre originale? Probablement pas.
Saurais je faire la différence? Là est la vraie question, je suppose que si l'artiste y met sufisamment de soin il n'y a aucune chance.
2  1 
Avatar de Galactus13
Membre à l'essai https://www.developpez.com
Le 18/05/2023 à 9:36
Je pose la question,
Si l'IA est une entité humaine, donc, elle est vivante et par conséquent a le droit a un procès.
Si l'IA est une machine, c'est son créateur qui a la joie du procès.
.
Dans les deux cas: Ils perdent leurs procès puisque chacun d'eux viole les droits d'auteur. par plagia. La copie étant interdite sans l'accord de l'auteur.
Ceci reste mon avis en tant qu'auteur.
Ce n'est pas pour rien que dans une émission de télé en direct, on vous fait signer un papier autorisant la régie a utiliser votre image et ce qui en découle dans le cadre du sujet.
2  1 
Avatar de Franck Z
Membre régulier https://www.developpez.com
Le 18/05/2023 à 14:55
Citation Envoyé par Stéphane le calme Voir le message
Elles ajoutent que leurs générateurs d’images ne violent pas le droit moral des artistes, car ils ne portent pas atteinte à leur intégrité ou à leur réputation.
Ils peuvent sûrement refuser (droit moral sur leurs oeuvres) que celles-ci soient utilisées pour contribuer à une pratique trompeuse : une image générée par IA veut donner l'impression qu'elle exprime dans son intégralité (à l'instar de ce que réalise un artiste) une intention ou un travail, ce qui n'est pas le cas. Seuls les mots-clés de la requête traduisent une intention ou sont le résultat d'un travail. Le reste de l'image est un "hasard" statistique orienté.
1  0 
Avatar de byrautor
Membre éclairé https://www.developpez.com
Le 27/07/2023 à 9:52
Citation Envoyé par Galactus13 Voir le message
Je pose la question,
Si l'IA est une entité humaine, donc, elle est vivante et par conséquent a le droit a un procès.
Si l'IA est une machine, c'est son créateur qui a la joie du procès.
.
Dans les deux cas: Ils perdent leurs procès puisque chacun d'eux viole les droits d'auteur. par plagia. La copie étant interdite sans l'accord de l'auteur.
Ceci reste mon avis en tant qu'auteur.
Ce n'est pas pour rien que dans une émission de télé en direct, on vous fait signer un papier autorisant la régie a utiliser votre image et ce qui en découle dans le cadre du sujet.
Comment gérer la multitude ? par des méthodes statistiques (théorie des gaz parfait) . Des "experts" analyseraient les flux et répartissent les droits statistiquement.....Et oui, la nature a horreur de l'égalité , il y aurait même des "mouvements" dans le vide quantique qui s'annihilent "d'eux mêmes)
1  0 
Avatar de OCRAM
Membre à l'essai https://www.developpez.com
Le 27/07/2023 à 15:57
Certes elles ont du souci à se faire, mais elles ne sont pas les seules. Les sites qui exploitent des données parfois personnelles deviennent légions. Citons Getty Images, qui reproduit sans vergogne et sans aucune autrisationdes photos personnelles, société.com qui reproduit les données des greffes (et les commercialisent) sans votre accord, alors que la société paye pour déposer ses formalités au Greffe ou à lINPI.

Getty images explique que ces photos ayant été glanées sur Internet, elles sont nécessairement publiques !

Il va falloir sérieusement légiférer.

la CNIL, ventre mou sur ce point ?

Marc Chernet
1  0 
Avatar de totozor
Expert confirmé https://www.developpez.com
Le 28/07/2023 à 13:57
Citation Envoyé par OCRAM Voir le message
société.com qui reproduit les données des greffes (et les commercialisent) sans votre accord, alors que la société paye pour déposer ses formalités au Greffe ou à lINPI.
J'étais persuadé que société.com était un service public (en partie payant) mais non , l'accord serait donné par le Greffe ou INPI?
Encore plus choquant quand une de leur catégorie est explicitement "Surveillance Gratuite" (Recevez une alerte e-mail chaque fois que la fiche d’identité de l’entreprise est mise à jour) ou "Fichier de surveillance"

Ceci dit il y a quelques années on tombait assez vite sur pas mal d'informations sur moi transmise par l'ordre des ingénieurs. Je remercie les quelques homonymes que j'ai d'occuper largement les réseaux sociaux pour que mes données personnelles se retrouvent reléguées (en grande partie) aux pages lointaines de Google.
1  0