Dall-E 2 : le générateur d'images IA développé par OpenAI peut produire une large gamme d'images à partir de quelques mots

L'intelligence artificielle a souvent affronté les humains dans des combats créatifs. Il peut battre les grands maîtres aux échecs, créer des symphonies, produire des poèmes et, désormais, créer des œuvres d'art détaillées à partir d'une courte invite écrite. L'équipe d'OpenAI a récemment créé un logiciel puissant, capable de produire une large gamme d'images en quelques secondes, juste à partir d'une chaîne de mots qui lui est donnée. Ce programme est connu sous le nom de Dall-E 2 et a été conçu pour révolutionner la façon dont nous utilisons l'IA avec les images.

Que fait le Dall-E 2 ?

En 2021, la société de développement de la recherche sur l'IA OpenAI a créé un programme connu sous le nom de «Dall-E» - un mélange des noms Salvador Dali et Wall-E. Ce logiciel a été capable de prendre une invite écrite et de créer une image générée par l'IA complètement unique. Par exemple, «*un renard dans un arbre*» ferait apparaître une photo d'un renard assis dans un arbre, ou l'invite «*astronaute avec un bagel à la main*» montrerait… eh bien, vous voyez où cela mène.

Bien que ce soit certainement impressionnant, les images étaient souvent floues, pas tout à fait précises et prenaient un certain temps à créer. Maintenant, OpenAI a apporté de vastes améliorations au logiciel, créant Dall-E 2 - une nouvelle itération puissante qui fonctionne à un niveau beaucoup plus élevé.

Outre quelques autres nouvelles fonctionnalités, la principale différence avec ce deuxième modèle est une énorme amélioration de la résolution de l'image, des latences plus faibles (le temps nécessaire à la création de l'image) et un algorithme plus intelligent pour créer les images.

Le logiciel ne se contente pas de créer une image dans un style unique, vous pouvez ajouter différentes techniques artistiques à votre demande, en entrant des styles de dessin, de peinture à l'huile, un modèle en pâte à modeler, tricoté en laine, dessiné sur un mur de grotte, ou même comme une affiche de film des années 1960.

« Dall-E est un assistant très utile qui amplifie ce qu'une personne peut normalement faire, mais cela dépend vraiment de la créativité de la personne qui l'utilise. Un artiste ou quelqu'un de plus créatif peut créer des choses vraiment intéressantes », explique Aditya Ramesh, l'un des ingénieurs principaux de Dall-E 2.

Un touche-à-tout

En plus de la capacité de la technologie à produire des images uniquement sur des invites textuelles, Dall-E 2 dispose de deux autres techniques intelligentes : l'inpainting (le nom donné à la technique de reconstruction d'images détériorées ou de remplissage des parties manquantes d'une image) et les variations. Ces deux applications fonctionnent de manière similaire au reste de Dall-E, juste avec une touche.

Avec l'inpainting, vous pouvez prendre une image existante et y ajouter de nouveaux éléments ou en modifier des parties. Si vous avez une image d'un salon, vous pouvez ajouter un nouveau tapis, un chien sur le canapé, changer le tableau au mur ou même faire apparaître un éléphant dans la pièce… parce que quelqu'un pourrait y penser, voyez vous.


Variations est un autre service qui nécessite une image existante. Insérez une photo, une illustration ou tout autre type d'image et l'outil de variation de Dall-E créera des centaines de ses propres versions. Vous pouvez lui donner une image d'un des télétubbies, et il la reproduira, créant des versions similaires. Une vieille peinture d'un samouraï créera des images similaires, vous pouvez même prendre une photo de certains graffitis que vous voyez et obtenir des résultats similaires.

Vous pouvez également utiliser cet outil pour combiner deux images en une seule. Mélangez un dragon et un corgi, ou un arc-en-ciel et un pot pour générer des pots avec de la couleur.


DALL-E 2 s'appuie sur CLIP, un système de vision par ordinateur qu'OpenAI a également annoncé l'année dernière. « DALL-E 1 a simplement repris notre approche GPT-3 du langage et l'a appliquée à la production d'une image : nous avons comprimé les images en une série de mots et nous avons simplement appris à prédire ce qui allait suivre », explique Prafulla Dhariwal, chercheur chez OpenAI, en référence au modèle GPT utilisé par de nombreuses applications d'IA textuelle.

Mais la correspondance des mots n'a pas nécessairement permis de saisir les qualités les plus importantes aux yeux des humains, et le processus de prédiction a limité le réalisme des images. CLIP a été conçu pour regarder les images et résumer leur contenu comme le ferait un humain. OpenAI a itéré sur ce processus pour créer "unCLIP", une version inversée qui commence par la description et se dirige vers l'image. DALL-E 2 génère l'image à l'aide d'un processus appelé "diffusion", que Dhariwal décrit comme le fait de commencer par un "sac de points", puis de remplir un motif de plus en plus détaillé.

Le logiciel pourrait aider les gens à retoucher leurs photos, à créer des œuvres d'art ou à produire d'innombrables images de stock. « DALL-E 2 est un projet de recherche que nous ne mettons actuellement pas à disposition dans notre API », a déclaré OpenAI. « Dans le cadre de nos efforts pour développer et déployer l'IA de manière responsable, nous étudions les limites et les capacités de DALL-E avec un groupe restreint d'utilisateurs. »

Limites de Dall-E 2

Bien qu'il n'y ait aucun doute sur l'impressionnante de cette technologie, elle n'est pas sans limites.

Un problème auquel vous êtes confronté est la confusion de certains mots ou expressions. Par exemple, des chercheurs ont noté que lorsqu'ils saisissaient « un trou noir à l'intérieur d'une boîte », Dall-E 2 renvoyait un trou noir à l'intérieur d'une boîte, au lieu du corps cosmique qu'ils recherchaient.

Cela peut se produire souvent lorsqu'un mot a plusieurs sens, des phrases peuvent être mal comprises ou si des expressions familières sont utilisées. C'est ce qu'il faut attendre d'une intelligence artificielle prenant le sens littéral de vos propos.

« Une autre chose à laquelle il faut s'habituer avec le système est le fonctionnement des invites et des styles artistiques. Lorsque vous tapez quelque chose, l'image initiale peut ne pas être correcte et bien qu'elle corresponde techniquement à votre demande, elle ne correspond pas entièrement à la sensation ou à l'idée que vous aviez en tête. Cela peut prendre un certain temps pour s'y habituer et demander quelques ajustements mineurs », explique Ramesh.

Un autre domaine dans lequel Dall-E peut devenir confus est le « mélange variable ». « Si vous demandez au modèle de dessiner un cube rouge au-dessus d'un cube bleu, il devient parfois confus et fait le contraire. Nous pouvons résoudre ce problème assez facilement dans les futures itérations du système, je pense », a expliqué Ramesh.

La lutte contre les stéréotypes et l'apport humain

Comme toutes les bonnes choses sur Internet, il ne faut pas attendre longtemps pour qu'un problème clé se pose*: comment cette technologie peut-elle être utilisée de manière contraire à l'éthique*? Et sans parler du problème supplémentaire de l'histoire de l'IA d'apprendre certains comportements grossiers de la part des internautes.

Lorsqu'il s'agit d'une technologie autour de la création d'images par l'IA, il semble évident que cela pourrait être manipulé de plusieurs façons*: la propagande, les fausses nouvelles et les images manipulées viennent à l'esprit comme les voies évidentes.

Pour contourner cela, l'équipe OpenAI derrière Dall-E a mis en place une politique de sécurité pour toutes les images sur la plateforme qui fonctionne en trois étapes. La première étape consiste à filtrer les données qui incluent une violation majeure. Cela inclut la violence, le contenu sexuel et les images que l'équipe considérerait comme inappropriées.

La deuxième étape est un filtre qui recherche des points plus subtils difficiles à détecter. Il peut s'agir de contenu politique ou de propagande sous une forme ou sous une autre. Enfin, dans sa forme actuelle, chaque image produite par Dall-E est revue par un humain, mais ce n'est pas une étape viable à long terme à mesure que le produit grandit.

Malgré l'utilisation de cette politique, l'équipe est clairement consciente de l'avenir de ce produit. Ils ont répertorié les risques et les limites de Dall-E, en détaillant le nombre de problèmes auxquels ils pourraient être confrontés.

Cela couvre un grand nombre de problèmes. Par exemple, les images peuvent souvent montrer des préjugés ou des stéréotypes comme l'utilisation du terme mariage renvoyant principalement aux mariages occidentaux. Ou la recherche d'un avocat montre une majorité d'hommes blancs plus âgés, les infirmières faisant de même avec les femmes.

Ce ne sont pas du tout de nouveaux problèmes et c'est quelque chose que Google traite depuis des années. Souvent, la génération d'images peut suivre les préjugés observés dans la société.

Il existe également des moyens d'inciter Dall-E à produire du contenu que le terme cherche à filtrer. Alors que le sang déclencherait le filtre de violence, un utilisateur pourrait taper "une mare de ketchup" ou quelque chose de similaire pour tenter de le contourner.

En plus de la politique de sécurité de l'équipe, ils ont une politique de contenu claire que les utilisateurs doivent respecter.

Avenir de Dall-E

La technologie est donc là et fonctionne clairement bien, mais quelle est la prochaine étape pour l'équipe Dall-E 2 ? À l'heure actuelle, le logiciel est lentement déployé sur une liste d'attente sans qu'il soit encore prévu de l'ouvrir au grand public.

En publiant lentement son produit, le groupe OpenAI peut surveiller sa croissance, développer ses procédures de sécurité et préparer son produit pour les millions de personnes qui imputeront bientôt leurs commandes.

« Nous voulons mettre cette recherche entre les mains des gens, mais pour le moment, nous sommes simplement intéressés à obtenir des commentaires sur la façon dont les gens utilisent la plateforme. Nous sommes certainement intéressés par un déploiement plus large de cette technologie, mais nous n'avons actuellement aucun plan de commercialisation », a déclaré Ramesh.

En attendant, saurez-vous trouver les images qui ont été générées par machine et celles qui ont été faites par des humains ? Si oui, faites le test ci-dessous et communiquez votre score en commentaire. Quelle est votre technique pour faire la différence ?

Cette image n'existe pas

Source : OpenAI

Et vous ?

Que pensez-vous de Dall-E 2 ?
Voyez-vous des abus potentiels ? Lesquels ?
Que pensez-vous de l'approche des chercheurs d'OpenAI pour minimiser les abus potentiels, notamment en :

• limitant la capacité de DALL·E 2 à générer des images violentes, haineuses ou pour adultes;
• supprimant le contenu le plus explicite des données de formation et en minimisant l'exposition de DALL·E 2 à ces concepts ;
• utilisant des techniques avancées pour empêcher les générations photoréalistes de visages réels d'individus, y compris ceux de personnalités publiques.

Voir aussi :

Le générateur d'images de l'IA DALL-E d'OpenAI peut désormais modifier des photos, les chercheurs peuvent s'inscrire pour le tester
Open AI présente DALL-E (comme GPT-3), un modèle qui crée des images à partir de texte, pour un large éventail de concepts exprimables en langage naturel