Dall-E 2 : le générateur d'images IA développé par OpenAI propose la fonctionnalité Outpainting

Permettant de créer des images à grande échelle à partir de quelques mots

L'intelligence artificielle a souvent affronté les humains dans des combats créatifs. Il peut battre les grands maîtres aux échecs, créer des symphonies, produire des poèmes et, désormais, créer des œuvres d'art détaillées à partir d'une courte invite écrite. L'équipe d'OpenAI a récemment créé un logiciel puissant, capable de produire une large gamme d'images en quelques secondes, juste à partir d'une chaîne de mots qui lui est donnée. Ce programme est connu sous le nom de Dall-E 2 et a été conçu pour révolutionner la façon dont nous utilisons l'IA avec les images.

En juillet, OpenAI a annoncé qu'il inviterait plus de personnes à le tester. La société a déclaré qu'elle prévoyait de laisser entrer jusqu'à 1 million de personnes de sa liste d'attente au cours des prochaines semaines, alors qu'elle passe de sa phase de recherche à sa phase bêta. On ne sait pas si DALL-E sera un jour entièrement accessible au public, mais l'expansion devrait être un test important pour la plate-forme, de nombreux chercheurs surveillant la manière dont la technologie sera utilisée de manière abusive.

OpenAI a gardé DALL-E étroitement surveillé par crainte que des personnes malveillantes n'utilisent ce puissant outil pour diffuser de la désinformation. Imaginez quelqu'un essayant de l'utiliser pour fabriquer des images de la guerre en Ukraine, ou créer des images réalistes de catastrophes naturelles qui ne se sont jamais produites. De plus, la génération d'une image avec la plateforme consomme tellement d'énergie que les responsables de l'entreprise craignaient que ses serveurs ne s'effondrent si trop de personnes essayaient de l'utiliser en même temps.


Que fait le Dall-E 2 ?

En 2021, la société de développement de la recherche sur l'IA OpenAI a créé un programme connu sous le nom de «Dall-E» - un mélange des noms Salvador Dali et Wall-E. Ce logiciel a été capable de prendre une invite écrite et de créer une image générée par l'IA complètement unique. Par exemple, « un renard dans un arbre » ferait apparaître une photo d'un renard assis dans un arbre, ou l'invite « astronaute avec un bagel à la main » montrerait… eh bien, vous voyez où cela mène.

Bien que ce soit certainement impressionnant, les images étaient souvent floues, pas tout à fait précises et prenaient un certain temps à créer. Maintenant, OpenAI a apporté de vastes améliorations au logiciel, créant Dall-E 2 - une nouvelle itération puissante qui fonctionne à un niveau beaucoup plus élevé.

Outre quelques autres nouvelles fonctionnalités, la principale différence avec ce deuxième modèle est une énorme amélioration de la résolution de l'image, des latences plus faibles (le temps nécessaire à la création de l'image) et un algorithme plus intelligent pour créer les images.

Le logiciel ne se contente pas de créer une image dans un style unique, vous pouvez ajouter différentes techniques artistiques à votre demande, en entrant des styles de dessin, de peinture à l'huile, un modèle en pâte à modeler, tricoté en laine, dessiné sur un mur de grotte, ou même comme une affiche de film des années 1960.

« Dall-E est un assistant très utile qui amplifie ce qu'une personne peut normalement faire, mais cela dépend vraiment de la créativité de la personne qui l'utilise. Un artiste ou quelqu'un de plus créatif peut créer des choses vraiment intéressantes », explique Aditya Ramesh, l'un des ingénieurs principaux de Dall-E 2.

Un touche-à-tout

En plus de la capacité de la technologie à produire des images uniquement sur des invites textuelles, Dall-E 2 dispose de deux autres techniques intelligentes : l'inpainting (le nom donné à la technique de reconstruction d'images détériorées ou de remplissage des parties manquantes d'une image) et les variations. Ces deux applications fonctionnent de manière similaire au reste de Dall-E, juste avec une touche.

Avec l'inpainting, vous pouvez prendre une image existante et y ajouter de nouveaux éléments ou en modifier des parties. Si vous avez une image d'un salon, vous pouvez ajouter un nouveau tapis, un chien sur le canapé, changer le tableau au mur ou même faire apparaître un éléphant dans la pièce… parce que quelqu'un pourrait y penser, voyez vous.


Variations est un autre service qui nécessite une image existante. Insérez une photo, une illustration ou tout autre type d'image et l'outil de variation de Dall-E créera des centaines de ses propres versions. Vous pouvez lui donner une image d'un des télétubbies, et il la reproduira, créant des versions similaires. Une vieille peinture d'un samouraï créera des images similaires, vous pouvez même prendre une photo de certains graffitis que vous voyez et obtenir des résultats similaires.

Vous pouvez également utiliser cet outil pour combiner deux images en une seule. Mélangez un dragon et un corgi, ou un arc-en-ciel et un pot pour générer des pots avec de la couleur.


DALL-E 2 s'appuie sur CLIP, un système de vision par ordinateur qu'OpenAI a également annoncé l'année dernière. « DALL-E 1 a simplement repris notre approche GPT-3 du langage et l'a appliquée à la production d'une image : nous avons comprimé les images en une série de mots et nous avons simplement appris à prédire ce qui allait suivre », explique Prafulla Dhariwal, chercheur chez OpenAI, en référence au modèle GPT utilisé par de nombreuses applications d'IA textuelle.

Mais la correspondance des mots n'a pas nécessairement permis de saisir les qualités les plus importantes aux yeux des humains, et le processus de prédiction a limité le réalisme des images. CLIP a été conçu pour regarder les images et résumer leur contenu comme le ferait un humain. OpenAI a itéré sur ce processus pour créer "unCLIP", une version inversée qui commence par la description et se dirige vers l'image. DALL-E 2 génère l'image à l'aide d'un processus appelé "diffusion", que Dhariwal décrit comme le fait de commencer par un "sac de points", puis de remplir un motif de plus en plus détaillé.

Le logiciel pourrait aider les gens à retoucher leurs photos, à créer des œuvres d'art ou à produire d'innombrables images de stock. « DALL-E 2 est un projet de recherche que nous ne mettons actuellement pas à disposition dans notre API », a déclaré OpenAI. « Dans le cadre de nos efforts pour développer et déployer l'IA de manière responsable, nous étudions les limites et les capacités de DALL-E avec un groupe restreint d'utilisateurs. »

L'arrivée du mode Outpainting

Limites de Dall-E 2

Bien qu'il n'y ait aucun doute sur l'impressionnante de cette technologie, elle n'est pas sans limites.

Un problème auquel vous êtes confronté est la confusion de certains mots ou expressions. Par exemple, des chercheurs ont noté que lorsqu'ils saisissaient « un trou noir à l'intérieur d'une boîte », Dall-E 2 renvoyait un trou noir à l'intérieur d'une boîte, au lieu du corps cosmique qu'ils recherchaient.

Cela peut se produire souvent lorsqu'un mot a plusieurs sens, des phrases peuvent être mal comprises ou si des expressions familières sont utilisées. C'est ce qu'il faut attendre d'une intelligence artificielle prenant le sens littéral de vos propos.

« Une autre chose à laquelle il faut s'habituer avec le système est le fonctionnement des invites et des styles artistiques. Lorsque vous tapez quelque chose, l'image initiale peut ne pas être correcte et bien qu'elle corresponde techniquement à votre demande, elle ne correspond pas entièrement à la sensation ou à l'idée que vous aviez en tête. Cela peut prendre un certain temps pour s'y habituer et demander quelques ajustements mineurs », explique Ramesh.

Un autre domaine dans lequel Dall-E peut devenir confus est le « mélange variable ». « Si vous demandez au modèle de dessiner un cube rouge au-dessus d'un cube bleu, il devient parfois confus et fait le contraire. Nous pouvons résoudre ce problème assez facilement dans les futures itérations du système, je pense », a expliqué Ramesh.

La lutte contre les stéréotypes et l'apport humain

Comme toutes les bonnes choses sur Internet, il ne faut pas attendre longtemps pour qu'un problème clé se pose : comment cette technologie peut-elle être utilisée de manière contraire à l'éthique ? Et sans parler du problème supplémentaire de l'histoire de l'IA d'apprendre certains comportements grossiers de la part des internautes.

Lorsqu'il s'agit d'une technologie autour de la création d'images par l'IA, il semble évident que cela pourrait être manipulé de plusieurs façons : la propagande, les fausses nouvelles et les images manipulées viennent à l'esprit comme les voies évidentes.

Pour contourner cela, l'équipe OpenAI derrière Dall-E a mis en place une politique de sécurité pour toutes les images sur la plateforme qui fonctionne en trois étapes. La première étape consiste à filtrer les données qui incluent une violation majeure. Cela inclut la violence, le contenu sexuel et les images que l'équipe considérerait comme inappropriées.

La deuxième étape est un filtre qui recherche des points plus subtils difficiles à détecter. Il peut s'agir de contenu politique ou de propagande sous une forme ou sous une autre. Enfin, dans sa forme actuelle, chaque image produite par Dall-E est revue par un humain, mais ce n'est pas une étape viable à long terme à mesure que le produit grandit.

Malgré l'utilisation de cette politique, l'équipe est clairement consciente de l'avenir de ce produit. Ils ont répertorié les risques et les limites de Dall-E, en détaillant le nombre de problèmes auxquels ils pourraient être confrontés.

Cela couvre un grand nombre de problèmes. Par exemple, les images peuvent souvent montrer des préjugés ou des stéréotypes comme l'utilisation du terme mariage renvoyant principalement aux mariages occidentaux. Ou la recherche d'un avocat montre une majorité d'hommes blancs plus âgés, les infirmières faisant de même avec les femmes.

Ce ne sont pas du tout de nouveaux problèmes et c'est quelque chose que Google traite depuis des années. Souvent, la génération d'images peut suivre les préjugés observés dans la société.

Il existe également des moyens d'inciter Dall-E à produire du contenu que le terme cherche à filtrer. Alors que le sang déclencherait le filtre de violence, un utilisateur pourrait taper "une mare de ketchup" ou quelque chose de similaire pour tenter de le contourner.

En plus de la politique de sécurité de l'équipe, ils ont une politique de contenu claire que les utilisateurs doivent respecter.

Joanne Jang, chef de produit de DALL-E, affirme que l'entreprise affine toujours ses règles de contenu, qui interdisent désormais ce à quoi vous pourriez vous attendre*: créer des contenus violents, pornographiques et haineux. L'entreprise interdit également les images représentant des urnes et des manifestations, ou toute image qui « pourrait être utilisée pour influencer le processus politique ou pour faire campagne ».

DALL-E interdit également les représentations de personnes réelles et prévoit d'établir davantage de garde-fous à mesure que ses chercheurs apprendront comment les utilisateurs interagissent avec le système.

« En ce moment, nous pensons qu'il y a beaucoup d'inconnues sur lesquelles nous aimerions avoir une meilleure maîtrise », a déclaré Jang. « Nous prévoyons d'accélérer et d'inviter rapidement de plus en plus de personnes à mesure que nous gagnerons en confiance ».

Les experts disent que même si les algorithmes de création d'images existent depuis un certain temps, la vitesse, la précision et l'étendue de DALL-E représentent une avancée remarquable dans le domaine.

« Ce que fait DALL-E, c'est capturer un élément de l'imagination humaine. Ce n'est pas vraiment différent de la façon dont les humains peuvent lire un livre et imaginer des choses, mais c'est être capable de capturer cette intelligence avec un algorithme », a déclaré Phillip Isola, professeur de sciences informatiques au MIT qui travaillait auparavant à Open AI mais n'est plus affilié. « Bien sûr, il existe de nombreuses inquiétudes quant à la manière dont ce type de technologie peut être utilisé à mauvais escient ».

Source : Open AI

Et vous ?

Que pensez-vous de Dall-e 2 ? Êtes-vous tenté de l'utiliser ?
Que pensez-vous de la fonctionnalité Outpainting ?

Voir aussi :

OpenAI permet désormais aux développeurs de personnaliser son système de génération de texte GPT-3, pour créer des modèles adaptés au contenu spécifique de leurs applications et services
L'API d'OpenAI est désormais disponible sans liste d'attente, il apporte des modèles de la série Instruct qui sont spécialisés pour des réponses plus véridiques
L'IA Codex d'OpenAI fait ses débuts en programmation et peut déjà coder dans une dizaine de langages, l'IA pourra-t-elle bientôt décharger les développeurs de certaines tâches, voire les remplacer ?
OpenAI conçoit un algorithme basé sur l'IA qui permet à un robot d'imiter des tâches réalisées par des humains, dans un environnement virtuel