Dall-E 2 : le générateur d'images IA développé par OpenAI permet désormais d'éditer des visages humains

La fonctionnalité était auparavant interdite par crainte d'une mauvaise utilisation

OpenAI permet aux utilisateurs de son programme générateur d'art AI DALL-E d'éditer des images avec des visages humains. Cette fonctionnalité était auparavant interdite en raison de craintes d'utilisation abusive, mais, dans une lettre envoyée aux millions d'utilisateurs de DALL-E, OpenAI dit qu'il ouvre l'accès après avoir amélioré ses filtres pour supprimer les images qui contiennent des « contenus sexuels, politiques et violents ».

La fonctionnalité permettra aux utilisateurs de modifier des images de différentes manières. Ils peuvent télécharger une photo de quelqu'un et générer des variations de l'image, par exemple, ou ils peuvent modifier des fonctionnalités spécifiques, comme changer les vêtements ou la coiffure de quelqu'un. La fonctionnalité sera sans aucun doute utile à de nombreux utilisateurs des industries créatives, des photographes aux cinéastes.

« Beaucoup d'entre vous nous ont dit que cela vous manquait d'utiliser DALL-E pour imaginer des tenues et des coiffures sur vous-mêmes et éditer les arrière-plans des photos de famille. Un chirurgien reconstructeur nous a dit qu'il utilisait DALL-E pour aider ses patients à visualiser les résultats. Et les cinéastes nous ont dit qu'ils voulaient pouvoir éditer des images de scènes avec des gens pour aider à accélérer leurs processus créatifs… Nous avons construit de nouvelles techniques de détection et de réponse pour arrêter les abus(...). Grâce aux améliorations de notre système de sécurité, DALL·E est désormais prêt à prendre en charge ces cas d'utilisation délicieux et importants, tout en minimisant le potentiel de dommages causés par les deepfakes », a déclaré OpenAI dans sa lettre aux clients annonçant la nouvelle.

L'intelligence artificielle a souvent affronté les humains dans des combats créatifs. Il peut battre les grands maîtres aux échecs, créer des symphonies, produire des poèmes et, désormais, créer des œuvres d'art détaillées à partir d'une courte invite écrite. L'équipe d'OpenAI a récemment créé un logiciel puissant, capable de produire une large gamme d'images en quelques secondes, juste à partir d'une chaîne de mots qui lui est donnée. Ce programme est connu sous le nom de Dall-E 2 et a été conçu pour révolutionner la façon dont nous utilisons l'IA avec les images.

En juillet, OpenAI a annoncé qu'il inviterait plus de personnes à le tester. La société a déclaré qu'elle prévoyait de laisser entrer jusqu'à 1 million de personnes de sa liste d'attente au cours des prochaines semaines, alors qu'elle passe de sa phase de recherche à sa phase bêta. On ne sait pas si DALL-E sera un jour entièrement accessible au public, mais l'expansion devrait être un test important pour la plate-forme, de nombreux chercheurs surveillant la manière dont la technologie sera utilisée de manière abusive.

OpenAI a gardé DALL-E étroitement surveillé par crainte que des personnes malveillantes n'utilisent ce puissant outil pour diffuser de la désinformation. Imaginez quelqu'un essayant de l'utiliser pour fabriquer des images de la guerre en Ukraine, ou créer des images réalistes de catastrophes naturelles qui ne se sont jamais produites. De plus, la génération d'une image avec la plateforme consomme tellement d'énergie que les responsables de l'entreprise craignaient que ses serveurs ne s'effondrent si trop de personnes essayaient de l'utiliser en même temps.

Que fait le Dall-E 2 ?

En 2021, la société de développement de la recherche sur l'IA OpenAI a créé un programme connu sous le nom de «Dall-E» - un mélange des noms Salvador Dali et Wall-E. Ce logiciel a été capable de prendre une invite écrite et de créer une image générée par l'IA complètement unique. Par exemple, « un renard dans un arbre » ferait apparaître une photo d'un renard assis dans un arbre, ou l'invite « astronaute avec un bagel à la main » montrerait… eh bien, vous voyez où cela mène.

Bien que ce soit certainement impressionnant, les images étaient souvent floues, pas tout à fait précises et prenaient un certain temps à créer. Maintenant, OpenAI a apporté de vastes améliorations au logiciel, créant Dall-E 2 - une nouvelle itération puissante qui fonctionne à un niveau beaucoup plus élevé.

Outre quelques autres nouvelles fonctionnalités, la principale différence avec ce deuxième modèle est une énorme amélioration de la résolution de l'image, des latences plus faibles (le temps nécessaire à la création de l'image) et un algorithme plus intelligent pour créer les images.

Le logiciel ne se contente pas de créer une image dans un style unique, vous pouvez ajouter différentes techniques artistiques à votre demande, en entrant des styles de dessin, de peinture à l'huile, un modèle en pâte à modeler, tricoté en laine, dessiné sur un mur de grotte, ou même comme une affiche de film des années 1960.

« Dall-E est un assistant très utile qui amplifie ce qu'une personne peut normalement faire, mais cela dépend vraiment de la créativité de la personne qui l'utilise. Un artiste ou quelqu'un de plus créatif peut créer des choses vraiment intéressantes », explique Aditya Ramesh, l'un des ingénieurs principaux de Dall-E 2.


Un touche-à-tout

En plus de la capacité de la technologie à produire des images uniquement sur des invites textuelles, Dall-E 2 dispose de deux autres techniques intelligentes : l'inpainting (le nom donné à la technique de reconstruction d'images détériorées ou de remplissage des parties manquantes d'une image) et les variations. Ces deux applications fonctionnent de manière similaire au reste de Dall-E, juste avec une touche.

Avec l'inpainting, vous pouvez prendre une image existante et y ajouter de nouveaux éléments ou en modifier des parties. Si vous avez une image d'un salon, vous pouvez ajouter un nouveau tapis, un chien sur le canapé, changer le tableau au mur ou même faire apparaître un éléphant dans la pièce… parce que quelqu'un pourrait y penser, voyez vous.

Variations est un autre service qui nécessite une image existante. Insérez une photo, une illustration ou tout autre type d'image et l'outil de variation de Dall-E créera des centaines de ses propres versions. Vous pouvez lui donner une image d'un des télétubbies, et il la reproduira, créant des versions similaires. Une vieille peinture d'un samouraï créera des images similaires, vous pouvez même prendre une photo de certains graffitis que vous voyez et obtenir des résultats similaires.

Vous pouvez également utiliser cet outil pour combiner deux images en une seule. Mélangez un dragon et un corgi, ou un arc-en-ciel et un pot pour générer des pots avec de la couleur.

DALL-E 2 s'appuie sur CLIP, un système de vision par ordinateur qu'OpenAI a également annoncé l'année dernière. « DALL-E 1 a simplement repris notre approche GPT-3 du langage et l'a appliquée à la production d'une image : nous avons comprimé les images en une série de mots et nous avons simplement appris à prédire ce qui allait suivre », explique Prafulla Dhariwal, chercheur chez OpenAI, en référence au modèle GPT utilisé par de nombreuses applications d'IA textuelle.

Mais la correspondance des mots n'a pas nécessairement permis de saisir les qualités les plus importantes aux yeux des humains, et le processus de prédiction a limité le réalisme des images. CLIP a été conçu pour regarder les images et résumer leur contenu comme le ferait un humain. OpenAI a itéré sur ce processus pour créer "unCLIP", une version inversée qui commence par la description et se dirige vers l'image. DALL-E 2 génère l'image à l'aide d'un processus appelé "diffusion", que Dhariwal décrit comme le fait de commencer par un "sac de points", puis de remplir un motif de plus en plus détaillé.

Le logiciel pourrait aider les gens à retoucher leurs photos, à créer des œuvres d'art ou à produire d'innombrables images de stock. « DALL-E 2 est un projet de recherche que nous ne mettons actuellement pas à disposition dans notre API », a déclaré OpenAI. « Dans le cadre de nos efforts pour développer et déployer l'IA de manière responsable, nous étudions les limites et les capacités de DALL-E avec un groupe restreint d'utilisateurs. »

L'arrivée du mode Outpainting

Il y a quelques semaines, OpenAI a annoncé l'arrivée de ce mode :

L'édition de visage humain débarque

La décision fait partie d'une négociation en cours entre les fabricants de générateurs d'art IA avec leurs propres utilisateurs alors qu'ils tentent de naviguer dans les méfaits potentiels de la technologie. En tant qu'entreprise bien financée ayant des liens avec des géants de la technologie comme Microsoft, OpenAI a adopté une approche relativement prudente. Mais la société a été débordée par des concurrents comme Stable Diffusion, qui impose moins de contraintes aux utilisateurs. Cela conduit à un développement plus rapide de la technologie, mais rend également les applications malveillantes beaucoup plus faciles. Stable Diffusion, par exemple, est déjà utilisé pour générer des deepfakes pornographiques de célébrités.

Un tel matériel explicite devrait être facile à bloquer pour OpenAI avec DALL-E. Les conditions d'utilisation de l'entreprise interdisent également aux utilisateurs de télécharger des images de personnes sans leur consentement (bien que cela soit essentiellement impossible à appliquer de manière proactive avec son modèle d'accès actuel). Cependant, aucun filtre de contenu n'est parfait et il peut y avoir des cas d'utilisation nuisibles plus subtils que la pornographie non consensuelle.


Limites de Dall-E 2

Bien qu'il n'y ait aucun doute sur l'impressionnante de cette technologie, elle n'est pas sans limites.

Un problème auquel vous êtes confronté est la confusion de certains mots ou expressions. Par exemple, des chercheurs ont noté que lorsqu'ils saisissaient « un trou noir à l'intérieur d'une boîte », Dall-E 2 renvoyait un trou noir à l'intérieur d'une boîte, au lieu du corps cosmique qu'ils recherchaient.

Cela peut se produire souvent lorsqu'un mot a plusieurs sens, des phrases peuvent être mal comprises ou si des expressions familières sont utilisées. C'est ce qu'il faut attendre d'une intelligence artificielle prenant le sens littéral de vos propos.

« Une autre chose à laquelle il faut s'habituer avec le système est le fonctionnement des invites et des styles artistiques. Lorsque vous tapez quelque chose, l'image initiale peut ne pas être correcte et bien qu'elle corresponde techniquement à votre demande, elle ne correspond pas entièrement à la sensation ou à l'idée que vous aviez en tête. Cela peut prendre un certain temps pour s'y habituer et demander quelques ajustements mineurs », explique Ramesh.

Un autre domaine dans lequel Dall-E peut devenir confus est le « mélange variable ». « Si vous demandez au modèle de dessiner un cube rouge au-dessus d'un cube bleu, il devient parfois confus et fait le contraire. Nous pouvons résoudre ce problème assez facilement dans les futures itérations du système, je pense », a expliqué Ramesh.

Sources : lettre aux clients de DALL-E, exemples de résultats (1, 2)

Et vous ?

Que pensez-vous des générateurs d'images en général et de DALL-E 2 en particulier ?
Que pensez-vous du fait qu'OpenAI ait autorisé à nouveau l'édition des visages ?
Voyez-vous des abus potentiels ?