Sora : OpenAI lance un modèle d'IA qui serait capable de créer une vidéo avec des scènes réalistes et imaginatives à partir d'instructions textuellesmais la durée est limitée à 60 secondes
OpenAI a dévoilé jeudi un nouveau grand modèle de langage capable de générer des vidéos à partir de textes. Le nouvel outil d'IA, appelé Sora d'après mot japonais signifiant "ciel", est capable de générer des séquences réalistes d'une durée maximale de 60 secondes qui respectent les instructions de l'utilisateur en ce qui concerne le sujet et le style. OpenAI a ajouté que le modèle est capable de créer une vidéo à partir d'une image fixe ou d'ajouter de nouveaux éléments à des séquences existantes. Sora se place comme un nouveau rival du modèle d'IA Lumiere de Google qui est également capable de créer un contenu vidéo à partir de textes ou d'images.
Après la génération de texte et d'images, OpenAI se lance sur le marché de la génération de vidéo avec Sora. Selon le laboratoire d'IA de San Francisco, il s'agit d'une étape importante, car cela permet à l'IA de comprendre et de simuler le monde physique en mouvement. « Nous apprenons à l'IA à comprendre et à simuler le monde physique en mouvement, dans le but de former des modèles qui aident les gens à résoudre des problèmes nécessitant une interaction avec le monde réel », affirme OpenAI dans un billet de blogue. Sora intervient plus d'un an après le lancement canon de son chatbot d'IA ChatGPT (GPT-3.5).
Selon le billet de blogue d'OpenAI, Sora génère des vidéos avec un réalisme inédit et des détails précis. « Sora est capable de créer des scènes complexes avec plusieurs personnages, des types de mouvements spécifiques et des détails précis sur le sujet et l'arrière-plan. Le modèle peut comprendre comment les objets existent dans le monde physique, ainsi qu'interpréter avec précision les accessoires et générer des personnages convaincants qui expriment des émotions vibrantes », indique le billet de blogue. OpenAI a déclaré que pour l'instant, Sora ne peut générer que des séquences vidéo qui durent au plus une minute.
Introducing Sora, our text-to-video model.
— OpenAI (@OpenAI) February 15, 2024
Sora can create videos of up to 60 seconds featuring highly detailed scenes, complex camera motion, and multiple characters with vibrant emotions. https://t.co/7j2JN27M3W
Prompt: “Beautiful, snowy… pic.twitter.com/ruTEWn87vf
Une vidéo parmi plusieurs exemples présentés par OpenAI est basée sur l'invite : « une bande-annonce de film présentant les aventures d'un homme de l'espace de 30 ans portant un casque de moto en laine tricotée rouge, ciel bleu, désert de sel, style cinématographique, filmé sur pellicule 35 mm, couleurs vives ». Sora peut aussi générer une vidéo à partir d'une image fixe, ainsi que remplir les images manquantes d'une vidéo existante ou l'étendre. Les autres démonstrations d'OpenAI comprennent une scène aérienne de la Californie pendant la ruée vers l'or, une vidéo qui met en scène une chute de neige à Tokyo, etc.
Nombre d'entre elles présentent des signes révélateurs de l'IA - comme un sol qui bouge de manière suspecte dans une vidéo d'un musée - et OpenAI indique que "le modèle peut avoir du mal à simuler avec précision la physique d'une scène complexe". Cela dit, les résultats sont dans l'ensemble assez impressionnants. « Pour moi, il semble évident qu'OpenAI est en avance sur tout le monde dans tous les modèles d'IA existants : image, texte, vidéo, audio, etc. Ils n'ont tout simplement pas encore publié leurs meilleurs produits. Ils n'ont tout simplement pas encore publié leurs meilleurs produits », affirme un critique.
Selon les critiques, Sora peut révolutionner des domaines comme l'animation 3D, le cinéma, et plus encore. « La capture de mouvements fonctionne bien parce qu'il s'agit de mouvements réels, mais chaque fois que l'on essaie d'animer des humains et des animaux, même dans des films en images de synthèse à gros budget, c'est toujours manifestement faux au bout du compte. Il y a tellement de choses subtiles qui se produisent en matière d'accélération et de décélération de toutes les différentes parties d'un organisme, qu'aucun animateur n'y parvient jamais à 100 % », a fait remarquer un critique. Ce dernier ajoute :
« Aucun algorithme d'animation ne parvient à rendre les choses vraiment crédibles, mais seulement à les rendre moins mauvaises. Mais les vidéos générés par Sora semblent rendre les choses tout à fait crédibles, tant pour les humains que pour les animaux. C'est incroyable. Et bien entendu, il ne faut pas oublier qu'il s'agit d'espaces 3D tout à fait crédibles, avec une permanence de l'objet apparemment totale. Contrairement à d'autres efforts que j'ai vus et qui consistent essentiellement à animer brièvement une scène en 2D pour lui donner une vague apparence de 3D ». D'autres attendent les améliorations futures.
Sora n'est actuellement accessible qu'aux "red teamers" qui évaluent le modèle en fonction des dommages et des dangers potentiels. Les experts vont "tester" le produit, c'est-à-dire vérifier s'il est susceptible de contourner les garde-fous d'OpenAI, qui interdisent "la violence extrême, le contenu sexuel, l'imagerie haineuse, l'image d'une célébrité ou la propriété intellectuelle d'autrui". OpenAI offre également un accès à certains artistes visuels, concepteurs et cinéastes afin de recueillir leurs commentaires. L'entreprise reconnaît que le modèle d'IA actuel peut ne pas simuler correctement la physique d'une scène complexe.
https://t.co/uCuhUPv51N pic.twitter.com/nej4TIwgaP
— Sam Altman (@sama) February 15, 2024
Il pourrait également ne pas interpréter correctement certains cas de cause à effet. Les vidéos portent un filigrane indiquant qu'elles ont été réalisées par l'IA. Cette approche vise à empêcher les abus potentiels, comme la création de deepfakes visant à tromper les internautes ou un public cible. Au début du mois, OpenAI a ajouté des filigranes à son outil de conversion de texte en image DALL-E 3, mais précise qu'ils peuvent être facilement supprimés. À l'instar de ses autres produits d'IA, OpenAI devrait faire face aux conséquences des fausses vidéos photor...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
Envoyé par Anthony
Quel est votre avis sur le sujet ?