Démontrant une nouvelle fois les atouts de l'intelligence artificielle lorsqu'il s'agit de modifier des séquences de manière photoréaliste, des chercheurs de Disney ont révélé un nouvel outil capable de permettre aux producteurs de télévision ou de cinéma de faire paraître les acteurs plus âgés ou plus jeunes à l'aide d'un processus automatisé qui sera moins coûteux et moins long que les méthodes précédentes.Au cinéma et à la télévision, le dé-vieillissement est une technique d'effets visuels utilisée pour faire paraître un acteur plus jeune, notamment pour les scènes de flash-back. Cette technique est souvent réalisée par le biais d'un montage numérique de l'image ou par l'utilisation d'images générées par ordinateur (CGI) ou de retouches.
Les effets visuels sont un outil cinématographique puissant, mais il existe de nombreuses raisons de trouver des moyens de les rendre plus faciles à créer, qu'il s'agisse d'alléger la charge de travail d'artistes déjà surchargés et sous-payés ou de rendre les outils accessibles aux cinéastes qui ne travaillent pas avec d'immenses budgets hollywoodiens. Bien sûr, même pour les grands studios, il y a un intérêt à pouvoir automatiser ce type de travail. Et l’intelligence artificielle vient une fois de plus donner un coup de pouce dans ce secteur.
Des sociétés comme Disney investissent dans la recherche en intelligence artificielle pour faire progresser l'art des effets visuels. Ces dernières années, ces chercheurs ont également étudié comment l'intelligence artificielle pouvait simplifier le travail des effets visuels. Il y a deux ans, les studios de recherche Disney ont mis au point des outils alimentés par l'intelligence artificielle capables de générer des vidéos d'échange de visages d'une qualité et d'une résolution suffisantes pour être utilisées dans le cadre de la réalisation de films professionnels (et non sous la forme de GIF d'une qualité douteuse partagés sur Internet).
Cette année, les chercheurs ont présenté un nouvel outil qui exploite les capacités de l'IA pour faire paraître les acteurs plus vieux ou plus jeunes, sans les semaines de travail habituellement nécessaires pour perfectionner ce type de plans.
Traditionnellement, lorsque le personnel chargé des effets spéciaux sur une production vidéo ou cinématographique doit faire paraître un acteur plus vieux ou plus jeune (une technique que Disney appelle le "re-aging"
, il utilise généralement un processus de numérisation et de modélisation 3D ou une retouche numérique 2D image par image du visage de l'acteur à l'aide d'outils similaires à Photoshop. Ce processus peut prendre des semaines ou plus, en fonction de la durée du travail.En revanche, la nouvelle technique d'IA de Disney, appelée FRAN (Face Re-aging Network), automatise le processus. Disney la qualifie de « première méthode pratique, entièrement automatique et prête à la production pour le rajeunissement des visages dans les images vidéo ».
Pour créer FRAN, les chercheurs de Disney ont généré de manière aléatoire des milliers d'exemples de visages âgés de 18 à 85 ans à l'aide de StyleGAN2 (StyleGAN est un réseau antagoniste génératif introduit par les chercheurs de Nvidia en décembre 2018 et rendu disponible en février 2019). Avec ces données d'entraînement en main, FRAN a appris des principes généraux sur la façon dont l'apparence d'une personne change avec l'âge. Maintenant que la formation est terminée, il peut appliquer ces principes de vieillissement à un acteur réel en mouvement, image par image.
« Notre réseau est entraîné de manière supervisée sur un grand nombre de paires d'images de visages montrant la même personne synthétique et photoréaliste, étiquetées avec les âges source et cible correspondants », ont écrit les chercheurs dans un article universitaire. En générant les données d'entraînement de manière synthétique, ils ont contourné la « tâche apparemment impossible » de collecter des images représentant « une variété d'identités, d'âges et d'ethnies dans différents points de vue ».
L'utilisation de réseaux neuronaux et de l'apprentissage automatique pour faire vieillir une personne a déjà été testée, et si les résultats sont assez convaincants lorsqu'ils sont appliqués à des images fixes, ils n'ont pas permis d'obtenir des résultats photoréalistes sur des vidéos en mouvement, avec des artefacts temporels qui apparaissent et disparaissent d'une image à l'autre, et l'apparence de la personne qui devient parfois méconnaissable au fur et à mesure que la vidéo modifiée est lue.
Le résultat est ce que Disney appelle une solution « prête pour la production », ce qui signifie qu'elle crée un résultat de qualité suffisante pour être utilisé dans un vrai film ou une vraie émission de télévision. Il s'agit probablement de la première solution d'IA de ce type capable de modifier dynamiquement l'âge d'un acteur sur une vidéo, malgré des expressions, des conditions d'éclairage et des points de vue variables. Les chercheurs ont également développé une interface conviviale pour FRAN qui permettra aux artistes d'utiliser facilement l'outil dans un environnement de production.
Pour créer un outil d'intelligence artificielle capable de modifier l'âge des personnes, qui soit prêt à répondre aux exigences d'Hollywood et suffisamment souple pour fonctionner sur des séquences en mouvement ou des plans où l'acteur ne regarde pas toujours directement la caméra, les chercheurs de Disney, comme expliqué dans un article récemment publié, ont d'abord créé une base de données de milliers de visages synthétiques générés de manière aléatoire. Des outils existants d'apprentissage automatique du vieillissement ont ensuite été utilisés pour faire vieillir et dé-vieillir ces milliers de sujets, et ces résultats ont ensuite été utilisés pour le nouveau réseau neuronal face re-aging network.
Face Reaging Network (FRAN)
Compte tenu de la nature de la tâche, à savoir la traduction d'image à image, les chercheurs ont adopté l'architecture U-Net, familière et éprouvée. La conception familière et éprouvée de l'architecture U-Net pour FRAN et ont fait de petits ajustements pour la qualité de la traduction et le contrôle du vieillissement.
FRAN prend en entrée un tenseur à 5 canaux comprenant l'image RVB à vieillir et deux cartes d'âge à un seul canal qui spécifient l'âge d'entrée et de sortie pour chaque pixel de l'image, (par exemple, deux canaux uniformes avec deux âges différents). L'U-Net prédit ensuite les deltas (décalages) RVB par pixel qui sont ajoutés à l'image d'entrée pour créer le résultat final du vieillissement.
Lorsque face re-aging network ou FRAN reçoit un cliché d'entrée, au lieu de générer un cliché modifié, il prédit les parties du visage qui seraient modifiées par l'âge, comme l'ajout ou la suppression de rides, et ces résultats sont ensuite superposés au visage original comme un canal supplémentaire d'informations visuelles. Cette approche préserve avec précision l'apparence et l'identité de l'interprète, même lorsque sa tête bouge, lorsque son visage regarde autour de lui ou lorsque les conditions d'éclairage d'un plan changent au fil du temps. Elle permet également à l'artiste d'ajuster et de modifier les changements générés par l'IA, ce qui constitue une partie importante du travail : faire en sorte que les modifications se fondent parfaitement dans un plan afin qu'elles soient invisibles pour le public.
Source : DisneyResearch
Et vous ?
Quel est votre avis sur le sujet ? Que pensez-vous de l'outil FRAN ? Est-ce un outil pertinent dans le secteur de la cinématographie ?Voir aussi :
EnCodec, le codec audio de Meta, alimenté par l'IA, promet une compression 10x supérieure à celle des MP, et serait comparable au dernier codec Lyra-v2 de Google Meta crée une IA qui peut jouer au jeu de stratégie Diplomacy et serait capable de tromper les joueurs humains, après les controverses suscitées par ses systèmes d'IA BlenderBot 3 et Galactica 
Envoyé par Bruno
