IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Une IA permet aux acteurs de prononcer des répliques parfaites dans des langues étrangères
Cette technologie peut traduire le cinéma et la télévision sans perdre la performance originale d'un acteur

Le , par Nancy Rey

105PARTAGES

13  0 
Qu'est-ce qui se perd exactement dans la traduction lorsque des émissions de télévision et des films sont sous-titrés ou doublés dans une nouvelle langue ? C'est une question à laquelle il est difficile de répondre, mais pour l'équipe de la start-up d'IA Flawless, c'est une question à laquelle nous n'aurons peut-être plus à penser à l'avenir. L'entreprise affirme avoir la solution à cette barrière linguistique particulière ; une innovation technique qui pourrait aider les émissions de télévision et les films à atteindre sans effort de nouveaux marchés dans le monde entier. Cette nouvelle technologie d'imitation profonde permet à Robert De Niro de prononcer sa célèbre réplique de Taxi Driver dans un allemand impeccable, avec des mouvements de lèvres et des expressions faciales réalistes. Le logiciel d'IA manipule les lèvres et les expressions faciales d'un acteur pour les faire correspondre de manière convaincante au discours d'une personne prononçant les mêmes lignes dans une autre langue. Cette technologie, basée sur l'intelligence artificielle, pourrait remodeler l'industrie cinématographique, de manière à la fois séduisante et inquiétante.

La technologie de doublage automatique a été mise au point par Flawless, une société britannique cofondée par le réalisateur Scott Mann, qui dit en avoir eu assez de voir des doublages étrangers de mauvaise qualité dans ses films. Cette technologie est liée au deepfaking, qui utilise l'IA pour coller le visage d'une personne sur celui d'une autre. Elle promet de permettre aux réalisateurs de tourner à nouveau des films dans différentes langues, afin de rendre les versions étrangères moins gênantes pour le public et plus fidèles à l'original. Mais le pouvoir de modifier automatiquement le visage d'un acteur aussi facilement pourrait également s'avérer controversé s'il n'est pas utilisé avec précaution.


Après avoir visionné une version étrangère de son film le plus récent, Heist, avec De Niro, Mann dit avoir été consterné par la façon dont le doublage a gâché des scènes soigneusement élaborées. Il refuse de préciser la langue. Le doublage implique parfois de modifier considérablement les dialogues, selon Mann, afin de les faire correspondre plus étroitement aux mouvements des lèvres de l'acteur. « Je me souviens avoir été anéanti. Vous faites un petit changement dans un mot ou une performance, cela peut avoir un grand changement sur un personnage dans le rythme de l'histoire, et à son tour sur le film », dit-il.

Mann a commencé à faire des recherches sur les travaux universitaires liés aux deepfakes, ce qui l'a conduit à un projet de doublage par IA dirigé par Christian Theobalt, professeur à l'Institut Max Planck d'informatique en Allemagne. Ce travail est plus sophistiqué qu'un deepfake classique. Il consiste à capturer les expressions faciales et les mouvements d'un acteur dans une scène, ainsi que ceux d'une personne prononçant les mêmes paroles dans une autre langue. Ces informations sont ensuite combinées pour créer un modèle 3D qui fusionne le visage et la tête de l'acteur avec les mouvements des lèvres du doubleur. Enfin, le résultat est cousu numériquement sur l'acteur dans une scène.


Flawless s'est inspiré du projet de Theobalt pour son produit. Mann indique que la société est en pourparlers avec des studios pour créer des versions étrangères de plusieurs films. D'autres clips de démonstration de Flawless montrent Jack Nicholson et Tom Cruise prononçant des répliques célèbres de A Few Good Men en français et Tom Hanks parlant espagnol et japonais dans des scènes de Forrest Gump. « Ce sera bientôt invisible. Les gens regarderont un film et ne réaliseront pas qu'il a été tourné à l'origine en français ou autre », dit Mann.
Ce qui rend la technologie de Flawless particulièrement intéressante, c'est son potentiel d'extension. L'argument de Flawless est que les doublages deepfake offrent un excellent rapport qualité-prix : ils sont peu coûteux et rapides à créer, surtout si on les compare au coût des remakes complets. De plus, avec l'avènement des plateformes de streaming mondiales comme Netflix, Disney Plus et Amazon Prime Video, il est plus facile que jamais pour ces contenus doublés d'atteindre les marchés internationaux. En effet, d’après Mann, Flawless étudie également comment sa technologie pourrait aider les studios à éviter de coûteuses reprises de tournage en faisant apparaître un acteur pour qu'il dise de nouvelles répliques. Mais il ajoute que certains acteurs sont un peu déstabilisés lorsqu'ils se voient manipulés par l'IA. « Il y a de la peur et de l'émerveillement : ce sont les deux réactions que je ne cesse de recevoir », dit-il.


Virginia Gardner, une actrice qui joue dans le dernier film de Mann et qui s'est vue parler espagnol grâce au logiciel de Flawless, ne semble pas trop inquiète, bien qu'elle suppose que les films modifiés par l'IA comporteraient un avertissement. « Je pense que c'est le meilleur moyen de pouvoir, en tant qu'acteur, préserver sa performance dans une autre langue. Si vous faites confiance à votre réalisateur et que vous avez confiance dans le fait que ce processus ne fera qu'améliorer un film, alors je ne vois vraiment pas d'inconvénient à cela », dit-elle.

La manipulation vidéo par l'IA est controversée et pour cause : les programmes gratuits de "deepfake", qui permettent de remplacer le visage d'une personne par celui d'une autre dans une scène vidéo, ont proliféré grâce aux progrès de l'IA. Le logiciel identifie les points clés du visage d'une personne et utilise l'apprentissage automatique pour capturer les mouvements du visage de cette personne. Cette technologie a été utilisée pour créer de fausses scènes à caractère pornographique de célébrités et des vidéos de « revenge-porn » préjudiciables pour les femmes. Les experts craignent que les deepfakes montrant une personne célèbre dans une situation compromettante ne diffusent des informations erronées et n'influencent une élection par exemple.

La manipulation de visages prête à l'emploi pourrait s'avérer controversée dans l'industrie cinématographique. Darryl Marks, fondateur d'Adapt Entertainment, une société de Tel Aviv qui travaille sur un autre outil de doublage IA, dit qu'il n'est pas sûr de la réaction de certains acteurs qui verront leur performance modifiée, surtout s'il n'est pas clair que cela a été fait par un ordinateur. « S'il s'agit d’acteurs très célèbres, ils pourraient s'y opposer », dit-il.« Il existe des utilisations légitimes et éthiques de cette technologie. Mais toute utilisation de cette technologie doit se faire uniquement avec le consentement des artistes-interprètes concernés, et avec une compensation adéquate et appropriée », déclare Duncan Crabtree-Ireland, avocat général de la Screen Actors Guild.

Hao Li, un artiste spécialisé dans les effets visuels et dans l'utilisation de l'IA pour la manipulation faciale, affirme que les réalisateurs et les producteurs de films manifestent un intérêt croissant pour les deepfakes et les technologies IA connexes. La création d'un deepfake nécessite normalement des heures de traitement algorithmique, mais Hao Li travaille actuellement sur un film où un logiciel de deepfake plus avancé permet au réalisateur de voir un acteur transformé en temps réel. Selon Li, la situation ressemble à celle qui s'est produite lorsque l'utilisation d'images de synthèse photoréalistes s'est généralisée dans les années 2000. Aujourd'hui, grâce à l'IA, « tout le monde veut soudainement s’y mettre », dit Li.

Et vous ?

Quel est votre avis sur le sujet ?

Voir aussi :

« Je suis un mannequin et je sais que l'intelligence artificielle va bientôt prendre mon travail », a déclaré Sinead Bovell, d'autres domaines liés à la mode seraient également menacés

Ce site montre des portraits de visages humains générés par une IA. Aucun d'entre eux n'est réel. Actualisez la page pour en voir un nouveau

Avatarify, un deepfake qui échange en temps réel votre visage avec celui d'une célébrité, pendant les appels vidéo sur Zoom et Skype

« L'IA ne peut pas nous protéger contre les deepfakes », selon un rapport de Data & Society, qui préconise une solution tenant compte à la fois de l'histoire et des processus sociaux

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de Arya Nawel
Membre extrêmement actif https://www.developpez.com
Le 21/05/2021 à 12:10
C'est certainement bon, et mieux que de ne pas faire correspondre les dialogues du tout. La question porte davantage sur le "impeccable"(qui doit sûrement faire référence à Flawless, le nom de la start-up) qui est ont utilisé dans le titre.

Il y a certainement place à l'amélioration, mais c'est tout de même bien.
2  0 
Avatar de xapon
Membre habitué https://www.developpez.com
Le 22/05/2021 à 7:35
Pour moi, la question n'est pas si mais quand ?
Je pense que dans quelques années, les doublages seront presque exclusivement effectués par des IA spécialisées.
Une fois au point, cette technique pourrait permettre de faire du doublage "à la volée" en acceptant un léger décalage temporel.
3  1 
Avatar de Mingolito
Membre extrêmement actif https://www.developpez.com
Le 21/05/2021 à 17:55
Le résultat est très bon. Mais à mon avis pour faire bien ca n'est pas aux utilisateurs d'appliquer ce genre de filtre, ca doit être fait directement par la société de traduction qui livre la VF (ou autres versions).
C'est quand on applique pas ce filtre que parfois le résultat est totalement navrant, surtout sur les séries bas de gammes, à savoir parfois mauvaises traduction, et mauvaise synchronisation lèvres, et voies françaises navrantes, par contre sur les bons films c'est souvent bien fait, ils ont eu plus de budget
1  0 
Avatar de alexvb6
Membre régulier https://www.developpez.com
Le 28/05/2021 à 2:32
Encore et toujours : le chômage et la destruction.

Voilà ce que les cryptomonnaies et l'IA font.

Détruire notre environnement, détruire le travail humain, et le substituer par des machines aux technologies/capacités/licences/matériels détenus par une poignée.

Je suis programmeur depuis 25 ans. Voix-Off depuis 15 ans. Musicien depuis 20 ans.

C'est marrant de voir à quel point on s'évertue à remplacer tout ce qu'on peut par des machines fabriquées à base de ressources limités (métaux + terres rares).
À l'inverse, les êtres humains sont une ressource renouvelable, eux.
Et leur fournir une occasion de ne pas être oisifs et dépendants est vital à leur développement.

Moins de temps, moins d'argent, moins de valeur aux choses, moins de monde requis pour les concevoir, moins de ressources naturelles, moins d'espace, moins de tout.
On tend réellement vers le rien absolu, moins l'infini. Mais si on peut y aller le plus lentement possible en prenant un max de blé à chaque étape, ce sera encore mieux, évidemment... :-/
2  2 
Avatar de VinnieMc
Membre habitué https://www.developpez.com
Le 28/05/2021 à 14:01
Peut-être que je me trompe, à vérifier donc (je ne connais pas le titre du film), mais il me semble que les voix de Tom Cruise et Jack Nicholson sont leurs vraies voix Françaises et donc que la séquence utilisée est tirée de l'original, ce qui est, 1) évident puisque les lèvres des acteurs ne suivent mais alors pas du tout la forme des phonèmes (:cough: pardon du mot technique ) alors que l'article explique que l'IA se "contente" de fusionner le visage de l'acteur et le mouvement des lèvres produit par un doubleur professionnel 2) fort probable puisque la voix Française de Jack Nicholson (Jean-Pierre Moulin) a 88ans et est retraitée depuis 2010 3) est un comble puisque l'école Française de doublage est réputée être la meilleure du monde et donc se servir de son travail pour mettre en valeur un produit qui prétend mettre fin à l'indigence des travaux produits, entre autres, par cette dernière est tout à fait scandaleux! Je savais déjà qu'il y avait beaucoup d'arnaques étiquetées "IA", mais là c'est le toupet!
0  0 
Avatar de MClerc
Membre régulier https://www.developpez.com
Le 29/05/2021 à 10:21
Personnellement je préfère de loin les films (bien) sous-titrés, car j'écoute souvent avec plaisir les langues étrangères, que je les comprenne plus ou moins bien (dans l'ordre : anglais, allemand, russe, italien, espagnol) ou pas du tout (chinois, arabe, etc.)

Plus généralement, il me semble que la « musique » d'une langue fait partie du film. Avec une technique de ce genre, sa suppression deviendra bien plus facile est c'est dommage.

Sans même parler du ridicule, déjà existant, de certains films où l'on entend, par exemple, des paysans typiquement japonais parler en bon français. Difficile d'« entrer » alors dans l'histoire.
0  0 
Avatar de Matthieu Vergne
Expert éminent https://www.developpez.com
Le 07/06/2021 à 18:28
Pour ma part, je regarde en sous-titré parce que le doublage m'a rarement convaincu, souvent déçu. Je comprend donc tout à fait la problématique et suis entièrement d'accord sur le principe.

Cela dit, je comprend tout aussi bien le travail d'adaptation nécessaire à toute traduction de qualité, et cela fait intervenir du ressenti, ce dont la machine est bien incapable. J'ai donc un gros doute sur le fait que la machine puisse surpasser les meilleurs humains ici. Tout du moins pas sens s'appuyer sur eux lors de l'apprentissage... ce qui revient à une solution suicidaire : si celle-ci fait mettre à la porte les références dont elle a besoin pour s'améliorer, elle finira par stagner, amenant une perte naturelle dans le temps. Ce genre de solution ne me semble donc viable que si elle s'applique à une niche, et non à la masse, sinon elle se tire une balle dans le pied.
0  0 
Avatar de ijk-ref
Membre éclairé https://www.developpez.com
Le 21/05/2021 à 15:41
"prononcer des répliques parfaites dans des langues étrangères" Euh... parfait !? Les exemples montrés ne me font pas l'effet d'être naturel. Alors la musique too-much pour présenter le truc révolutionnaire Certes les avances technologiques dans le domaine sont impressionnantes mais on reste encore dans la vallée de l'étrange pour moi.

Après ayant été bercé aux films doublées peut-être que j'occulte ce problème de correspondance labiale qui est peut-être un vrai problème pour beaucoup moi pas.
0  1