Les deepfakes sont utilisés à des fins néfastes, qu'il s'agisse de campagnes de désinformation ou de l'insertion de personnes dans des films pornographiques, et les images falsifiées sont de plus en plus difficiles à détecter. Mais des informaticiens de l'Université de Buffalo (UB) ont mis au point un moyen étonnamment simple de les repérer en analysant les reflets de la lumière dans les yeux. L'outil s'est avéré efficace à 94 % lors des expériences sur des photos de style portrait. Des chercheurs ont mis au point un algorithme qui permet d'identifier les portraits deepfakes en regardant leurs yeux, en analysant les reflets dans les yeux des portraits pour déterminer leur authenticité. L'article, intitulé "Exposing GAN-Generated Faces Using Inconsistent Corneal Specular Highlights", décrivant des tests réussis est disponible sur le dépôt en libre accès arXiv. L’étude est acceptée à la conférence internationale de l'IEEE sur l'acoustique, la parole et le traitement des signaux, qui se tiendra en juin à Toronto, au Canada.
Quel est le secret du succès de l’algorithme ?
La raison pour laquelle l'algorithme est capable de détecter les fausses images à un taux très élevé est étonnamment simple : les IA d'imitation profonde sont nulles pour créer des reflets oculaires précis, selon les chercheurs. Les images deepfake présentent souvent des incohérences, telles que des formes géométriques différentes ou des emplacements de reflets qui ne correspondent pas.
« La cornée est presque comme une demi-sphère parfaite et est très réfléchissante », explique l'auteur principal de l'article, Siwei Lyu, PhD, professeur d'innovation SUNY Empire au département d'informatique et d'ingénierie. « Ainsi, tout ce qui arrive à l'œil avec une lumière émise par ces sources aura une image sur la cornée ».
« Les deux yeux devraient avoir des motifs de réflexion très similaires, car ils voient la même chose. C'est quelque chose que nous ne remarquons généralement pas lorsque nous regardons un visage », explique Lyu, expert en multimédia et en criminalistique numérique qui a témoigné devant le Congrès, à cause de ses avertissements sur les dangers des deepfakes et son expertise en la matière.
Les coauteurs sont Shu Hu, étudiant en troisième année de doctorat en informatique et assistant de recherche au Media Forensic Lab de l'Université de Buffalo, et Yuezun Li, PhD, ancien chercheur principal à l'UB, qui est maintenant maître de conférences au Centre d'intelligence artificielle de l'Université océanique de Chine.
Lorsque nous regardons quelque chose, l'image de ce que nous voyons se reflète dans nos yeux. Dans une photo ou une vidéo réelle, les reflets des yeux semblent généralement avoir la même forme et la même couleur. Cependant, la plupart des images générées par l'intelligence artificielle – y compris les images de réseaux génératifs adverses (GAN) – ne parviennent pas à le faire de manière précise ou cohérente, peut-être parce que de nombreuses photos ont été combinées pour générer la fausse image.
L'outil de Lyu exploite ce défaut en repérant de minuscules déviations de la lumière réfléchie dans les yeux des fausses images. Il génère un score qui sert de mesure de similarité. Plus le score est faible, plus il est probable que le visage soit un deepfake.
Pour réaliser les expériences, l'équipe de recherche a obtenu de vraies images de Flickr Faces-HQ, ainsi que de fausses images à partir de thispersondoesnotexist.com, un référentiel de visages générés par l'IA qui semblent réalistes mais sont en fait faux. Toutes les images étaient de type portrait (personnes réelles et fausses regardant directement dans la caméra avec un bon éclairage) et mesuraient 1024 pixels sur 1024.
L'outil fonctionne en cartographiant chaque visage. Il examine ensuite les yeux, puis les globes oculaires et enfin la lumière réfléchie dans chaque globe oculaire. Il compare avec une précision incroyable les différences potentielles de forme, d'intensité lumineuse et d'autres caractéristiques de la lumière réfléchie.
L’outil présente encore des limites
Bien qu'elle soit prometteuse, les auteurs de l'étude reconnaissent que la technique présente plusieurs limites.
Le défaut le plus évident de l'outil est qu'il repose sur une source de lumière réfléchie dans les deux yeux. Les incohérences de ces motifs peuvent être corrigées de façon manuelle lors de l'édition de l'image. Aussi, la technique compare les réflexions dans les deux yeux. S'il manque un œil au sujet, ou si l'œil n'est pas visible, la technique ne fonctionnera pas. Enfin, la technique ne s'est avérée efficace que sur les portraits. Si le visage sur la photo ne regarde pas l'appareil photo, le système risque de produire des faux positifs.
Les chercheurs prévoient d'étudier ces questions afin d'améliorer l'efficacité de leur méthode. Dans sa forme actuelle, elle ne permettra pas de détecter les deepfakes les plus sophistiqués, mais elle pourrait tout de même en repérer de nombreux plus grossiers.
Le développement de l'algorithme s'inscrit dans le cadre de l'évangélisation de Lyu, qui attire l'attention sur le besoin croissant d'outils permettant de distinguer des vraies images ou vidéos des fausses qui se propagent de plus en plus. Le professeur, qui mène des recherches sur des projets d'apprentissage automatique et de vision par ordinateur depuis plus de 20 ans, a précédemment prouvé que les vidéos deepfakes ont tendance à présenter des taux de clignement incohérents ou inexistants pour les sujets vidéo.
En plus de témoigner devant le Congrès, il a aidé Facebook à relever le défi mondial de la détection des deepfakes en 2020 et a participé à la création du "Deepfake-o-meter", une ressource en ligne destinée à aider le citoyen moyen à vérifier si la vidéo qu'il a regardée est, en fait, un deepfake. Selon lui, il est de plus en plus important d'identifier les deepfakes, surtout dans un monde hyperpartisan, marqué par des tensions liées à la race et au sexe, et par les dangers de la désinformation, notamment la violence.
« Malheureusement, une grande partie de ces types de fausses vidéos ont été créées à des fins pornographiques, et cela (a causé) beaucoup de ... dommages psychologiques aux victimes », a dit Lyu. « Il y a aussi l'impact politique potentiel, la fausse vidéo montrant des politiciens disant ou faisant quelque chose qu'ils ne sont pas censés faire. C'est mauvais ».
Source : L’étude
Et vous ?
Que pensez-vous de cette étude ? Le nouvel outil détecte un deepfake avec une efficace à 94 %. Quel commentaire en faites-vous ? Pensez-vous qu’une fois les limites de l’outil corrigées, les deepfakes ne devraient plus poser de problèmes à personne ? Voir aussi :
Microsoft dévoile des outils de détection de deepfakes, pour lutter contre les fausses nouvelles et d'autres formes de désinformation Facebook lance le Deepfake Detection Challenge, un concours avec plus de 10 millions de dollars à la clé, visant à faire avancer la recherche en matière de lutte contre les contenus manipulés Google lance Assembler, une plateforme qui décèle les images truquées, afin d'aider les vérificateurs de faits et les journalistes à détecter les deepfakes Deepfake : l'app gratuite Zao vous permet de changer le visage d'un personnage de film par le votre, après avoir téléchargé une photo 
