Un document de passation de marché qui a fait l'objet de fuite révèle les dessous d'une réflexion préoccupante au sein du Pentagone. Le département américain de la Défense recherche des prestataires privés pour l'aider à créer de faux internautes si convaincants que ni les humains ni les ordinateurs ne pourront détecter qu'ils sont faux. Le document indique que ces faux avatars seront utilisés sur les plateformes de médias sociaux afin de recueillir des informations. Les analystes suggèrent également que cette technologie pourrait potentiellement permettre au Pentagone de mener des opérations d'influence à grande échelle en ligne.Le Pentagone cherche le moyen de créer des deepfakes indétectables
Le ministère américain de la Défense veut se doter d'une technologie qui lui permettra de créer des personnages en ligne impossibles à distinguer des personnes réelles. C'est du moins ce que révèle un document de passation de marché qui a fait l'objet de fuite et obtenu par The Intercept. Un rapport exposant les grandes lignes du document et la liste de souhaits du gouvernement américain a suscité indignation et préoccupations au sein de la communauté. Il révèle en effet que les États-Unis tentent secrètement d'exploiter une technologie dangereuse contre laquelle le pays n'a pas cessé de mettre en garde.
La liste de souhaits du Commandement des opérations spéciales conjointes (JSOC) indique que « les forces d'opérations spéciales (SOF) sont intéressées par des technologies pouvant générer des personnalités en ligne convaincantes à utiliser sur les plateformes de réseaux sociaux et d'autres contenus en ligne ». Elle ajoute : « la solution devrait inclure des images faciales et d'arrière-plan, des vidéos faciales et d'arrière-plan, ainsi que des couches audio ».
Selon le JSOC, « la technologie deepfake devra lui permettre de créer un environnement virtuel indétectable par les algorithmes des médias sociaux ». Le document indique que « les troupes d'opérations spéciales utiliseront cette capacité pour recueillir des informations sur les forums publics en ligne », sans autre explication sur la manière dont ces utilisateurs artificiels d'Internet seront utilisés. Ce qui a donné lieu à de nombreuses spéculations sur la toile.
Le document du JSOC indique que « le Pentagone veut être en mesure de créer des profils en ligne qui semblent être un individu unique reconnaissable comme humain, mais qui n'existe pas dans le monde réel ». Il précise que chaque profil comprendrait des « expressions multiples et des photos de qualité d'identification gouvernementale ». Le JSOC espère aussi pouvoir générer des « vidéos selfies » à partir de ces personnes fabriquées de toutes pièces.
Ces vidéos ne comporteront pas que de fausses personnes. Selon le document, « chaque selfie deepfake sera accompagné d'un arrière-plan simulé correspondant pour créer un environnement virtuel indétectable par les algorithmes des médias sociaux ». Sur la toile, un commentateur a écrit : « qu'est-ce qui pourrait mal tourner ? Pendant des années, ils ont accusé les robots russes de manipuler nos élections. Mais ils vont faire la même chose, ou le font déjà ».
Le Pentagone n'est pas à son premier coup d'essai dans ce domaine
Ces dernières années, le Pentagone a déjà été pris en flagrant délit d'utilisation de faux comptes de médias sociaux pour servir ses intérêts. En 2022, Meta et Twitter ont supprimé un réseau de propagande utilisant de faux comptes gérés par l'US Central Command, dont certains avaient des photos de profil générées avec des méthodes similaires à celles décrites par le JSOC. En 2024, une enquête de Reuters a mis en lumière une campagne du JSOC utilisant de faux comptes de médias sociaux dans le but de saper la confiance des étrangers dans le vaccin Covid de la Chine. Mais les rapports ne s'arrêtent pas là.
L'année dernière, le SOCOM (The United States Special Operations Command) a exprimé son intérêt pour « l'utilisation de vidéos deepfakes dans le cadre d'opérations d'influence, de déception numérique, de perturbation de la communication et de campagnes de désinformation ». La liste de souhaits du SOCOM de cette année a révélé un intérêt pour un logiciel similaire à StyleGAN, un outil lancé par Nvidia et qui a alimenté le site Web « This Person Does Not Exist ».
Moins d'un an après le lancement de StyleGAN, Facebook a déclaré avoir supprimé un réseau de comptes qui utilisaient la technologie pour créer de fausses photos de profil. Depuis lors, les chercheurs se sont engagés dans une course entre de nouveaux moyens de créer des deepfakes indétectables et de nouveaux moyens de les détecter. De nombreux services publics exigent désormais une détection de la vivacité pour déjouer les photos d'identité truquées.
Ils demandent aux candidats humains de télécharger une vidéo selfie pour prouver qu'ils sont une personne réelle, un obstacle que le SOCOM pourrait être intéressé à déjouer. Comme souligné plus haut, la liste de souhaits demande un logiciel capable de générer des selfies deepfake. Elle précise en outre que les contenus générés par le logiciel, y compris les phots et les vidéos, doivent être indétectables par les humains et les systèmes de détections de deepfakes.
Cette liste détaillée de souhaits montre que les États-Unis utilisent exactement les mêmes technologies et techniques que celles qu'ils condamnent lorsqu'elles sont utilisées par des ennemis géopolitiques, notamment les pays tels que l'Iran, la Russie et la Chine. Les responsables américains de la sécurité nationale décrivent depuis longtemps l'utilisation de deepfakes soutenue par les États comme une menace urgente, du moins si elle est le fait d'un autre pays.
Les États-Unis accusés d'hypocrisie concernant la technologie deepfake
L'année dernière, le Federal Bureau of Investigation (FBI), la National Security Agency (NSA) et la Cybersecurity and Infrastructure Security Agency (CISA) des États-Unis ont déclaré que « les médias synthétiques, tels que les deepfakes, représentent un défi croissant pour tous les utilisateurs des technologies et des communications modernes ». Dans une déclaration commune, les trois agences fédérales américaines ont averti que l'utilisation généralisée de la technologie des deepfakes constituait un risque majeur. Cette année, le Pentagone a sollicité l'aide du secteur privé pour lutter contre les deepfakes.
Dans une note d'information adressée aux journalistes cette année, les responsables du renseignement américain ont averti que la capacité des adversaires étrangers à diffuser des contenus générés par l'IA sans être détectés représente un « accélérateur d'influence malveillante » de la part de pays comme la Russie, la Chine et l'Iran. La liste de souhaits qui a fait l'objet de fuite révèle que le Pentagone recherche exactement la même capacité actuellement.
Daniel Byman, membre de l'International Security Advisory Board du département d'État, a déclaré qu'en utilisant une technologie contre laquelle les États-Unis mettent en garde et qui pourrait tromper le public américain, « on peut légitiment craindre que les États-Unis ne soient perçus comme hypocrites ». L'utilisation offensive de cette technologie par les États-Unis pourrait stimuler sa prolifération et la normaliser en tant qu'outil pour tous les gouvernements.
Daniel Byman affirme : « je suis également préoccupé par l'impact sur la confiance du public dans le gouvernement. Est-ce que certains segments du peuple américain, en général, deviendront plus méfiants à l'égard des informations émanant du gouvernement ? ». Heidy Khlaaf, responsable scientifique de l'IA à l'AI Now Institute, met en garde contre cette technologie : « ce qui est remarquable à propos de cette technologie, c'est qu'elle est purement trompeuse ».
Selon Heidy Khlaaf, cela pourrait avoir des conséquences dangereuses : « il n'y a pas d'autres utilisations légitimes que la tromperie, et il est inquiétant de voir l'armée américaine se lancer dans l'utilisation d'une technologie contre laquelle elle a elle-même mise en garde. Cela ne fera qu'encourager d'autres armées ou adversaires à faire de même, conduisant à une société où il est de plus en plus difficile d'établir la vérité de la fiction et brouillant la sphère géopolitique ».
Source : document ayant fait l'objet de fuite (PDF)
Et vous ?
Quel est votre avis sur le sujet ? Que pensez-vous de l'utilisation de la technologie deepfake par un pays comme les États-Unis ? Quelles implications une utilisation offensive des deepfakes par les États-Unis pourrait-elle avoir sur le reste du monde ? Les États-Unis cherchent à créer des deepfakes indétectables tout en dénonçant leur utilisation par la Chine et la Russie. Qu'en pensez-vous ?Voir aussi
Le Pentagone étudie les utilisations militaires des grands modèles de langage (LLM) qui peuvent soutenir et potentiellement perturber la planification et la prise de décision militaires/ Le Pentagone accélère l'intégration de l'IA pour maintenir sa compétitivité face à la Chine, avec des indications selon lesquelles les États-Unis développeront des armes autonomes létales La NSA, le FBI et la CISA publient une fiche d'information sur la cybersécurité concernant les menaces liées aux Deepfake 
