Un employé du secteur financier a versé 25 millions de dollars à des escrocs qui se faisaient passer pour le directeur financier de son entreprise grâce à la technologie du deepfake lors d’un appel vidéo, selon la police de Hong Kong. L’arnaque élaborée a consisté à faire croire à l’employé qu’il participait à un appel vidéo avec plusieurs autres membres du personnel, mais tous étaient en fait des créations de deepfake, a déclaré la police de Hong Kong lors d’un briefing vendredi. « Dans la conférence vidéo à plusieurs personnes, il s’avère que tout le monde (qu’il a vu) était faux », a déclaré le surintendant principal Baron Chan Shun-ching à la radio publique RTHK.Le surintendant principal Baron Chan Shun-ching a déclaré que l’employé avait eu des soupçons après avoir reçu un message qui était censé provenir du directeur financier basé au Royaume-Uni de l’entreprise. Au départ, l’employé a pensé qu’il s’agissait d’un courriel de hameçonnage, car il parlait de la nécessité d’effectuer une transaction secrète.
Pour rassurer leur victime, les hackers ont proposé d’organiser une réunion en visioconférence. L’employé a accepté de participer à cet appel vidéo avec son directeur. Lors de l'appel vidéo, l’employé a mis de côté ses doutes car les autres personnes présentes ressemblaient et parlaient comme des collègues qu’il reconnaissait, a déclaré Chan.
Croyant que tout le monde sur l’appel était réel, l’employé a accepté de transférer un total de 200 millions de dollars de Hong Kong - environ 25 millions de dollars - a ajouté le policier. Au total, quinze virements ont été effectués par l’employé berné. La police a souligné que cette affaire était la première du genre à Hong Kong et qu'elle impliquait également une importante somme d'argent. Elle n'a toutefois pas révélé l'identité de l'employé ou de l'entreprise.
L’affaire est l’un des plusieurs épisodes récents dans lesquels des escrocs auraient utilisé la technologie du deepfake pour modifier des vidéos et d’autres images disponibles publiquement afin de tromper les gens et de leur soutirer de l’argent.
Lors du briefing de presse de vendredi, la police de Hong Kong a déclaré avoir procédé à six arrestations en lien avec de telles arnaques.
Chan a déclaré que huit cartes d’identité volées à Hong Kong - toutes signalées comme perdues par leurs propriétaires - avaient été utilisées pour faire 90 demandes de prêt et 54 inscriptions de comptes bancaires entre juillet et septembre de l’année dernière. À au moins 20 reprises, des deepfakes basés sur l’intelligence artificielle avaient été utilisés pour tromper les programmes de reconnaissance faciale en imitant les personnes figurant sur les cartes d’identité, selon la police.
L’arnaque impliquant le faux directeur financier n’a été découverte que bien plus tard, lorsque l’employé a vérifié auprès du siège social de l’entreprise. Les vidéos générées par l'IA auraient été créées à partir d'anciennes conférences en ligne authentiques. Pour donner plus de profondeur et de crédibilité à l'escroquerie, les auteurs ont eu recours à WhatsApp, au courrier électronique et à des vidéoconférences individuelles avec des membres du personnel de Hong Kong.
« Je pense que le fraudeur a téléchargé des vidéos à l'avance et qu'il a ensuite utilisé l'intelligence artificielle pour ajouter de fausses voix à utiliser lors de la vidéoconférence », a déclaré le commissaire principal de la police de la ville, Baron Chan Shun-ching.
Ce qui s'est passé exactement lors de l'appel fatidique n'est pas clair. Certains rapports suggèrent qu'un seul participant à l'appel était réel, tandis que d'autres suggèrent que plusieurs participants étaient humains. Tous s'accordent à dire que des humains générés par l'IA sont apparus et que, malheureusement, le professionnel de la finance anonyme a été dupé. La victime n'a découvert cette réalité qu'après avoir contacté le siège de l'entreprise (également anonyme).
Le média local The Standard a déclaré que cet incident était la première escroquerie de type "deepfake" par vidéoconférence à Hong Kong.
D'autres types de dégâts
Les rapports montrent à quel point il est facile de tirer parti d'outils gratuits pour générer des images plus nuisibles. C'est ce qui s'est passé avec Taylor Swift, notamment avec la diffusion d'images pornographiques générées par IA de la star. Bien que l'on ne sache pas encore combien d'outils d'IA ont été utilisés pour générer le flot d'images nuisibles, 404 Media a confirmé que certains membres d'un groupe Telegram, par lequel les images sont venus, se sont servis du générateur d'IA texte-image gratuit de Microsoft, Designer.
Selon 404 Media, les images n'ont pas été créées en entraînant un modèle d'IA sur les images de Taylor Swift, mais en piratant des outils tels que Designer pour contourner les mesures de protection conçues pour empêcher les outils de générer des images de célébrités. Les membres du groupe ont partagé des stratégies pour contourner ces protections en évitant les invites utilisant "Taylor Swift" et en utilisant à la place des mots-clés tels que "Taylor 'singer' Swift". Ils ont ensuite été en mesure de générer des images sexualisées en utilisant des mots-clés décrivant « des objets, des couleurs et des compositions qui ressemblent clairement à des actes sexuels », plutôt que d'essayer d'utiliser des termes sexuels, a rapporté 404 Media.
Le PDG de Microsoft, Satya Nadella, a appelé l'industrie technologique à prendre des mesures après la diffusion de ces images explicites. « Oui, nous devons agir », a déclaré Nadella en réponse à une question sur les images truquées « alarmantes et terribles » de Swift.
« Je dirais deux choses. D'une part, je reviens à la question de savoir quelle est notre responsabilité, et d'autre part, les garde-fous que nous devons mettre en place autour de la technologie pour que les contenus produits soient plus sûrs. Il s'agit de tous les garde-fous que nous devons mettre en place autour de la technologie pour que les contenus produits soient plus sûrs, et il y a beaucoup de choses à faire et à ne pas faire dans ce domaine », a-t-il déclaré.
« Mais il s'agit d'une convergence mondiale et sociétale sur certaines normes, surtout lorsque la loi, les forces de l'ordre et les plates-formes technologiques peuvent s'unir », a-t-il poursuivi. « Je pense que nous pouvons gouverner beaucoup plus que nous ne le pensons ».
« Je pense que nous avons tous intérêt à ce que le monde en ligne soit un monde sûr. Je pense donc que personne ne voudrait d'un monde en ligne qui n'est pas du tout sûr pour les créateurs de contenu et les consommateurs de contenu. C'est pourquoi je pense qu'il est de notre devoir d'agir rapidement dans ce domaine ».
Deepfake et politique : un expert en IA « complètement terrifié » par les élections américaines de 2024
Les images et vidéos manipulées entourant les élections ne sont pas nouvelles, mais 2024 sera la première élection présidentielle américaine au cours de laquelle des outils d'IA sophistiqués capables de produire des contrefaçons convaincantes en quelques secondes ne seront qu'à quelques clics.
Les images, vidéos et clips audio fabriqués, connus sous le nom de deepfakes, ont commencé à se frayer un chemin dans les publicités expérimentales de la campagne présidentielle. Des versions plus sinistres pourraient facilement se propager sans étiquette sur les réseaux sociaux et tromper les gens quelques jours avant une élection, a déclaré Oren Etzioni, expert en intelligence artificielle et professeur émérite à l'Université de Washington.
« Je m'attends à un tsunami de désinformation », a-t-il déclaré. « Je ne peux pas le prouver. J'espère avoir tort. Mais les ingrédients sont là et je suis complètement terrifié ».
« On pourrait voir un candidat politique comme le président Biden être transporté d’urgence à l’hôpital », a-t-il déclaré. « On pourrait voir un candidat dire des choses qu’il n’avait jamais dites. On pourrait assister à une ruée sur les banques. On pouvait voir des bombardements et des violences qui n’ont jamais eu lieu ».
Les contrefaçons de haute technologie ont déjà affecté les élections dans le monde entier, a déclaré Larry Norden, directeur principal des élections et du programme gouvernemental au Brennan Center for Justice. Quelques jours seulement avant les récents élections en Slovaquie, des enregistrements audio générés par l’IA ont usurpé l’identité d’un candidat libéral discutant de projets visant à augmenter les prix de la bière et à truquer les élections. Les vérificateurs de faits se sont efforcés de les identifier comme étant faux, mais ils ont malgré tout été partagés comme étant réels sur les réseaux sociaux.
Ces outils pourraient également être utilisés pour cibler des communautés spécifiques et affiner les messages trompeurs sur le vote. Cela pourrait ressembler à des messages texte persuasifs, à de fausses annonces sur les processus de vote partagées dans différentes langues sur WhatsApp, ou à de faux sites Web simulés pour ressembler à ceux officiels du gouvernement de votre région, ont déclaré les experts.
Face à un contenu conçu pour paraître réel, « tout ce que nous avons été programmés pour faire au cours de l'évolution va entrer en jeu pour nous faire croire à la fabrication plutôt qu'à la réalité réelle », a déclaré Kathleen Hall Jamieson, spécialiste de la désinformation et directeur du Annenberg Public Policy Center de l'Université de Pennsylvanie.
Les Républicains et les Démocrates du Congrès et de la Commission électorale fédérale étudient des mesures pour réglementer la technologie, mais ils n’ont finalisé aucune règle ou législation. Cela laisse aux États le soin d’adopter les seules restrictions jusqu’à présent sur les deepfakes politiques de l’IA.
Une poignée d’États ont adopté des lois exigeant que les deepfakes soient étiquetés ou interdisant ceux qui dénaturent les candidats. Certaines sociétés de médias sociaux, notamment YouTube et Meta, qui possèdent Facebook et Instagram, ont introduit des politiques d'étiquetage de l'IA. Reste à voir s’ils seront capables d’arrêter systématiquement les contrevenants.
Conclusion
Les autorités du monde entier sont de plus en plus préoccupées par la sophistication de la technologie du deepfake et les utilisations malveillantes qu’elle peut avoir. Le deepfake est une technique qui utilise l’intelligence artificielle pour créer des images, des vidéos ou des sons qui semblent réels mais qui sont en fait falsifiés. Le terme vient de la combinaison des mots anglais “deep learning” (apprentissage profond) et “fake” (faux).
Le deepfake peut être utilisé à des fins ludiques, artistiques ou éducatives, mais aussi à des fins malhonnêtes, comme le chantage, la manipulation, la diffamation ou la désinformation. Le deepfake peut également porter atteinte à la vie privée, à la sécurité et à la réputation des personnes représentées, ainsi qu’à la confiance du public dans les sources d’information.
Sources : RTHK, The Standard
Et vous ?
Que pensez-vous de l’utilisation du deepfake dans le cadre d’escroqueries financières ? Quelles sont les mesures que les entreprises et les individus devraient prendre pour se protéger contre le deepfake ? Quels sont les avantages et les inconvénients du deepfake pour la société ? Comment le deepfake affecte-t-il la crédibilité et la confiance dans les sources d’information ? Quels sont les défis (juridiques, éthique, etc.) que pose le deepfake ?Voir aussi :
Un sénateur propose un projet de loi prohibant l'utilisation de la technologie deepfake si elle venait à servir des buts frauduleux 
