Deepfake : un employé paye 25 millions de dollars à des escrocs après une réunion vidéo avec son directeur financier généré par IA,les anciennes conférences vidéos en ligne authentiques de ce directeur soupçonnées d'être à l'origine de ce deepfake
Un employé du secteur financier a versé 25 millions de dollars à des escrocs qui se faisaient passer pour le directeur financier de son entreprise grâce à la technologie du deepfake lors d’un appel vidéo, selon la police de Hong Kong. L’arnaque élaborée a consisté à faire croire à l’employé qu’il participait à un appel vidéo avec plusieurs autres membres du personnel, mais tous étaient en fait des créations de deepfake, a déclaré la police de Hong Kong lors d’un briefing vendredi. « Dans la conférence vidéo à plusieurs personnes, il s’avère que tout le monde (qu’il a vu) était faux », a déclaré le surintendant principal Baron Chan Shun-ching à la radio publique RTHK.
Le surintendant principal Baron Chan Shun-ching a déclaré que l’employé avait eu des soupçons après avoir reçu un message qui était censé provenir du directeur financier basé au Royaume-Uni de l’entreprise. Au départ, l’employé a pensé qu’il s’agissait d’un courriel de hameçonnage, car il parlait de la nécessité d’effectuer une transaction secrète.
Pour rassurer leur victime, les hackers ont proposé d’organiser une réunion en visioconférence. L’employé a accepté de participer à cet appel vidéo avec son directeur. Lors de l'appel vidéo, l’employé a mis de côté ses doutes car les autres personnes présentes ressemblaient et parlaient comme des collègues qu’il reconnaissait, a déclaré Chan.
Croyant que tout le monde sur l’appel était réel, l’employé a accepté de transférer un total de 200 millions de dollars de Hong Kong - environ 25 millions de dollars - a ajouté le policier. Au total, quinze virements ont été effectués par l’employé berné. La police a souligné que cette affaire était la première du genre à Hong Kong et qu'elle impliquait également une importante somme d'argent. Elle n'a toutefois pas révélé l'identité de l'employé ou de l'entreprise.
L’affaire est l’un des plusieurs épisodes récents dans lesquels des escrocs auraient utilisé la technologie du deepfake pour modifier des vidéos et d’autres images disponibles publiquement afin de tromper les gens et de leur soutirer de l’argent.
Lors du briefing de presse de vendredi, la police de Hong Kong a déclaré avoir procédé à six arrestations en lien avec de telles arnaques.
Chan a déclaré que huit cartes d’identité volées à Hong Kong - toutes signalées comme perdues par leurs propriétaires - avaient été utilisées pour faire 90 demandes de prêt et 54 inscriptions de comptes bancaires entre juillet et septembre de l’année dernière. À au moins 20 reprises, des deepfakes basés sur l’intelligence artificielle avaient été utilisés pour tromper les programmes de reconnaissance faciale en imitant les personnes figurant sur les cartes d’identité, selon la police.
L’arnaque impliquant le faux directeur financier n’a été découverte que bien plus tard, lorsque l’employé a vérifié auprès du siège social de l’entreprise. Les vidéos générées par l'IA auraient été créées à partir d'anciennes conférences en ligne authentiques. Pour donner plus de profondeur et de crédibilité à l'escroquerie, les auteurs ont eu recours à WhatsApp, au courrier électronique et à des vidéoconférences individuelles avec des membres du personnel de Hong Kong.
« Je pense que le fraudeur a téléchargé des vidéos à l'avance et qu'il a ensuite utilisé l'intelligence artificielle pour ajouter de fausses voix à utiliser lors de la vidéoconférence », a déclaré le commissaire principal de la police de la ville, Baron Chan Shun-ching.
Ce qui s'est passé exactement lors de l'appel fatidique n'est pas clair. Certains rapports suggèrent qu'un seul participant à l'appel était réel, tandis que d'autres suggèrent que plusieurs participants étaient humains. Tous s'accordent à dire que des humains générés par l'IA sont apparus et que, malheureusement, le professionnel de la finance anonyme a été dupé. La victime n'a découvert cette réalité qu'après avoir contacté le siège de l'entreprise (également anonyme).
Le média local The Standard a déclaré que cet incident était la première escroquerie de type "deepfake" par vidéoconférence à Hong Kong.
D'autres types de dégâts
Les rapports montrent à quel point il est facile de tirer parti d'outils gratuits pour générer des images plus nuisibles. C'est ce qui s'est passé avec Taylor Swift, notamment avec la diffusion d'images pornographiques générées par IA de la star. Bien que l'on ne sache pas encore combien d'outils d'IA ont été utilisés pour générer le flot d'images nuisibles, 404 Media a confirmé que certains membres d'un groupe Telegram, par lequel les images sont venus, se sont servis du générateur d'IA texte-image gratuit de Microsoft, Designer.
Selon 404 Media, les images n'ont pas été créées en entraînant un modèle d'IA sur les images de Taylor Swift, mais en piratant des outils tels que Designer pour contourner les mesures de protection conçues pour empêcher les outils de générer des images de célébrités. Les membres du groupe ont partagé des stratégies pour contourner ces protections en évitant les invites utilisant "Taylor Swift" et en utilisant à la place des mots-clés tels que "Taylor 'singer' Swift". Ils ont ensuite été en mesure de générer des images sexualisées en utilisant des mots-clés décrivant « des objets, des couleurs et des compositions qui ressemblent clairement à des actes sexuels », plutôt que d'essayer d'utiliser des termes sexuels, a rapporté 404 Media.
Le PDG de Microsoft, Satya Nadella, a appelé l'industrie technologique à prendre des mesures après la diffusion de ces images explicites. « Oui, nous devons agir », a déclaré Nadella en réponse à une question sur les images truquées « alarmantes et terribles » de Swift.
« Je dirais deux choses. D'une part, je reviens à la question de savoir quelle est notre responsabilité, et d'autre part, les garde-fous que nous devons mettre en place autour de la technologie pour que les contenus produits soient plus sûrs. Il s'agit de tous les garde-fous que nous devons mettre en place autour de la technologie pour que les contenus produits soient plus sûrs, et il y a beaucoup de choses à faire et à ne pas faire dans ce domaine », a-t-il déclaré.
« Mais il s'agit d'une convergence mondiale et sociétale sur certaines normes, surtout lorsque la loi, les forces de l'ordre et les plates-formes technologiques peuvent s'unir », a-t-il poursuivi. « Je pense que nous pouvons gouverner beaucoup plus que nous ne le pensons ».
« Je pense que nous avons tous intérêt à ce que le monde en ligne soit un monde sûr. Je pense donc que personne ne voudrait d'un monde en ligne qui n'est pas du tout sûr pour les créateurs de contenu et les consommateurs de contenu. C'est pourquoi je pense qu'il est de notre devoir d'agir rapidement dans ce domaine ».
Deepfake et politique : un expert en IA « complètement terrifié » par les élections américaines de 2024
Les images et vidéos manipulées entourant les élections ne sont pas nouvelles, mais 2024 sera la première élection présidentielle américaine au cours de laquelle des outils d'IA sophistiqués capables de produire des contrefaçons convaincantes en quelques secondes ne seront qu'à quelques clics.
Les images, vidéos et clips audio fabriqués, connus sous le nom de deepfakes, ont commencé à se frayer un chemin dans les publicités expérimentales de la campagne présidentielle. Des versions plus sinistres pourraient facilement se propager sans étiquette sur les réseaux sociaux et tromper les gens quelques jours avant une élection, a déclaré Oren Etzioni, expert en intelligence artificielle et professeur émérite à l'Université de Washington.
« Je m'attends à un tsunami de désinformation », a-t-il déclaré. « Je ne peux pas le prouver. J'espère avoir tort. Mais les ingrédients sont là et je suis complètement terrifié ».
« On pourrait voir un candidat politique comme le président Biden être transporté d’urgence à l’hôpital », a-t-il déclaré. « On pourrait voir un candidat dire des choses qu’il n’avait jamais dites. On pourrait assister à une ruée sur les banques. On pouvait voir des bombardements et des violences qui n’ont jamais eu lieu ».
Les contrefaçons de haute technologie ont déjà affecté les élections dans le monde entier, a déclaré Larry Norden, directeur principal des élections et du programme gouvernemental au Brennan Center for Justice. Quelques...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
