Récemment, un couple de Brooklyn a vécu une expérience terrifiante lorsque des escrocs ont utilisé l’intelligence artificielle pour cloner la voix de leurs proches et simuler une situation de rançon. En pleine nuit, Robin, une femme dans la trentaine, a été réveillée par un appel de sa belle-mère, Mona, qui semblait être en détresse. La voix paniquée de Mona répétait sans cesse « Je ne peux pas le faire, je ne peux pas le faire ». Peu après, le mari de Robin, Steve, a pris l’appel et s’est retrouvé confronté à un homme affirmant détenir sa mère sous la menace d’une arme et exigeant de l’argent.L'intelligence artificielle révolutionne apparemment tous les aspects de notre vie : les diagnostics médicaux, les prévisions météorologiques, l'exploration spatiale et même des tâches banales comme la rédaction de courriels et les recherches sur l'internet. Mais l'augmentation de l'efficacité et de la précision des calculs s'accompagne d'une boîte de Pandore de problèmes.
Les contenus vidéo "deepfake" prolifèrent sur l'internet. Le mois suivant l'invasion de l'Ukraine par la Russie, une vidéo a fait surface sur les médias sociaux dans laquelle le président ukrainien, Volodymyr Zelensky, semblait dire à ses troupes de se rendre (ce qu'il n'avait pas fait). Au début du mois de février de cette année, la police de Hong Kong a annoncé qu'un employé du secteur financier s'était fait piéger et avait dû payer vingt-cinq millions de dollars après avoir participé à une vidéoconférence avec des personnes qu'il pensait être des membres de l'équipe dirigeante de son entreprise (ce n'était pas le cas).
Des innovations dans le clonage de la voix
Il y a quelques années, les voix synthétiques semblaient avoir atteint un plafond de verre.
Reproduire une voix spécifique est encore plus difficile : non seulement l'outil devait avoir une voix humaine, mais cette voix devait également ressembler à la votre. Ces dernières années, cependant, les entreprises dans ces domaines ont commencé à bénéficier de plus d'argent, de plus de données (surtout des tonnes d'enregistrements vocaux en ligne) et de percées dans les logiciels sous-jacent utilisés pour générer la parole.
En 2019, ces avancées ont porté leurs fruits : une société d'IA basée à Toronto, Dessa, a cloné la voix du podcasteur Joe Rogan. (À l'époque, Rogan a réagi avec « stupeur » sur Instagram, déclarant : « L'avenir va être vraiment extrêmement bizarre »). Mais Dessa a eu besoin de beaucoup d'argent et de centaines d'heures de la voix très disponible de Rogan pour fabriquer son produit. Leur succès a été ponctuel.
En 2022, cependant, une société new-yorkaise appelée ElevenLabs a dévoilé un service qui produit rapidement des clones impressionnants de pratiquement n'importe quelle voix ; des sons respiratoires ont été incorporés et plus de deux douzaines de langues ont pu être clonées. La technologie d'ElevenLabs est désormais largement disponible. Il suffit de naviguer vers une application, de payer cinq dollars par mois, de lui donner quarante-cinq secondes de la voix de quelqu'un et de cloner cette voix. L'entreprise est aujourd'hui évaluée à plus d'un milliard de dollars, et le reste de la Big Tech la suit de près.
Les concepteurs du programme de clonage Vall-E de Microsoft, qui a été lancé l'année dernière, ont utilisé soixante mille heures de narration de livres audio en anglais provenant de plus de sept mille locuteurs. Vall-E, qui n'est pas accessible au public, peut apparemment reproduire la voix et « l'environnement acoustique » d'un locuteur à partir d'un échantillon de trois secondes seulement.
La technologie du clonage de la voix a sans aucun doute amélioré la vie de certaines personnes. The Voice Keeper fait partie d'une poignée d'entreprises qui « mettent en banque » les voix des personnes souffrant de maladies privatives de la voix telles que la sclérose latérale amyotrophique, la maladie de Parkinson et le cancer de la gorge, afin qu'elles puissent plus tard continuer à parler avec leur propre voix grâce à un logiciel de synthèse vocale. Une société sud-coréenne a récemment lancé ce qu'elle décrit comme le premier « service commémoratif d'IA », qui permet aux personnes de « vivre dans le cloud » après leur mort et de « parler » aux générations futures.
L'entreprise suggère que cela peut « atténuer la douleur de la mort de vos proches ». La technologie a d'autres applications légales, quoique moins altruistes. Les célébrités peuvent utiliser des programmes de clonage vocal pour « prêter » leur voix afin d'enregistrer des publicités et d'autres contenus : le College Football Hall of Famer Keith Byars, par exemple, a récemment laissé une chaîne de restaurants de poulets de l'Ohio utiliser un clone de sa voix pour prendre des commandes.
L'industrie cinématographique en a également profité. Les acteurs des films peuvent désormais « parler » d'autres langues - l'anglais, par exemple, lorsqu'un film étranger sort aux États-Unis. « Cela signifie qu'il n'y a plus de sous-titres ni de doublage », explique Hany Farid, qui enseigne l'IA générative et la manipulation des médias à l'Université de Californie à Berkeley. « Tout le monde peut parler la langue qu'il veut ».
De nombreuses publications, dont le New Yorker, utilisent ElevenLabs pour proposer des narrations audio d'articles. L'année dernière, le maire de New York, Eric Adams, a envoyé des appels téléphoniques automatisés en mandarin et en yiddish, langues qu'il ne parle pas. Les défenseurs de la vie privée ont qualifié ce projet de « vanité effrayante ».
Une nouvelle escroquerie qui utilise l'intelligence artificielle pour reproduire la voix d'un être cher
Mais le plus souvent, la technologie semble être utilisée à des fins malveillantes, comme la fraude. Cela est devenu plus facile depuis que TikTok, YouTube et Instagram stockent d'innombrables vidéos de personnes ordinaires en train de parler. « C'est simple », explique Farid. Vous prenez trente ou soixante secondes de la voix d'un enfant et vous vous connectez à ElevenLabs, et très vite, grand-mère reçoit un appel avec la voix de son petit-fils qui dit : « Grand-mère, j'ai des problèmes, j'ai eu un accident ».
Une demande financière est presque toujours à la clé. Farid a poursuivi : « Et voici le problème : le cybercriminel peut échouer quatre-vingt-dix-neuf pour cent du temps, et il deviendra quand même très, très riche. C’est un jeu de chiffres. La prévalence de ces efforts illégaux est difficile à mesurer, mais, de manière anecdotique, ils sont en augmentation depuis quelques années ».
D'ailleurs, récemment, une femme nommée Robin a reçu un coup de fil semblant provenir de sa belle-mère, Mona, qui, pourtant, ne l'appelait jamais après minuit. Elle s'est dit qu'il s'agissait probablement d'une fausse manipulation et l'a ignoré. Mais son numéro l'a rappelée. Face à l'insistance, elle a décroché et, à l'autre bout du fil, elle a entendu la voix de Mona qui se lamentait et répétait les mots « Je ne peux pas le faire, je ne peux pas le faire ». « J'ai cru qu'elle essayait de me dire qu'une chose horrible et tragique s'était produite »; a expliqué Robin.
La première pensée de Robin a été qu'il y avait eu un accident. Puis elle a entendu ce qui semblait être la voix de son beau-père, Bob, au téléphone. « Mona, passe-moi le téléphone », a dit la voix de Bob, puis s'adressant à Robin, « va chercher Steve [son mari] ». Elle s'est exécutée et a réveillé son mari : « Je crois que c'est ta mère », lui dit-elle. « Je pense qu'elle me dit que quelque chose de terrible est arrivé ».
Lorsqu'il a pris le téléphone, il a entendu une voix masculine détendue à l'autre bout du fil : « Tu ne vas pas appeler la police, tu ne vas le dire à personne. J'ai un pistolet sur la tempe de ta mère et je vais lui faire sauter la cervelle si tu ne fais pas exactement ce que je te dis ».
L'homme a demandé de l'argent; il voulait cinq cents dollars, envoyés par Venmo. « C'était une somme tellement insensée pour un être humain », se souvient Steve. « Mais aussi : Il est évident que je vais payer cette somme ».
Après que Steve a envoyé les cinq cents dollars, l'homme lui a fait envoyé 250 dollars de plus. Puis, environ 25 minutes après l'échange téléphonique, il a appelé sa mère pour s'assurer que ses parents étaient désormais en sécurité. Après quelques tentatives, son père Bob a décroché le téléphone et l'a tendu à Mona. « Tu es à la maison ? Tu vas bien ? » Lui a demandé Steve.
Mona avait l'air d'aller bien, mais elle ne savait pas de quoi ils parlaient. « Oui, je suis couchée », a-t-elle répondu. « Pourquoi ? »
Ils venaient de se faire escroquer.
Conclusion
Cette arnaque est un exemple alarmant de la tendance croissante à l’utilisation de l’IA pour imiter les voix et tromper les gens en leur faisant croire que leurs proches sont en danger. La Commission Fédérale du Commerce des États-Unis a même émis un avertissement urgent concernant ces escroqueries, qui sont désormais les plus couramment signalées dans le pays
Selon la Federal Trade Commission, qui enquête sur la fraude à la consommation, les Américains ont perdu plus de deux millions de dollars à cause d'escroqueries de toutes sortes en 2022. L'année dernière, la FTC a publié un avis de clonage vocal, notant : « Si l'appelant demande de virer de l'argent, d'envoyer de la cryptomonnaie ou d'acheter des cartes-cadeaux et de lui donner les numéros de carte et les codes PIN, cela pourrait être le signe d'une arnaque ». Mais elle n’a pas encore créé de lignes directrices pour l’utilisation de la technologie de clonage vocal. Même si des lois sont adoptées, il sera extrêmement difficile de les faire respecter. Les fraudeurs peuvent utiliser des applications cryptées pour exécuter leurs stratagèmes, et les appels sont effectués en quelques minutes. « Au moment où vous y arrivez, l'arnaque est terminée et tout le monde est parti », a déclaré Farid.
Source : The New Yorker
Et vous ?
Quelles mesures préventives pourriez-vous prendre pour vous protéger contre de telles arnaques à l’IA ? Comment les autorités devraient-elles réagir face à l’augmentation des escroqueries utilisant la technologie de clonage vocal ? Quel rôle les entreprises de technologie ont-elles dans la prévention de l’abus de leurs innovations ? Comment la société peut-elle équilibrer les avantages de l’IA avec les risques potentiels pour la sécurité personnelle ? Quelles sont vos réactions personnelles après avoir lu sur ces arnaques ? Cela change-t-il votre perception de la sécurité en ligne ? 
Envoyé par Stéphane le calme
