La terrifiante escroquerie à l'IA qui utilise la voix de votre proche pour simuler des situations de rançon

Comment les cybercriminels se servent des avancées dans le clonage vocal

Récemment, un couple de Brooklyn a vécu une expérience terrifiante lorsque des escrocs ont utilisé l’intelligence artificielle pour cloner la voix de leurs proches et simuler une situation de rançon. En pleine nuit, Robin, une femme dans la trentaine, a été réveillée par un appel de sa belle-mère, Mona, qui semblait être en détresse. La voix paniquée de Mona répétait sans cesse « Je ne peux pas le faire, je ne peux pas le faire ». Peu après, le mari de Robin, Steve, a pris l’appel et s’est retrouvé confronté à un homme affirmant détenir sa mère sous la menace d’une arme et exigeant de l’argent.

L'intelligence artificielle révolutionne apparemment tous les aspects de notre vie : les diagnostics médicaux, les prévisions météorologiques, l'exploration spatiale et même des tâches banales comme la rédaction de courriels et les recherches sur l'internet. Mais l'augmentation de l'efficacité et de la précision des calculs s'accompagne d'une boîte de Pandore de problèmes.

Les contenus vidéo "deepfake" prolifèrent sur l'internet. Le mois suivant l'invasion de l'Ukraine par la Russie, une vidéo a fait surface sur les médias sociaux dans laquelle le président ukrainien, Volodymyr Zelensky, semblait dire à ses troupes de se rendre (ce qu'il n'avait pas fait). Au début du mois de février de cette année, la police de Hong Kong a annoncé qu'un employé du secteur financier s'était fait piéger et avait dû payer vingt-cinq millions de dollars après avoir participé à une vidéoconférence avec des personnes qu'il pensait être des membres de l'équipe dirigeante de son entreprise (ce n'était pas le cas).

Des innovations dans le clonage de la voix

Il y a quelques années, les voix synthétiques semblaient avoir atteint un plafond de verre.

Reproduire une voix spécifique est encore plus difficile : non seulement l'outil devait avoir une voix humaine, mais cette voix devait également ressembler à la votre. Ces dernières années, cependant, les entreprises dans ces domaines ont commencé à bénéficier de plus d'argent, de plus de données (surtout des tonnes d'enregistrements vocaux en ligne) et de percées dans les logiciels sous-jacent utilisés pour générer la parole.

En 2019, ces avancées ont porté leurs fruits : une société d'IA basée à Toronto, Dessa, a cloné la voix du podcasteur Joe Rogan. (À l'époque, Rogan a réagi avec « stupeur » sur Instagram, déclarant : « L'avenir va être vraiment extrêmement bizarre »). Mais Dessa a eu besoin de beaucoup d'argent et de centaines d'heures de la voix très disponible de Rogan pour fabriquer son produit. Leur succès a été ponctuel.

En 2022, cependant, une société new-yorkaise appelée ElevenLabs a dévoilé un service qui produit rapidement des clones impressionnants de pratiquement n'importe quelle voix ; des sons respiratoires ont été incorporés et plus de deux douzaines de langues ont pu être clonées. La technologie d'ElevenLabs est désormais largement disponible. Il suffit de naviguer vers une application, de payer cinq dollars par mois, de lui donner quarante-cinq secondes de la voix de quelqu'un et de cloner cette voix. L'entreprise est aujourd'hui évaluée à plus d'un milliard de dollars, et le reste de la Big Tech la suit de près.

Les concepteurs du programme de clonage Vall-E de Microsoft, qui a été lancé l'année dernière, ont utilisé soixante mille heures de narration de livres audio en anglais provenant de plus de sept mille locuteurs. Vall-E, qui n'est pas accessible au public, peut apparemment reproduire la voix et « l'environnement acoustique » d'un locuteur à partir d'un échantillon de trois secondes seulement.

La technologie du clonage de la voix a sans aucun doute amélioré la vie de certaines personnes. The Voice Keeper fait partie d'une poignée d'entreprises qui « mettent en banque » les voix des personnes souffrant de maladies privatives de la voix telles que la sclérose latérale amyotrophique, la maladie de Parkinson et le cancer de la gorge, afin qu'elles puissent plus tard continuer à parler avec leur propre voix grâce à un logiciel de synthèse vocale. Une société sud-coréenne a récemment lancé ce qu'elle décrit comme le premier « service commémoratif d'IA », qui permet aux personnes de « vivre dans le...