Des milliers de personnes arnaquées par des voix d'IA imitant des proches en cas d'urgence

11 millions de dollars ont été volés par le biais de ces escroqueries par téléphone en 2022

Des milliers de personnes arnaquées par des voix d'IA imitant des proches en cas d'urgence,
11 millions de dollars ont été volés par le biais de ces escroqueries par téléphone en 2022

L'IA est un sujet central dans le monde de la technologie depuis un certain temps maintenant. Si l'IA a le potentiel de faire des choses réellement impressionnantes, comme générer des images à partir d'une seule ligne de texte, nous commençons à voir les inconvénients de cette technologie à peine réglementée. Le dernier exemple en date est l'utilisation de générateurs vocaux d'IA pour escroquer les gens de leur argent. Les logiciels de génération de voix par IA ont fait les gros titres ces derniers temps, principalement pour avoir volé les voix des acteurs. Au départ, il suffisait de quelques phrases pour que le logiciel reproduise de manière convaincante le son et le ton de l'orateur. La technologie a depuis évolué au point que quelques secondes de dialogue suffisent pour imiter quelqu'un avec précision.


D’après le Washington Post, un couple a envoyé 15 000 dollars à un escroc par le biais d'un terminal bitcoin, après avoir cru qu'il avait parlé à son fils. La voix générée par l'IA leur a dit qu'il avait besoin de frais de justice après avoir été impliqué dans un accident de voiture qui a tué un diplomate américain. Les progrès technologiques semblent faciliter l'exploitation des pires craintes des gens et effraient les victimes qui ont confié avoir ressenti une horreur viscérale en entendant ce qui semblait être des appels directs d'amis ou de membres de la famille ayant un besoin urgent d'aide.

Les nouveaux outils d'IA générative peuvent créer toutes sortes de résultats à partir de simples invites textuelles, y compris des essais écrits dans le style d'un auteur particulier, des images dignes d'un prix artistique et, avec un simple extrait de la voix d'une personne, une voix qui ressemble de manière convaincante à une personne donnée. Pour les personnes ciblées qui sont souvent des personnes âgées, il peut être de plus en plus difficile de détecter si une voix est inauthentique, même lorsque les circonstances d'urgence décrites par les escrocs semblent peu plausibles.

« Il y a deux ans, voire un an, il fallait beaucoup d'audio pour cloner la voix d'une personne. Maintenant... si vous avez une page Facebook... ou si vous avez enregistré un TikTok et que votre voix y figure pendant 30 secondes, les gens peuvent cloner votre voix », a déclaré Hany Farid, professeur de criminalistique numérique à l'université de Californie à Berkeley.

Étant donné que ces escroqueries par imposteur peuvent être réalisées depuis n'importe où dans le monde, il est extrêmement difficile pour les autorités de les réprimer et d'inverser cette tendance inquiétante. Non seulement il est difficile de retracer les appels, d'identifier les escrocs et de récupérer les fonds, mais il est aussi parfois difficile de décider quelles agences sont compétentes pour enquêter sur des cas individuels lorsque les escrocs opèrent à partir de différents pays. Même lorsqu'il est évident de savoir quelle agence doit enquêter, certaines agences sont actuellement mal équipées pour faire face au nombre croissant d'usurpations d'identité.

Will Maxson, directeur adjoint de la division des pratiques commerciales de la FTC, a déclaré que la sensibilisation aux escroqueries reposant sur des simulateurs vocaux d'IA était probablement la meilleure défense des consommateurs à l'heure actuelle. Il est recommandé de traiter toute demande d'argent avec scepticisme. Avant d'envoyer des fonds, essayez de contacter la personne qui semble demander de l'aide par d'autres moyens qu'un appel vocal.

Selon la Federal Trade Commission (FTC), les escroqueries par imposture sont extrêmement courantes aux États-Unis. C'est le type de fraude le plus fréquent signalé en 2022 et il a généré les deuxièmes pertes les plus élevées pour les personnes visées. Sur 36 000 signalements, plus de 5 000 victimes ont été escroquées de 11 millions de dollars par téléphone.

Une technologie qu’on peine à réglementer

À mesure que la technologie progresse, l'intelligence artificielle offre toutes sortes de nouvelles possibilités, dont des avancées dans le domaine de la synthèse vocale. Les outils de modélisation vocale de l'IA ont été utilisés pour améliorer la génération de la synthèse vocale, créer de nouvelles possibilités d'édition vocale et étendre la magie du cinéma en clonant des voix célèbres comme celle de Dark Vador. Mais le pouvoir de produire facilement des simulations vocales convaincantes a déjà provoqué des scandales, et personne ne sait qui est à blâmer lorsque la technologie est mal utilisée.

Au début de l'année, des membres de 4chan ont réagi en créant des voix de célébrités faisant des déclarations racistes, offensantes ou violentes. À ce moment-là, il est devenu évident que les entreprises devaient envisager d'ajouter des garanties supplémentaires pour empêcher l'utilisation abusive de la technologie, ou risquer d'être tenues pour responsables de dommages importants, comme la destruction de la réputation de personnes célèbres.

Les tribunaux n'ont pas encore décidé si et quand les entreprises seront tenues responsables des préjudices causés par la technologie de la voix simulée (ou toute autre technologie d'IA de plus en plus populaire, comme ChatGPT) où les risques de diffamation et de désinformation semblent augmenter. Il se peut que les tribunaux et les régulateurs subissent une pression croissante pour contrôler l'IA, car de nombreuses entreprises semblent lancer des produits d'IA sans connaître pleinement les risques qu'ils comportent.

À l'heure actuelle, certaines entreprises ne semblent pas disposées à ralentir le lancement de fonctions d'IA populaires, notamment celles, controversées, qui permettent aux utilisateurs d'imiter la voix de célébrités. Plus récemment, Microsoft a lancé une nouvelle fonctionnalité lors de son aperçu de l'IA Bing qui peut être utilisée pour imiter des célébrités. Avec cette fonctionnalité, Microsoft semble tenter d'éviter tout scandale en limitant ce que les voix de célébrités imposées peuvent être amenées à dire. Comme de nombreuses entreprises désireuses de profiter de la fascination généralisée pour les outils d'IA, Microsoft compte sur ses millions d'utilisateurs pour tester en version bêta son "IA encore dysfonctionnelle", qui peut apparemment encore être utilisée pour générer des discours controversés en les présentant comme parodiques. Le temps nous dira dans quelle mesure les premières solutions sont efficaces pour atténuer les risques.

En 2021, la FTC a publié des directives sur l'IA, indiquant aux entreprises que les produits doivent « faire plus de bien que de mal » et que les entreprises doivent être prêtes à se tenir responsables des risques liés à l'utilisation des produits. Plus récemment, le mois dernier, la FTC a déclaré aux entreprises : « Vous devez connaître les risques et l'impact raisonnablement prévisibles de votre produit d'IA avant de le mettre sur le marché ».

Le clonage vocal est une technologie très dangereuse, et il est important de se rappeler qu'il faut être prudent lorsqu'on donne des informations personnelles. Il est toujours préférable de vérifier l'identité de l'expéditeur de tout message vocal, texte ou courriel suspect avant d'envoyer de l'argent ou d'autres informations précieuses.

Source : Washington Post

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous des outils d'IA de clonage et de synthèse vocale ?
Selon vous, risquent-ils d'amplifier la désinformation en ligne ? Pourquoi ?
Est-il possible d'éviter qu'ils soient utilisés à mauvais escient ? Si oui, que proposez-vous ?

Voir aussi :

Une IA permet aux acteurs de prononcer des répliques parfaites dans des langues étrangères, cette technologie peut traduire le cinéma et la télévision sans perdre la performance originale d'un acteur

Les nouveaux outils de clonage de voix par l'IA ajoutent "de l'huile sur le feu" de la désinformation, une voix de Joe Biden générée par l'IA prononce un discours "hilarant" sur l'état de l'Union

Keanu Reeves affirme que les deepfakes sont "terrifiants" et ajoute que ses contrats de film interdisent les modifications numériques de son jeu d'acteur, l'acteur de Matrix dénonce leur utilisation

Les acteurs affirment qu'ils subissent de plus en plus de pressions pour céder leur voix à l'IA,Qui se chargera ensuite de générer des versions synthétiques capables de remplacer les acteurs