L'intelligence artificielle peut imiter une voix humaine suffisamment bien pour tromper de nombreuses personnes en leur faisant croire qu'elles entendent une personne réelle parler. Les voix artificielles font l’objet d’exploitation pour des appels téléphoniques automatisés. La Commission fédérale des communications (FCC) des États-Unis tente de lutter contre les versions les plus malveillantes de ces tentatives et a présenté une proposition visant à renforcer la protection des consommateurs contre les appels téléphoniques non désirés et illégaux générés par l'intelligence artificielle.La FCC entend fixer des limites et des règles, comme l'obligation pour les voix artificielles de révéler qu'elles sont fausses lorsqu'elles appellent. L'utilité de l'intelligence artificielle dans des communications et des activités peu recommandables fait qu'il n'est pas surprenant que la FCC cherche à mettre en place des réglementations à son sujet. Cela s'inscrit en sus dans le cadre des efforts déployés par la FCC pour lutter contre les appels téléphoniques non sollicités, qui constituent une nuisance et un moyen de commettre des fraudes. L'intelligence artificielle rend ces stratagèmes plus difficiles à détecter et à éviter, d'où la proposition, qui exigerait la divulgation des voix et des mots générés par l'intelligence artificielle. L'appel devrait commencer par l'explication par l'IA de l'origine artificielle de ce qu'elle dit et de la voix utilisée pour le dire. Tout contrevenant se verrait infliger une lourde amende.
Le nouveau plan vient s'ajouter à la décision déclaratoire prise par la FCC au début de l'année, selon laquelle la technologie de clonage de la voix dans le cadre des appels automatisés est illégale sans le consentement de la personne appelée. En plus de s'attaquer aux sources des appels générés par l'IA, la FCC a déclaré qu'elle souhaitait également mettre en place des outils permettant d'alerter les gens lorsqu'ils reçoivent des appels robotisés et des textes générés par intelligence artificielle, en particulier ceux qui sont non désirés ou illégaux.
Il pourrait s'agir de meilleurs filtres d'appels empêchant leur réception, d'algorithmes de détection basés sur l'intelligence artificielle ou d'une amélioration de l'identification de l'appelant afin d'identifier et de signaler les appels générés par intelligence artificielle. Pour les consommateurs, la réglementation proposée par la FCC offre une protection bienvenue contre les tactiques de plus en plus sophistiquées utilisées par les escrocs. En exigeant la transparence et en améliorant les outils de détection, la FCC vise à réduire le risque que les consommateurs soient victimes d'escroqueries générées par intelligence artificielle.
Un couple canadien perd 21 000 dollars à cause d'une fausse voix générée par l'IA qui avait imité à la perfection la voix de leur fils
Un couple canadien a perdu 21 000 dollars à la suite d'une astucieuse fraude téléphonique. Selon des rapports, le couple a reçu un appel se faisant passer pour leur fils, qui avait besoin d'argent pour payer sa caution parce qu'il avait des ennuis judiciaires. Les parents ont obéi lorsqu'on leur a demandé de transférer les fonds sur un certain compte bancaire. Plus tard, ils ont découvert que l'appel avait été passé par une voix générée par IA qui avait imité la voix de leur fils à l'aide d'une technologie deepfake, et non celle de leur enfant.
Les parents, qui ont requis l'anonymat, ont déclaré qu'au début, ils n'ont pas pensé que quelque chose n'allait pas parce que la voix ressemblait exactement à celle de leur fils. Ils ont affirmé que l'appelant était en mesure de divulguer des informations privées, telles que le lieu de résidence et la date de naissance de leur fils, que seul leur fils pouvait connaître. Lorsque leur vrai fils Benjamin les a appelés plus tard dans la journée, ils se sont rendu compte de l'escroquerie car ils savaient que l'appel précédent était un canular.
Les escrocs ont déjà utilisé des voix générées par l'IA pour tromper les victimes et les inciter à donner leur argent. La technologie du deep fake a permis aux escrocs de produire plus facilement des voix d'imitation convaincantes qui peuvent tromper même les personnes les plus observatrices. Bien que la technologie soit encore relativement jeune, elle devient de plus en plus avancée.
Les victimes ciblées conseillent maintenant aux gens d'être prudents et de se méfier de ce type d'escroquerie. Elles affirment qu'elles n'auraient jamais imaginé tomber dans un tel piège, mais que la voix de l'appelant était si convaincante qu'elles ne se sont rendu compte de rien avant qu'il ne soit trop tard. Ils espèrent que leur histoire servira d'avertissement à d'autres personnes et les empêchera de devenir la proie d'escroqueries similaires.
Avant Chat GPT et d'autres robots d'IA populaires comme Chat GPT, il y a eu des escroqueries utilisant la technologie de l'IA. Selon les rapports, une autre escroquerie similaire a eu lieu en 2019. Le directeur général d'une entreprise énergétique britannique a envoyé près de 240 000 dollars sur un compte hongrois parce qu'il croyait que son patron lui avait demandé de le faire lors d'un appel téléphonique.
Selon les experts, la meilleure approche pour se prémunir contre ce type d'escroquerie est de se méfier des appels entrants et de ne jamais donner d'informations personnelles ou financières par téléphone. Il est essentiel de vérifier l'identité de la personne à l'autre bout du fil et de raccrocher si quelque chose vous semble anormal. Par ailleurs, les banques et autres organismes financiers encouragent leurs clients à être prudents lorsqu'ils envoient de l'argent et à confirmer les informations relatives au compte avant d'envoyer des fonds.
Une voix de Joe Biden générée par l'IA prononce un discours "hilarant" sur l'état de l'Union
Alors que la lutte contre la désinformation a été présentée comme acharnée ces dernières années, elle pourrait s'avérer une partie de plaisir comparativement à ce à quoi la communauté pourrait faire face à l'avenir. L'IA générative, une catégorie de nouveaux outils d'IA dans laquelle on peut classer les IA de synthèse vocale et les IA de clonage de voix, semble avoir introduit une nouvelle forme de menace qui inquiète sérieusement les experts. L'utilisation de ces outils est très facile et presque gratuite, et n'importe quel individu peut les utiliser pour synthétiser ou cloner une voix en l'espace de quelques secondes. Le résultat obtenu est extrêmement convaincant.
Dans le cas de la vidéo trafiquée où Joe Biden attaquait les personnes transgenres, les experts en criminalistique numérique estiment qu'elle a été conçue avec l'IA de la société ElevenLabs. Basée au Royaume-Uni, ElevenLabs est une startup d'IA fondées en 2022 par Piotr Dabkowski, ancien ingénieur en apprentissage automatique (ML) chez Google, et Mati Staniszewski, ancien spécialiste en déploiement chez Palantir. Le mois dernier, la société a lancé la phase bêta de la phase bêta Prime Voice, un outil qui permet aux utilisateurs de générer un son réaliste de la voix de n'importe quelle personne à partir d'un échantillon audio et d'une invite textuelle.
Si le clip mettant en scène le président Joe Biden n'a peut-être pas réussi à tromper la plupart des utilisateurs cette fois-ci, il montre à quel point il est désormais facile pour les gens de générer des vidéos "deepfake" haineuses et de désinformation qui pourraient causer des dommages dans le monde réel. « Des outils comme celui-ci vont essentiellement ajouter de l'huile sur le feu. Le monstre est déjà en liberté », déplore Hafiz Malik, professeur d'ingénierie électrique et informatique à l'université du Michigan, qui se concentre sur la criminalistique multimédia. L'IA a été détournée de son usage initial, laissant la startup dans une situation délicate.
ElevenLabs affirme que son IA a été développée pour doubler des fichiers audio dans différentes langues pour des films, des livres audio et des jeux afin de préserver la voix et les émotions de l'orateur. Mais c'est sans compter sur la bonne volonté des membres du forum 4chan. Quelques jours après le lancement de l'IA, ils se sont saisis de l'IA d'ElevenLabs pour simuler des voix de célébrités débitant des propos racistes et homophobes. Ils ont partagé un échantillon audio généré par l'IA d'Hillary Clinton lisant le même texte transphobe que dans le clip de Biden et de faux clips audio de Bill Gates disant que le vaccin contre la Covid-19 provoque le sida.
Dans un autre échantillon audio, on peut entendre la voix de l'actrice Emma Watson lisant le manifeste "Mein Kampf" d'Hitler. Dans un autre exemple, une personne disant "les droits des personnes transgenres sont des droits de l'homme" se fait étrangler. Face à ces cas répétés, ElevenLabs a indiqué sur Twitter qu'elle constatait "un nombre croissant de cas d'utilisation abusive du clonage vocal" et a annoncé qu'elle étudiait actuellement des mesures de protection pour limiter les abus. L'une des premières étapes du plan d'action d'ElevenLabs a été de rendre la fonctionnalité disponible uniquement pour ceux qui fournissent des informations de paiement.
Lors du lancement initial, les utilisateurs anonymes ont pu accéder gratuitement à l'outil de clonage vocal. ElevenLabs affirme également qu'en cas de problème, elle peut remonter jusqu'au créateur de la voix générée. Cependant, les experts affirment que ces dispositions sont insuffisantes et pourront être facilement contournées. Ils affirment également que même la possibilité de retrouver les créateurs n'atténuera pas vraiment le préjudice causé par l'outil de clonage de voix ElevenLabs. « Le mal est déjà fait », a déclaré Hany Farid, professeur à l'université de Californie à Berkeley, qui s'intéresse à la criminalistique numérique et à la désinformation.
Par exemple, Hany Farid a déclaré que des acteurs malveillants pourraient faire bouger le marché boursier avec un faux enregistrement audio d'un PDG affirmant que les bénéfices sont en baisse. Il y a également un clip truqué et faire croire que Biden avait déclaré que les États-Unis lançaient une attaque nucléaire contre la Russie. Selon les experts, même en retrouvant la personne qui est à l'origine de ces matériels, il serait trop tard pour réparer les torts. En outre, des logiciels gratuits et libres dotés des mêmes capacités sont également apparus en ligne, ce qui signifie que les murs payants des outils commerciaux ne sont pas un obstacle.
« La question est de savoir où pointer le doigt et comment remettre le génie dans la bouteille. Nous ne pouvons pas le faire », a déclaré Malik. Par ailleurs, une autre source de préoccupations pour les experts est la "vraisemblance" que ces nouveaux deepfakes apportent. Lorsque les deepfakes ont fait les gros titres il y a environ cinq ans, ils étaient assez faciles à détecter puisque le sujet ne clignait pas des yeux et que l'audio utilisait une voix semblable à celle d'un robot. Ce n'est plus le cas, car les outils deviennent de plus en plus sophistiqués. La détection nécessite de plus en plus de temps, ce qui fait que plus de personnes tombent dans le panneau.
La vidéo modifiée de Biden faisant des commentaires désobligeants sur les transsexuels, par exemple, combinait l'audio généré par l'IA d'ElevenLabs avec un vrai clip du président, tiré d'une émission en direct de CNN du 25 janvier annonçant l'envoi de chars américains en Ukraine. La bouche du président Joe Biden a été manipulée dans la vidéo pour correspondre à l'audio. Si la plupart des utilisateurs de Twitter ont reconnu que le contenu n'était pas quelque chose que Biden était susceptible de dire, ils ont néanmoins été choqués par le réalisme de la vidéo. D'autres semblaient croire que c'était réel, ou du moins ne savaient pas quoi croire.
« Les studios d'Hollywood sont depuis longtemps capables de déformer la réalité, mais l'accès à cette technologie s'est démocratisé sans tenir compte des implications. C'est une combinaison de la très puissante technologie basée sur l'IA, de la facilité d'utilisation, et puis du fait que le modèle semble être : mettons-le sur Internet et voyons ce qui se passe ensuite », a déclaré Farid. Microsoft dispose également d'un outil de synthèse de voix appelé VALL-E. Il n'a pas encore été rendu public, mais d'autres petites ont beaucoup moins hésité à commercialiser leurs outils - parfois sans une analyse profonde, ouvrant ainsi la voie à toute forme d'abus.
Mais l'audio n'est qu'un des domaines où la désinformation générée par l'IA constitue une menace. D'autres systèmes d'IA gratuits de génération d'images en ligne, tels que Midjourney et DALL-E, peuvent produire des images photoréalistes de guerre et de catastrophes naturelles dans le style des médias traditionnels, à partir d'un simple texte. Le mois dernier, certains districts scolaires des États-Unis et de la France ont commencé à bloquer ChatGPT, qui peut produire du texte lisible - comme les travaux de fin d'études des étudiants - à la demande. Le détournement de ces outils peut entraver les maux qui minent déjà Internet et le Web.
Source : FCC
Et vous ?
Transparence et authentification vocale : comment pouvons-nous garantir que les appels automatisés générés par IA sont transparents et authentifiés ? Devrions-nous exiger que les messages automatisés divulguent clairement leur origine ? La liberté d’expression vs. la désinformation : jusqu’où devrait aller la liberté d’expression dans les campagnes politiques ? Comment pouvons-nous empêcher la diffusion de fausses informations sans restreindre la liberté d’expression ? Responsabilité des entreprises de télécommunications : les entreprises de télécommunications devraient-elles être tenues responsables des appels automatisés générés par IA qu’elles transmettent ? Comment pouvons-nous les inciter à surveiller et à filtrer ces appels ? Réglementation de l’IA : faut-il mettre en place des réglementations spécifiques pour l’utilisation de l’IA dans les campagnes politiques ? Si oui, quelles devraient être ces réglementations ? Sanctions appropriées : l’amende de 6 millions de dollars est-elle suffisante pour dissuader d’autres consultants politiques d’utiliser des techniques similaires ? Quelles autres sanctions pourraient être efficaces ?Voir aussi :
Plus de 70 % des consommateurs craignent d'être dupés par un deepfake et de voir l'IA et les deepfakes influencer les prochaines élections dans leur pays, selon une étude de Jumio Un expert en IA « complètement terrifié » par les élections américaines de 2024, qui s'annoncent comme un « tsunami de désinformation », avec l'avènement des deepfakes et les IA génératives Les "deepfakes" politiques représentent l'utilisation abusive la plus populaire de l'IA : sa faible technicité et son accessibilité ont accru l'utilisation malveillante de l'IA générative, selon DeepMind