Les "deepfakes" politiques représentent l'utilisation abusive la plus populaire de l'IA, selon une étude menée par DeepMind de Google. L'étude décrit les manières néfastes d'utiliser l'IA et souligne la nécessité d'une approche à multiples facettes pour atténuer l'utilisation abusive de l'IA générative.Les "deepfakes" sont définies comme des médias synthétiques qui ont été manipulés numériquement pour remplacer de manière convaincante l'image d'une personne par celle d'une autre. Les deepfakes exploitent des outils et des techniques d'apprentissage automatique et d'intelligence artificielle. Elles ont suscité une grande attention en raison de leur utilisation dans la pornographie, la désinformations, l'intimidation et les fraudes financières.
Une étude réalisée par DeepMind, une société de Google, décrit les utilisations malveillantes les plus courantes de l'intelligence artificielle (IA). Les deepfakes générés par l'IA qui usurpent l'identité de politiciens et de célébrités sont bien plus répandus que les efforts visant à utiliser l'IA pour faciliter les cyberattaques. L'étude indique que la création d'images, de vidéos et de sons réalistes mais faux de personnes est presque deux fois plus fréquente que l'utilisation abusive suivante des outils d'IA générative : la falsification d'informations à l'aide d'outils textuels, tels que les chatbots, pour générer des informations erronées à publier en ligne.
L'analyse, réalisée avec l'unité de recherche et de développement du groupe de recherche Jigsaw, a révélé que l'objectif le plus courant des acteurs utilisant abusivement l'IA générative était de façonner ou d'influencer l'opinion publique. Cela représentait 27 % des utilisations, ce qui alimente les craintes quant à la manière dont les deepfakes pourraient influencer les élections à l'échelle mondiale cette année. Malgré les efforts déployés par les plateformes de médias sociaux pour étiqueter ou supprimer ces contenus, le public pourrait ne pas reconnaître qu'il s'agit de faux, et la diffusion de ces contenus pourrait influencer les électeurs.
L'utilisation abusive de l'IA générative : Taxonomie des tactiques et enseignements tirés de données réelles
Les chercheurs présentent l'étude :
L'intelligence artificielle générative et multimodale (GenAI) offre un potentiel de transformation dans tous les secteurs, mais son utilisation abusive présente des risques importants. Des recherches antérieures ont mis en lumière le potentiel d'exploitation des systèmes d'IA avancés à des fins malveillantes. Cependant, nous ne comprenons pas encore concrètement comment les modèles de GenAI sont spécifiquement exploités ou abusés dans la pratique, ni les tactiques employées pour infliger des dommages.
Dans cet article, nous présentons une taxonomie des tactiques d'utilisation abusive de la GenAI, éclairée par la littérature académique existante et une analyse qualitative d'environ 200 incidents d'utilisation abusive observés et signalés entre janvier 2023 et mars 2024. Grâce à cette analyse, nous mettons en lumière des modèles clés et nouveaux d'utilisation abusive au cours de cette période, y compris les motivations potentielles, les stratégies et la façon dont les attaquants exploitent et abusent des capacités du système à travers les modalités (par exemple, image, texte, audio, vidéo) dans la nature.
Dans cet article, nous présentons une taxonomie des tactiques d'utilisation abusive de la GenAI, éclairée par la littérature académique existante et une analyse qualitative d'environ 200 incidents d'utilisation abusive observés et signalés entre janvier 2023 et mars 2024. Grâce à cette analyse, nous mettons en lumière des modèles clés et nouveaux d'utilisation abusive au cours de cette période, y compris les motivations potentielles, les stratégies et la façon dont les attaquants exploitent et abusent des capacités du système à travers les modalités (par exemple, image, texte, audio, vidéo) dans la nature.
L'intelligence artificielle générative et multimodale (GenAI) offre de nouvelles possibilités dans les industries et les domaines créatifs. Au cours de l'année écoulée, les principaux laboratoires d'IA ont dévoilé des modèles qui démontrent des capacités sophistiquées dans toutes les tâches : de la compréhension audiovisuelle complexe et du raisonnement mathématique, à la simulation réaliste d'environnements réels. Ces systèmes sont rapidement intégrés dans des secteurs critiques tels que les soins de santé, l'éducation et les services publics.
Pourtant, à mesure que les capacités de la GenAI progressent, la prise de conscience du potentiel d'utilisation abusive de ces outils augmente, y compris les préoccupations accrues concernant la sécurité, la protection de la vie privée et la manipulation. Des recherches antérieures ont mis en lumière le potentiel d'exploitation des systèmes d'IA avancés à des fins malveillantes à l'aide d'analyses prospectives et de scénarios hypothétiques, qui visent à cartographier les risques éthiques futurs de manière systématique.
En complément de ces recherches, des initiatives telles que l'AI incidents monitor (AIM) de l'OCDE, le AI, Algorithmic, and Automation Incidents and Controversies repository (AIAAIC) et l'AI Incident Database enregistrent activement les incidents liés à l'IA dans toutes les applications et trient les préjudices qui y sont associés. Si ces initiatives constituent une base solide pour cartographier les menaces liées à l'IA, elles ont tendance à avoir une portée générale et à se concentrer sur l'identification des risques potentiels et des préjudices en aval.
En revanche, on n'en sait pas encore assez sur la manière dont les outils de la GenAI sont spécifiquement exploités et utilisés par différents acteurs, y compris sur les tactiques employées. La technologie elle-même devenant de plus en plus sophistiquée et multimodale, il est essentiel de mieux comprendre comment elle se manifeste dans la pratique et à travers les modalités.
C'est pourquoi l'étude présente une taxonomie des tactiques d'utilisation abusive de la GenAI, fondée sur la littérature académique existante et sur une analyse qualitative de 200 rapports médiatiques d'utilisation abusive et de démonstrations d'abus des systèmes de GenAI publiés entre janvier 2023 et mars 2024. Sur la base de cette analyse, les chercheurs mettent ensuite en lumière des modèles clés et nouveaux d'utilisation abusive de la GenAI au cours de cette période, y compris les motivations potentielles, les stratégies et la façon dont les attaquants exploitent et abusent des capacités du système à travers les modalités (par exemple, l'image, le texte, l'audio, la vidéo) dans un environnement incontrôlé.
Augmentation des deepfakes politiques pour influencer l'opinion publique
Les résultats montrent que :
- La manipulation de l'apparence humaine et la falsification des preuves sont les tactiques les plus répandues dans les cas réels d'utilisation abusive. La plupart de ces tactiques ont été déployées dans l'intention manifeste d'influencer l'opinion publique, de permettre des activités frauduleuses ou de générer des profits.
- La majorité des cas d'utilisation abusive signalés ne consistent pas en des utilisations ou des attaques technologiquement sophistiquées des systèmes de GenAI. Au contraire, on assiste principalement à l'exploitation de capacités de la GenAI facilement accessibles et nécessitant un minimum d'expertise technique.
- La sophistication, la disponibilité et l'accessibilité accrues des outils de la GenAI semblent introduire de nouvelles formes d'utilisation abusive de niveau inférieur qui ne sont pas ouvertement malveillantes ni ne violent explicitement les conditions de service de ces outils, mais qui ont tout de même des ramifications éthiques préoccupantes. Il s'agit notamment de l'émergence de nouvelles formes de communication à des fins de sensibilisation politique, d'autopromotion et de plaidoyer, qui brouillent les frontières entre authenticité et tromperie.
Cette étude donne aux décideurs politiques, aux équipes chargées de la confiance et de la sécurité, ainsi qu'aux chercheurs, une base de données sur le potentiel de nuisance de ces technologies dans le monde réel, qui peut éclairer leur approche de la gouvernance de l'IA et des mesures d'atténuation. De plus, elle fournit une vue d'ensemble des menaces et des tactiques les plus importantes, et identifit les principales tactiques d'utilisation abusive à travers les modalités.
Ces résultats peuvent guider le développement d'évaluations de sécurité et de stratégies d'essais contradictoires qui sont plus en phase avec l'évolution rapide du paysage des menaces. Elles peuvent également aider à informer des atténuations et des interventions ciblées avec la possibilité de mieux vacciner le public contre des stratégies d'utilisation abusive spécifiques à l'avenir.
Les chercheurs commentent :
Notre analyse de l'utilisation abusive de la GenAI dans le monde réel met en évidence des schémas clés ayant des implications significatives pour les praticiens, les décideurs et les chercheurs dans le domaine de la confiance et de la sécurité. Nos données montrent que les outils de GenAI sont principalement exploités pour manipuler la ressemblance humaine (par le biais de l'usurpation d'identité, de la création de marionnettes, de l'appropriation de la ressemblance et de la NCII) et pour falsifier des preuves.
La prévalence de ces tactiques peut être due au fait que les sources de données humaines (images, audio, vidéo, etc.) abondent en ligne, ce qui rend relativement facile pour les acteurs de mauvaise foi d'introduire ces informations dans les systèmes d'IA générative. Toutefois, il est également possible que ces types d'abus attirent tout simplement plus l'attention des médias que d'autres, en raison de leur vaste impact sociétal. Ces cas d'utilisation abusive visaient principalement à façonner l'opinion publique, notamment par la diffamation et la manipulation des perceptions politiques, et à faciliter les escroqueries, les fraudes et les schémas de monétisation rapide.
La prévalence de ces tactiques peut être due au fait que les sources de données humaines (images, audio, vidéo, etc.) abondent en ligne, ce qui rend relativement facile pour les acteurs de mauvaise foi d'introduire ces informations dans les systèmes d'IA générative. Toutefois, il est également possible que ces types d'abus attirent tout simplement plus l'attention des médias que d'autres, en raison de leur vaste impact sociétal. Ces cas d'utilisation abusive visaient principalement à façonner l'opinion publique, notamment par la diffamation et la manipulation des perceptions politiques, et à faciliter les escroqueries, les fraudes et les schémas de monétisation rapide.
GenAI à faible coût, technique simple, accès facile : Risque d'innondation des deepfakes ?
Malgré les inquiétudes largement répandues concernant les utilisations hautement sophistiquées et parrainées par l'État de la GenAI, les chercheurs constatent que la plupart des cas d'utilisation abusive de la GenAI ne sont pas des attaques sophistiquées contre les systèmes d'IA, mais exploitent facilement des capacités de la GenAI facilement accessibles et nécessitant un minimum d'expertise technique. De nombreuses tactiques marquantes, telles que les escroqueries par usurpation d'identité, la falsification et les personas synthétiques, sont antérieures à l'invention de la GenAI et sont utilisées depuis longtemps pour influencer l'écosystème de l'information et manipuler d'autres personnes.
Cependant, en donnant à ces tactiques ancestrales une nouvelle puissance et en démocratisant l'accès, la GenAI a modifié les coûts et les incitations associés à la manipulation de l'information, ce qui a conduit à un large éventail de cas d'utilisation et à un grand nombre d'individus impliqués dans ces activités. Comme le montrent les données, il s'agit aussi bien de personnalités politiques que de simples citoyens, et de personnes ne disposant pas d'un bagage technique important.
La disponibilité, l'accessibilité et l'hyperréalisme des résultats de la GenAI dans toutes les modalités ont également permis de nouvelles formes d'utilisation abusive de niveau inférieur qui brouillent les frontières entre la présentation authentique et la tromperie. Bien que ces utilisations de la GenAI, telles que la génération et la réutilisation de contenu à grande échelle et l'exploitation de la GenAI pour une communication politique personnalisée, ne soient pas ouvertement malveillantes et ne violent pas explicitement les politiques de contenu ou les conditions de service de ces outils, leur potentiel de nuisance est important.
Par exemple, la culture de l'image politique et le plaidoyer alimentés par la GenAI sans divulgation appropriée sapent la confiance du public en rendant difficile la distinction entre les images authentiques et les images fabriquées. De même, la production en masse de contenus synthétiques de faible qualité, de type spam et malveillants risque d'accroître le scepticisme des gens à l'égard de l'information numérique dans son ensemble et de surcharger les utilisateurs de tâches de vérification.
Si rien n'est fait, cette contamination des données accessibles au public par du contenu généré par l'IA pourrait potentiellement entraver la recherche d'informations et fausser la compréhension collective de la réalité sociopolitique ou du consensus scientifique. Par exemple, il y a déjà des cas de dividende du menteur, où des personnes très en vue sont en mesure d'expliquer des preuves défavorables comme étant générées par l'IA, en déplaçant la charge de la preuve de manière coûteuse et inefficace.
Prévention et mesures d'atténuation
Cette étude a plusieurs conséquences sur la manière d'aborder les mesures d'atténuation. Les tactiques d'abus courantes telles que la NCII sont exacerbées par les vulnérabilités techniques des systèmes de GenAI que les développeurs de modèles s'efforcent activement de résoudre et contre lesquelles ils mettent en place des mesures de protection, telles que la suppression du contenu toxique des données d'entraînement ou la restriction des invites qui violent les conditions d'utilisation de ces outils.
Cependant, de nombreux cas identifiés (par exemple ceux impliquant des représentations trompeuses) exploitent les vulnérabilités du contexte social plus large dans lequel ils sont déployés - par exemple, les campagnes d'escroquerie par hameçonnage qui reposent sur l'attente raisonnable d'un individu quant à l'authenticité de son paysage numérique et de ses interactions avec celui-ci.
Bien que les interventions techniques puissent apporter certains avantages, dans ces cas, des interventions non techniques, orientées vers l'utilisateur, sont nécessaires. Le "prebunking", par exemple, une intervention psychologique courante pour se protéger contre la manipulation de l'information, pourrait être utilement étendu pour protéger les utilisateurs contre les tactiques trompeuses et manipulatrices de la GenAI.
En outre, de nombreuses formes courantes d'utilisation abusive reposent sur l'exploitation des capacités de la GenAI que les développeurs de modèles s'efforcent activement d'améliorer (par exemple, les sorties photoréalistes). Les outils de GenAI devenant plus performants et plus accessibles, une augmentation du contenu généré par l'IA dans le cadre de campagnes de désinformation et de manipulation basées sur les médias serait à craindre.
Si plusieurs solutions, comme les outils de détection des médias synthétiques et les techniques de filigrane, ont été proposées et sont prometteuses, elles sont loin d'être la panacée. En particulier, la capacité d'adaptation inhérente aux acteurs malveillants signifie que les méthodes de détection s'améliorent en même temps que les méthodes de contournement. Dans ces cas, des interventions ciblées telles que des restrictions sur les capacités de modèles spécifiques et des restrictions d'utilisation peuvent être justifiées lorsque le risque d'utilisation abusive est élevé et que les autres interventions sont insuffisantes.
Conclusion
Les chercheurs concluent :
Notre étude a cherché à éclairer le paysage en évolution de l'utilisation abusive de la GenAI et de ses impacts. Alors que les craintes d'attaques adverses sophistiquées ont dominé le discours public, nos résultats révèlent une prévalence d'utilisations abusives de faible technicité et facilement accessibles par un large éventail d'acteurs, souvent motivés par des gains financiers ou de réputation. Ces abus, même s'ils ne sont pas toujours ouvertement malveillants, ont des conséquences considérables sur la confiance, l'authenticité et l'intégrité des écosystèmes d'information.
Nous avons également constaté que la GenAI amplifie les menaces existantes en abaissant les barrières à l'entrée et en augmentant la puissance et l'accessibilité de tactiques auparavant coûteuses. Ces résultats soulignent la nécessité d'une approche à multiples facettes pour atténuer l'utilisation abusive de la GenAI, impliquant une collaboration entre les décideurs politiques, les chercheurs, les leaders de l'industrie et la société civile. Pour relever ce défi, il faut non seulement des avancées techniques, mais aussi une meilleure compréhension des facteurs sociaux et psychologiques qui contribuent à l'utilisation abusive de ces outils puissants.
Nous avons également constaté que la GenAI amplifie les menaces existantes en abaissant les barrières à l'entrée et en augmentant la puissance et l'accessibilité de tactiques auparavant coûteuses. Ces résultats soulignent la nécessité d'une approche à multiples facettes pour atténuer l'utilisation abusive de la GenAI, impliquant une collaboration entre les décideurs politiques, les chercheurs, les leaders de l'industrie et la société civile. Pour relever ce défi, il faut non seulement des avancées techniques, mais aussi une meilleure compréhension des facteurs sociaux et psychologiques qui contribuent à l'utilisation abusive de ces outils puissants.
Et vous ?
Pensez-vous que cette étude est crédible ou pertinente ? Quel est votre avis sur le sujet ?Voir aussi :
La NSA, le FBI et la CISA publient une fiche d'information sur la cybersécurité concernant les menaces liées aux Deepfake Le nombre de contenus deepfake en ligne augmente à un rythme annuel de 900 %, d'après le World Economic Forum Un expert en IA « complètement terrifié » par les élections américaines de 2024, qui s'annoncent comme un « tsunami de désinformation », avec l'avènement des deepfakes et les IA génératives