OpenAI bannit des comptes chinois utilisant ChatGPT pour modifier le code d'un outil de surveillance des médias sociaux et pour faire de la propagande d'État

OpenAI a déclaré vendredi qu'elle avait découvert des preuves qu'une opération de sécurité chinoise avait construit un outil de surveillance alimenté par l'intelligence artificielle pour recueillir des rapports en temps réel sur les messages anti-chinois sur les services de médias sociaux dans les pays occidentaux. Les chercheurs de l'entreprise ont déclaré avoir identifié cette nouvelle campagne, baptisée Peer Review, parce qu'une personne travaillant sur l'outil a utilisé les technologies d'OpenAI pour déboguer une partie du code informatique qui le sous-tend.

Des activités malveillantes détectées

Les comptes en question auraient exploité les modèles d'OpenAI pour diverses activités, telles que la génération d'articles de presse en espagnol dénigrant les États-Unis, publiés par des médias latino-américains sous le nom d'une entreprise chinoise. De plus, des acteurs potentiellement liés à la Corée du Nord auraient utilisé l'IA pour créer de faux profils professionnels dans le but d'obtenir frauduleusement des emplois dans des entreprises occidentales.

Une autre opération, probablement d'origine chinoise, aurait utilisé ChatGPT pour développer un outil de surveillance des réseaux sociaux alimenté par l'IA. Cet outil, décrit comme le "Qianyue Overseas Public Opinion AI Assistant", serait conçu pour analyser en temps réel des publications sur des plateformes telles que X (anciennement Twitter), Facebook, YouTube, Instagram, Telegram et Reddit, afin de fournir des rapports aux autorités chinoises sur les manifestations et les opinions dissidentes à l'étranger.

Le développement d'un outil de surveillance alimenté par des modèles non-OpenAI

OpenAI a interdit les comptes d'un groupe d'utilisateurs chinois qui avaient tenté d'utiliser ChatGPT pour déboguer et modifier le code d'un outil d'IA de surveillance des médias sociaux, a déclaré la société vendredi. La campagne, qu'OpenAI appelle Peer Review, a vu le groupe inciter ChatGPT à générer des argumentaires de vente pour un programme dont les documents suggèrent qu'il a été conçu pour surveiller le sentiment anti-chinois sur X, Facebook, YouTube, Instagram et d'autres plates-formes. L'opération semble avoir été particulièrement intéressée par le repérage des appels à manifester contre les violations des droits de l'homme en Chine, avec l'intention de partager ces informations avec les autorités du pays.

« Nos politiques interdisent l'utilisation de l'IA pour la surveillance des communications ou le contrôle non autorisé des personnes. Cela inclut les activités menées par ou pour le compte de gouvernements et de régimes autoritaires qui cherchent à supprimer les libertés et les droits individuels », indique OpenAI.

Ben Nimmo, chercheur principal pour OpenAI, a déclaré que c'était la première fois que l'entreprise découvrait un tel outil de surveillance alimenté par l'IA. « Les acteurs malveillant nous donnent parfois un aperçu de ce qu'ils font dans d'autres parties de l'internet en raison de la manière dont ils utilisent nos modèles d'IA », a déclaré Nimmo.

L'utilisation de l'IA à des fins de surveillance, de piratage informatique, de campagnes de désinformation et d'autres objectifs malveillants suscite de plus en plus d'inquiétudes. Bien que des chercheurs comme Nimmo affirment que la technologie peut certainement permettre ce type d'activités, ils ajoutent que l'IA peut également aider à identifier et à stopper de tels comportements.

Une grande partie du code de l'outil de surveillance semble avoir été basée sur une version open-source de l'un des modèles Llama de Meta. Le groupe semble également avoir utilisé ChatGPT pour générer un rapport de performance de fin d'année dans lequel il affirme avoir écrit des courriels d'hameçonnage pour le compte de clients en Chine.


« L'évaluation de l'impact de cette activité nécessiterait des contributions de plusieurs parties prenantes, y compris des opérateurs de modèles open-source qui peuvent faire la lumière sur cette activité », a déclaré OpenAI à propos des efforts de l'opération visant à utiliser ChatGPT pour modifier le code de l'outil de surveillance des médias sociaux par l'IA.

Ce réseau était constitué de comptes ChatGPT qui fonctionnaient à des heures compatibles avec les heures d'ouverture de la Chine continentale, qui sollicitaient les modèles d'OpenAI en chinois et qui utilisaient les outils d'OpenAI avec un volume et une variété compatibles avec des sollicitations manuelles plutôt qu'avec l'automatisation. Dans un cas, OpenAI pense que le même compte a pu être utilisé par plusieurs opérateurs.

« Au sein du groupe, les opérateurs ont effectué un certain nombre de tâches principales. L'une d'entre elles consistait à utiliser le modèle comme outil de recherche de base, de la même manière que les générations précédentes utilisaient les moteurs de recherche. Il s'agissait, par exemple, de rechercher des informations accessibles au public sur des groupes de réflexion aux États-Unis, ainsi que sur des hommes politiques et des fonctionnaires dans des pays tels que l'Australie, le Cambodge et les États-Unis.

« Un autre axe de travail a consisté à utiliser nos modèles pour lire, traduire et analyser des captures d'écran de documents en anglais. Certaines de ces images annonçaient des manifestations en faveur des droits des Ouïghours dans plusieurs villes occidentales et avaient été copiées à partir de médias sociaux. D'autres semblaient concerner des sujets diplomatiques et gouvernementaux dans la région indo-pacifique ».


Des comptes ChatGPT ont généré du contenu de médias sociaux en anglais et des articles de fond en espagnol pour critiquer les États-Unis

« Nous avons interdit les comptes ChatGPT qui utilisaient nos modèles pour générer de courts commentaires en anglais et de longs articles de presse en espagnol. Cette activité s'est déroulée selon un calendrier correspondant aux heures d'ouverture de la Chine continentale. Les articles en espagnol ont été publiés par des sites d'information d'Amérique latine. Presque tous les sites attribuaient les articles à une personne ; dans certains cas, ils reliaient cette personne à une entreprise chinoise, Jilin Yousen Culture Communication Co, Ltd (优森⽂化有限公司 dans la signature des articles ».

Ci-dessous un extrait du rapport d'OpenAI.

Analyse du comportement

Les comptes ont donné lieu à des ChatGPT en chinois et étaient principalement actifs pendant les heures d'ouverture de la Chine continentale. Certaines activités étaient conformes à l'opération d'influence secrète connue sous le nom de « Spamouflage », dont nous avons parlé en mai : elles ont généré de courts commentaires et des images en anglais qui critiquaient Cai Xia, un dissident et ancien professeur à l'École centrale du Parti communiste chinois. Ce contenu a ensuite été publié sur X par des comptes qui se sont fait passer pour des personnes des États-Unis ou de l'Inde.


S'il s'agissait de la seule activité, nous aurions pu être amenés à conclure qu'elle était probablement liée au « Spamouflage ». Cependant, parallèlement à ces commentaires courts, les comptes ont également généré des articles longs en espagnol qui critiquaient les États-Unis. Cette activité était particulièrement répandue dans la période précédant le Forum APEC 2024 au Pérou. L'acteur a généré ces articles en demandant à nos modèles de traduire et d'étoffer des articles en chinois accessibles au public.

Ces articles ont ensuite été publiés par des sites d'information latino-américains, en particulier au Pérou, mais aussi au...