OpenAI a déclaré vendredi qu'elle avait découvert des preuves qu'une opération de sécurité chinoise avait construit un outil de surveillance alimenté par l'intelligence artificielle pour recueillir des rapports en temps réel sur les messages anti-chinois sur les services de médias sociaux dans les pays occidentaux. Les chercheurs de l'entreprise ont déclaré avoir identifié cette nouvelle campagne, baptisée Peer Review, parce qu'une personne travaillant sur l'outil a utilisé les technologies d'OpenAI pour déboguer une partie du code informatique qui le sous-tend.Des activités malveillantes détectées
Les comptes en question auraient exploité les modèles d'OpenAI pour diverses activités, telles que la génération d'articles de presse en espagnol dénigrant les États-Unis, publiés par des médias latino-américains sous le nom d'une entreprise chinoise. De plus, des acteurs potentiellement liés à la Corée du Nord auraient utilisé l'IA pour créer de faux profils professionnels dans le but d'obtenir frauduleusement des emplois dans des entreprises occidentales.
Une autre opération, probablement d'origine chinoise, aurait utilisé ChatGPT pour développer un outil de surveillance des réseaux sociaux alimenté par l'IA. Cet outil, décrit comme le "Qianyue Overseas Public Opinion AI Assistant", serait conçu pour analyser en temps réel des publications sur des plateformes telles que X (anciennement Twitter), Facebook, YouTube, Instagram, Telegram et Reddit, afin de fournir des rapports aux autorités chinoises sur les manifestations et les opinions dissidentes à l'étranger.
Le développement d'un outil de surveillance alimenté par des modèles non-OpenAI
OpenAI a interdit les comptes d'un groupe d'utilisateurs chinois qui avaient tenté d'utiliser ChatGPT pour déboguer et modifier le code d'un outil d'IA de surveillance des médias sociaux, a déclaré la société vendredi. La campagne, qu'OpenAI appelle Peer Review, a vu le groupe inciter ChatGPT à générer des argumentaires de vente pour un programme dont les documents suggèrent qu'il a été conçu pour surveiller le sentiment anti-chinois sur X, Facebook, YouTube, Instagram et d'autres plates-formes. L'opération semble avoir été particulièrement intéressée par le repérage des appels à manifester contre les violations des droits de l'homme en Chine, avec l'intention de partager ces informations avec les autorités du pays.
« Nos politiques interdisent l'utilisation de l'IA pour la surveillance des communications ou le contrôle non autorisé des personnes. Cela inclut les activités menées par ou pour le compte de gouvernements et de régimes autoritaires qui cherchent à supprimer les libertés et les droits individuels », indique OpenAI.
Ben Nimmo, chercheur principal pour OpenAI, a déclaré que c'était la première fois que l'entreprise découvrait un tel outil de surveillance alimenté par l'IA. « Les acteurs malveillant nous donnent parfois un aperçu de ce qu'ils font dans d'autres parties de l'internet en raison de la manière dont ils utilisent nos modèles d'IA », a déclaré Nimmo.
L'utilisation de l'IA à des fins de surveillance, de piratage informatique, de campagnes de désinformation et d'autres objectifs malveillants suscite de plus en plus d'inquiétudes. Bien que des chercheurs comme Nimmo affirment que la technologie peut certainement permettre ce type d'activités, ils ajoutent que l'IA peut également aider à identifier et à stopper de tels comportements.
Une grande partie du code de l'outil de surveillance semble avoir été basée sur une version open-source de l'un des modèles Llama de Meta. Le groupe semble également avoir utilisé ChatGPT pour générer un rapport de performance de fin d'année dans lequel il affirme avoir écrit des courriels d'hameçonnage pour le compte de clients en Chine.
Envoyé par OpenAI
D'après les descriptions, l'un des objectifs de cet outil était d'identifier les conversations sur les médias sociaux liées à des sujets politiques et sociaux chinois - en particulier les appels en ligne à participer à des manifestations sur les droits de l'homme en Chine - et de transmettre les informations obtenues aux autorités chinoises. Les opérateurs ont utilisé nos modèles pour vérifier les affirmations selon lesquelles leurs informations avaient été envoyées aux ambassades chinoises à l'étranger et aux agents de renseignement chargés de surveiller les manifestations dans des pays tels que les États-Unis, l'Allemagne et le Royaume-Uni.
Un autre compte du même groupe a également fait référence à l'outil de surveillance des médias sociaux, mais dans le contexte de l'édition et du débogage de code. Cet opérateur a utilisé ChatGPT pour déboguer et modifier le code qui semblait conçu pour exécuter l'outil de surveillance des médias sociaux. Ce code nommait le plus souvent llama3.1:8b de Meta déployé via Ollama comme pilote de l'analyse et de la génération de l'outil. Nous ne savons pas si, comment et où ce code a été déployé.
Le même compte a débogué du code apparemment destiné à l'analyse de logiciels malveillants et a fait référence à d'autres modèles tels que Qwen (construit par Alibaba Cloud) et un modèle non spécifié de DeepSeek. Il a également utilisé nos modèles pour générer ce qui semble être un bilan de performance de fin d'année, qui affirme que l'acteur a généré des courriels de phishing pour le compte de clients non spécifiés en Chine.
Un autre compte du même groupe a également fait référence à l'outil de surveillance des médias sociaux, mais dans le contexte de l'édition et du débogage de code. Cet opérateur a utilisé ChatGPT pour déboguer et modifier le code qui semblait conçu pour exécuter l'outil de surveillance des médias sociaux. Ce code nommait le plus souvent llama3.1:8b de Meta déployé via Ollama comme pilote de l'analyse et de la génération de l'outil. Nous ne savons pas si, comment et où ce code a été déployé.
Le même compte a débogué du code apparemment destiné à l'analyse de logiciels malveillants et a fait référence à d'autres modèles tels que Qwen (construit par Alibaba Cloud) et un modèle non spécifié de DeepSeek. Il a également utilisé nos modèles pour générer ce qui semble être un bilan de performance de fin d'année, qui affirme que l'acteur a généré des courriels de phishing pour le compte de clients non spécifiés en Chine.
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
