La guerre de l'information à l'ère de l'IA : le FBI annonce la perquisition de 968 comptes automatisés sur X en provenance de Russie

Qui diffusaient de la propagande aux États-Unis et dans d'autres pays

Les responsables américains ont récemment pris des mesures contre une opération d’information alimentée par l’intelligence artificielle en provenance de Russie. Cette opération comprenait près de 1 000 comptes prétendant être des Américains. Cependant, ces comptes étaient en réalité des « bots » automatisés, et non des personnes réelles.

Une opération conjointe du FBI et des forces internationales de cybersécurité a permis de démanteler une ferme de robots secrète sur les réseaux sociaux, gérée par le gouvernement russe, qui utilisait l'IA générative pour diffuser de la désinformation auprès d'utilisateurs du monde entier.

Des affiliés de l'organe de presse Russia Today (RT), parrainé par l'État russe, ont utilisé Meliorator - un logiciel de génération et de gestion de fermes de robots utilisant l'IA - pour créer plus de 1 000 bots sur X (anciennement Twitter) destinés à diffuser de la désinformation dans et sur de nombreux pays, dont les États-Unis, la Pologne, l'Allemagne, les Pays-Bas, l'Espagne, l'Ukraine et Israël.

Le ministère de la justice a déclaré dans un communiqué de presse :

« Le ministère de la justice a annoncé aujourd'hui la saisie de deux noms de domaine et la perquisition de 968 comptes de médias sociaux utilisés par des acteurs russes pour créer une ferme de robots de médias sociaux améliorés par l'IA qui a diffusé de la désinformation aux États-Unis et à l'étranger. La ferme de robots des médias sociaux utilisait des éléments de l'IA pour créer des profils de médias sociaux fictifs - souvent censés appartenir à des personnes aux États-Unis - que les opérateurs utilisaient ensuite pour promouvoir des messages soutenant les objectifs du gouvernement russe, selon les déclarations sous serment dévoilées aujourd'hui ».

Parallèlement aux saisies de domaines et aux mandats de perquisition annoncés aujourd'hui, le FBI et la Cyber National Mission Force (CNMF), en partenariat avec le Centre canadien de cybersécurité (CCCS), le Service général de renseignement et de sécurité des Pays-Bas (AIVD), le Service militaire de renseignement et de sécurité des Pays-Bas (MIVD) et la police néerlandaise, ont publié un avis de cybersécurité commun décrivant en détail la technologie à l'origine de la ferme de robots des médias sociaux, et notamment la manière dont les créateurs de la ferme de robots ont exploité leur système d'intelligence artificielle sur mesure pour mener à bien leur projet.

Le ministère de la justice espère que cet avis permettra aux plateformes de médias sociaux et aux chercheurs « d'identifier et d'empêcher le gouvernement russe de continuer à utiliser cette technologie ». En outre, X Corp. (anciennement Twitter) a volontairement suspendu les derniers comptes de bots identifiés dans les documents judiciaires pour violation des conditions d'utilisation.


Détails techniques

Meliorator

Dès 2022, RT a eu accès à Meliorator, un logiciel de génération et de gestion de fermes de robots basé sur l'IA, pour diffuser de la désinformation dans et sur un certain nombre de pays, dont les États-Unis, la Pologne, l'Allemagne, les Pays-Bas, l'Espagne, l'Ukraine et Israël. Meliorator a été conçu pour être utilisé sur les réseaux de médias sociaux afin de créer des personnages « authentiques » en masse, permettant la propagation de la désinformation, ce qui pourrait aider la Russie à exacerber la discorde et à tenter de modifier l'opinion publique dans le cadre d'opérations d'information. En juin 2024, Meliorator ne fonctionnait que sur X (anciennement connu sous le nom de Twitter).

Cependant, des analyses complémentaires suggèrent que la fonctionnalité du logiciel serait probablement étendue à d'autres réseaux de médias sociaux.

Pour assurer cette fonctionnalité, Meliorator comprend un panneau d'administration appelé "Brigadir" et un outil d'ensemencement appelé "Taras". Pour accéder à Meliorator, les utilisateurs se connectent au moyen d'une connexion VNC (Virtual Network Computing). En utilisant le logiciel Redmine (qui prend en charge 49 langues, est multiplateforme et peut être utilisé dans plusieurs bases de données) pour la gestion de projet, les développeurs ont hébergé Meliorator à l'adresse dtxt.mlrtr[.]com.


Brigadir

Brigadir est la principale interface utilisateur de Meliorator et sert de panneau d'administration. Brigadir sert d'interface graphique pour l'application Taras et comprend des onglets pour les « âmes », les fausses identités qui serviraient de base aux bots, et les « pensées », qui sont les scénarios ou actions automatisés qui pourraient être mis en œuvre au nom des bots, comme le partage de contenu sur les médias sociaux à l'avenir

Taras

"Taras" sert de back-end au logiciel Meliorator, qui contient des fichiers .json utilisés pour contrôler les personas qui sèment la désinformation sur les médias sociaux. Ces fichiers sont des codes hautement décentralisés, qui doivent être combinés avec d'autres fichiers lors de l'exécution afin d'obtenir la fonctionnalité souhaitée. Deux fichiers spécifiques sont essentiels au fonctionnement de Taras. Le premier fichier est conçu pour agréger un certain nombre d'autres outils et bases de données en vue de leur utilisation (figure 1). Le second (figure 2) est conçu pour regrouper et exécuter un certain nombre d'outils d'automatisation utilisés par Meliorator.


Âmes

Les identités ou « âmes » de ces robots sont déterminées en fonction de la sélection de paramètres spécifiques ou d'archétypes choisis par l'utilisateur. Tout champ non présélectionné est généré automatiquement. Les archétypes de bots sont ensuite créés pour regrouper les bots idéologiquement alignés à l'aide d'un algorithme spécifiquement conçu pour construire le personnage de chaque bot, en déterminant la localisation, les idéologies politiques et même les données biographiques du personnage. Ces détails sont automatiquement complétés en fonction de la sélection de l'archétype de l'âme. Une fois l'identité créée par Taras, elle est enregistrée sur la plateforme de médias sociaux. Les identités sont stockées à l'aide d'une base de données MongoDB, qui peut permettre des requêtes ad hoc, l'indexation, l'équilibrage de la charge, l'agrégation et l'exécution JavaScript côté serveur.


Pensées

L'onglet « pensées » contient des scénarios ou des actions automatisés qui peuvent être réalisés au nom d'une âme ou d'un groupe d'âmes. Cela permet aux personas d'aimer, de partager, de réafficher et de commenter les messages des autres avec des vidéos ou des liens. L'onglet « pensées » permet également d'assurer la maintenance, de créer un nouvel enregistrement pour une identité et de se connecter à des profils déjà existants. Le framework de l'onglet « pensées » et les scénarios qu'il crée sont visibles dans le code ; ces fichiers sont écrits séparément et un fichier parent fait appel à des fichiers plus petits pour remplir la fonction. La figure 3 est un fichier agrégateur qui déclenche la fonctionnalité des scénarios. Il est particulièrement intéressant de noter qu'il appelle les pensées de la base de données MongoDB et qu'il appelle les fichiers qui fournissent à l'interface graphique ses fonctionnalités, ce qui la rend plus conviviale. Le même code contient des références à d'autres plateformes de médias sociaux, notamment Facebook et Instagram, ce qui indique une intention d'étendre le projet au-delà de X, comme le montre la figure 5.


Les mesures d'atténuation comprennent le renforcement de l'authentification

Pour éviter d'être détectés, les acteurs ont mis en œuvre un certain nombre de techniques d'obscurcissement, notamment le masquage des adresses IP, le contournement de l'authentification à deux facteurs et la modification de la chaîne de l'agent utilisateur. « Les opérateurs évitent la détection en utilisant un code backend conçu pour attribuer automatiquement une adresse IP proxy au personnage généré par l'IA en fonction de sa localisation supposée », ajoute l'avis.

Dans cet avis, les autorités recommandent aux organisations de médias sociaux de mettre en œuvre des mesures d'atténuation afin de réduire l'impact de l'utilisation de ces plateformes par des acteurs russes.

Parmi les mesures ajoutées aux recommandations figurent la mise en œuvre de processus permettant de valider que les comptes sont créés et gérés par une personne humaine, l'examen et la mise à jour des processus d'authentification et de vérification, l'utilisation de protocoles permettant d'identifier et d'examiner ultérieurement les utilisateurs dont les chaînes d'agents utilisateurs sont suspectes, et la sécurisation des comptes utilisateurs par défaut en utilisant des paramètres par défaut tels que l'AMF.

En outre, l'avis fournit des détails sur l'infrastructure associée utilisée dans la campagne de désinformation, notamment les adresses IP, les certificats SSL et les domaines de serveurs de messagerie utilisés par l'acteur.

« L'IA fait désormais clairement partie de l'arsenal de désinformation »

Nina Jankowicz, directrice de l'American Sunlight Project, une organisation à but non lucratif qui tente de lutter contre la propagation de la désinformation, a déclaré qu'il n'était pas surprenant qu'une opération liée à la Russie s'appuie sur l'IA pour créer de faux comptes.

« C'était l'une des parties les plus fastidieuses de leur travail ; aujourd'hui, elle a été rendue beaucoup plus facile par les technologies qui ont facilité cette opération », a-t-elle déclaré, notant que l'opération semble avoir été contrecarrée avant qu'elle ne prenne de l'ampleur.

« L'intelligence artificielle fait désormais clairement partie de l'arsenal de désinformation », a déclaré Jankowicz.

Le FBI a qualifié cette action de « première tentative de perturber une ferme de bots alimentée par l’IA, sponsorisée par la Russie ». Le but de la Russie était de diffuser de la désinformation générée par l’IA pour affaiblir ses partenaires en Ukraine et influencer les récits géopolitiques favorables au gouvernement russe.

Bien que les comptes aient depuis été supprimés, cette opération soulève des questions sur l’utilisation croissante de l’IA pour propager de la désinformation. Le département de la justice continue son enquête, mais aucune accusation criminelle n’a encore été rendue publique

Sources : ministère de la justice, avis de sécurité

Et vous ?

Quelle est la responsabilité des plateformes de médias sociaux dans la lutte contre la désinformation ? Devraient-elles faire plus pour détecter et supprimer les comptes automatisés alimentés par l’IA ?
Comment pouvons-nous éduquer le public sur la différence entre les informations authentiques et la désinformation générée par l’IA ? Quels sont les signes révélateurs à surveiller ?
Quelles mesures devraient être prises pour réguler l’utilisation de l’IA dans la diffusion de l’information ? Faut-il des lois spécifiques pour contrôler ces opérations ?
En quoi cette affaire affecte-t-elle la confiance du public dans les médias et les informations en ligne ? Comment pouvons-nous rétablir cette confiance ?