La guerre de l'information à l'ère de l'IA : le FBI annonce la perquisition de 968 comptes automatisés sur X en provenance de Russie

Qui diffusaient de la propagande aux États-Unis et dans d'autres pays

Les responsables américains ont récemment pris des mesures contre une opération d’information alimentée par l’intelligence artificielle en provenance de Russie. Cette opération comprenait près de 1 000 comptes prétendant être des Américains. Cependant, ces comptes étaient en réalité des « bots » automatisés, et non des personnes réelles.

Une opération conjointe du FBI et des forces internationales de cybersécurité a permis de démanteler une ferme de robots secrète sur les réseaux sociaux, gérée par le gouvernement russe, qui utilisait l'IA générative pour diffuser de la désinformation auprès d'utilisateurs du monde entier.

Des affiliés de l'organe de presse Russia Today (RT), parrainé par l'État russe, ont utilisé Meliorator - un logiciel de génération et de gestion de fermes de robots utilisant l'IA - pour créer plus de 1 000 bots sur X (anciennement Twitter) destinés à diffuser de la désinformation dans et sur de nombreux pays, dont les États-Unis, la Pologne, l'Allemagne, les Pays-Bas, l'Espagne, l'Ukraine et Israël.

Le ministère de la justice a déclaré dans un communiqué de presse :

« Le ministère de la justice a annoncé aujourd'hui la saisie de deux noms de domaine et la perquisition de 968 comptes de médias sociaux utilisés par des acteurs russes pour créer une ferme de robots de médias sociaux améliorés par l'IA qui a diffusé de la désinformation aux États-Unis et à l'étranger. La ferme de robots des médias sociaux utilisait des éléments de l'IA pour créer des profils de médias sociaux fictifs - souvent censés appartenir à des personnes aux États-Unis - que les opérateurs utilisaient ensuite pour promouvoir des messages soutenant les objectifs du gouvernement russe, selon les déclarations sous serment dévoilées aujourd'hui ».

Parallèlement aux saisies de domaines et aux mandats de perquisition annoncés aujourd'hui, le FBI et la Cyber National Mission Force (CNMF), en partenariat avec le Centre canadien de cybersécurité (CCCS), le Service général de renseignement et de sécurité des Pays-Bas (AIVD), le Service militaire de renseignement et de sécurité des Pays-Bas (MIVD) et la police néerlandaise, ont publié un avis de cybersécurité commun décrivant en détail la technologie à l'origine de la ferme de robots des médias sociaux, et notamment la manière dont les créateurs de la ferme de robots ont exploité leur système d'intelligence artificielle sur mesure pour mener à bien leur projet.

Le ministère de la justice espère que cet avis permettra aux plateformes de médias sociaux et aux chercheurs « d'identifier et d'empêcher le gouvernement russe de continuer à utiliser cette technologie ». En outre, X Corp. (anciennement Twitter) a volontairement suspendu les derniers comptes de bots identifiés dans les documents judiciaires pour violation des conditions d'utilisation.


Détails techniques

Meliorator

Dès 2022, RT a eu accès à Meliorator, un logiciel de génération et de gestion de fermes de robots basé sur l'IA, pour diffuser de la désinformation dans et sur un certain nombre de pays, dont les États-Unis, la Pologne, l'Allemagne, les Pays-Bas, l'Espagne, l'Ukraine et Israël. Meliorator a été conçu pour être utilisé sur les réseaux de médias sociaux afin de créer des personnages « authentiques » en masse, permettant la propagation de la désinformation, ce qui pourrait aider la Russie à exacerber la discorde et à tenter de modifier l'opinion publique dans le cadre d'opérations d'information. En juin 2024, Meliorator ne fonctionnait que sur X (anciennement connu sous le nom de Twitter).

Cependant, des analyses complémentaires suggèrent que la fonctionnalité du logiciel serait probablement étendue à d'autres réseaux de médias sociaux.

Pour assurer cette fonctionnalité, Meliorator comprend un panneau d'administration appelé "Brigadir" et un outil d'ensemencement appelé "Taras". Pour accéder à Meliorator, les utilisateurs se connectent au moyen d'une connexion VNC (Virtual Network Computing). En utilisant le logiciel Redmine (qui prend en charge 49 langues, est multiplateforme et peut être utilisé dans plusieurs bases de données) pour la gestion de projet, les développeurs ont hébergé Meliorator à l'adresse dtxt.mlrtr[.]com.


Brigadir

Brigadir est la principale interface utilisateur de Meliorator et sert de panneau d'administration. Brigadir sert d'interface graphique pour l'application Taras et comprend des onglets pour les « âmes », les fausses identités qui serviraient de base aux bots, et les « pensées », qui sont les scénarios ou actions automatisés qui pourraient être mis en œuvre au nom des bots, comme le partage de contenu sur les médias sociaux à l'avenir

Taras

"Taras" sert de back-end au logiciel Meliorator, qui contient des fichiers .json utilisés pour contrôler les personas qui sèment la désinformation sur les médias sociaux. Ces fichiers sont des codes hautement décentralisés, qui doivent être combinés avec d'autres fichiers lors de l'exécution afin d'obtenir la fonctionnalité souhaitée. Deux fichiers spécifiques sont essentiels au fonctionnement de Taras. Le premier fichier est conçu pour agréger un certain nombre d'autres outils et bases de données en vue de leur utilisation (figure 1). Le second (figure 2) est conçu pour regrouper et exécuter un certain nombre d'outils d'automatisation utilisés par Meliorator.


Âmes

Les identités ou « âmes » de ces robots sont déterminées en fonction de la sélection de paramètres spécifiques ou d'archétypes choisis par l'utilisateur. Tout champ non présélectionné est généré automatiquement. Les archétypes de bots sont ensuite créés pour regrouper les bots idéologiquement alignés à l'aide d'un algorithme spécifiquement conçu pour construire le personnage de chaque bot, en déterminant la localisation, les idéologies politiques et même les données biographiques du personnage. Ces détails sont automatiquement complétés en fonction de la sélection de l'archétype de l'âme. Une fois l'identité créée par Taras, elle est enregistrée sur la plateforme de médias sociaux. Les identités sont stockées à l'aide d'une base de données MongoDB, qui peut permettre des requêtes ad hoc, l'indexation, l'équilibrage de la charge, l'agrégation et l'exécution JavaScript côté serveur.


Pensées

L'onglet « pensées » contient des scénarios ou des actions automatisés qui peuvent être réalisés au nom d'une âme ou d'un groupe d'âmes. Cela permet aux personas d'aimer, de partager, de réafficher et de commenter les messages des autres avec des vidéos ou des liens. L'onglet « pensées » permet également d'assurer la maintenance, de créer un nouvel enregistrement pour une identité et de se connecter à des profils déjà existants. Le framework de l'onglet « pensées » et les scénarios qu'il crée sont visibles dans le code ; ces fichiers sont écrits séparément et un fichier parent fait appel à des fichiers plus petits pour remplir la fonction. La figure 3 est un fichier agrégateur qui déclenche la fonctionnalité des scénarios. Il est particulièrement intéressant de noter qu'il appelle les pensées de la base de données MongoDB et qu'il appelle les fichiers qui fournissent à l'interface graphique ses fonctionnalités, ce qui la rend plus conviviale. Le même code contient des références à d'autres plateformes de médias sociaux, notamment Facebook et Instagram, ce qui indique une intention d'étendre le projet au-delà de X, comme le montre la figure 5.


Les mesures d'atténuation comprennent le renforcement de l'authentification

Pour éviter d'être détectés, les acteurs ont mis en œuvre un certain nombre de techniques d'obscurcissement, notamment le masquage des adresses IP, le contournement de l'authentification à deux facteurs...