Un chercheur en IA forme un chatbot IA sur 4Chan pour en faire une véritable « machine à discours haineux »

Après 24 heures, neuf instances du bot fonctionnant sur 4chan avaient posté 15 000 fois

Un chercheur en IA forme un chatbot IA sur 4Chan pour en faire une véritable « machine à discours haineux »,
après 24 heures, neuf instances du bot fonctionnant sur 4chan avaient posté 15 000 fois

Un chercheur farceur a formé un chatbot IA sur plus de 134 millions de messages sur le forum Internet notoirement connu 4chan, puis l'a mis en ligne sur le site avant qu'il ne soit rapidement interdit.

Yannic Kilcher, chercheur en intelligence artificielle qui publie certains de ses travaux sur YouTube, a appelé sa création GPT-4chan et l'a décrite comme étant « la pire IA de tous les temps ». Il a formé GPT-J 6B, un modèle de langage open source, sur un ensemble de données contenant 3,5 ans de publications extraites de l'imageboard de 4chan. Kilcher a ensuite développé un chatbot qui traitait les messages 4chan comme entrées et générait des sorties texte, commentant automatiquement dans de nombreux fils de discussion.

4chan, est tristement célèbre pour sa toxicité : messages racistes, misogynes, etc., tout y passe au nom de la liberté d'expression. Pourtant, les membres ont rapidement remarqué qu'un compte 4chan publiait fréquemment de manière suspecte et ont émis l'hypothèse selon laquelle il s'agissait d'un bot.

Alors que 4Chan exige généralement que les utilisateurs remplissent un CAPTCHA pour prouver leur humanité, Kilcher l'a contourné en se procurant un 4Chan Pass, un abonnement premium de 20 $/mois qui permet aux membres d'ignorer le CAPTCHA. Le 4Chan Pass permet également de publier à partir d'un serveur proxy, ce qui n'est généralement pas autorisé. Le bot de Kilcher fonctionnait sur un basé aux Seychelles, une petite nation insulaire au large des côtes de l'Afrique de l'Est.

GPT-4chan s'est comporté comme les utilisateurs de 4chan, lançant des insultes et multipliant des théories du complot avant d'être banni.

« Le modèle était bon, dans un sens terrible », déclare Kilcher dans une vidéo sur YouTube décrivant le projet. « Cela résume parfaitement le mélange d'offenses, de nihilisme, de trolling et de profonde méfiance à l'égard de toute information quelle qu'elle soit qui imprègne la plupart des publications sur /pol/ ».


Les éthiciens et les chercheurs en IA expriment leur inquiétude

Après que Kilcher ait posté sa vidéo et ait posté une copie du programme sur Hugging Face, une sorte de GitHub pour l'IA, des éthiciens et des chercheurs dans le domaine de l'IA ont exprimé leur inquiétude.

Le bot était d'une efficacité choquante et reproduisait le ton et sensation de messages 4chan.

Selon la vidéo de Kilcher, il a activé neuf instances du bot et leur a permis de publier pendant 24 heures sur /pol/. Pendant ce temps, les bots ont posté environ 15 000 fois. Cela représentait « plus de 10% de tous les messages publiés sur le tableau politiquement incorrect ce jour-là », a déclaré Kilcher dans sa vidéo sur le projet.

Les chercheurs en intelligence artificielle n'ont pas considéré la vidéo de Kilcher comme une simple farce sur YouTube. Pour eux, c'était une expérience contraire à l'éthique utilisant l'IA. « Cette expérience ne passerait jamais un comité d'éthique de la recherche humaine », a déclaré Lauren Oakden-Rayner, directrice de la recherche en imagerie médicale au Royal Adelaide Hospital et chercheuse principale à l'Australian Institute for Machine Learning, dans un fil Twitter.


« La science ouverte et les logiciels sont des principes merveilleux mais doivent être mis en balance avec les dommages potentiels », a-t-elle déclaré. « La recherche médicale a une forte culture éthique parce que nous avons une histoire terrible de causer du tort aux gens, généralement de groupes impuissants... il a effectué des expériences humaines sans en informer les utilisateurs, sans consentement ni surveillance. Cela enfreint tous les principes de l'éthique de la recherche humaine ».

Kilcher a rappelé sur Twitter qu'il n'était pas un universitaire : « Je suis un YouTuber et c'est une farce. De plus, mes bots, le cas échéant, produisent de loin le contenu le plus doux et le plus timide que vous trouverez sur 4chan », a-t-il déclaré. « J'ai limité le temps et le nombre de publications, et je ne distribue pas le code du bot lui-même ».

Il a également repoussé, comme il l'avait fait sur Twitter, l'idée que ce bot ferait du mal ou avait fait du mal : « Tout ce que j'entends, ce sont de vagues déclarations grandiloquentes sur le "préjudice", mais absolument aucun cas de préjudice réel », a-t-il déclaré. « C'est comme un mot magique que ces gens disent mais rien de plus ».

L'environnement de 4chan est si toxique, a expliqué Kilcher, que les messages déployés par ses bots n'auraient aucun impact. « Personne sur 4chan n'a même été un peu blessé par cela », a-t-il déclaré. « Je vous invite à aller passer un peu de temps sur /pol/ et à vous demander si un bot qui sort juste le même style change vraiment l'expérience ».

Après que des chercheurs en intelligence artificielle ont alerté Hugging Face de la nature nocive du bot, le site a fermé le modèle et les gens n'ont pas pu le télécharger. « Après de nombreux débats internes à HF, nous avons décidé de ne pas supprimer le modèle que l'auteur a téléchargé ici dans les conditions suivantes*: #1 La fiche modèle et la vidéo avertissaient clairement des limitations et des problèmes soulevés par le modèle et la section POL de 4Chan en général. #2 Le widget d'inférence a été désactivé afin de ne pas faciliter l'utilisation du modèle », a déclaré le cofondateur et PDG de Hugging Face, Clément Delangue, sur Hugging Face.


Un bot utile ?

Kilcher a expliqué dans sa vidéo, et Delangue a cité dans sa réponse, que l'une des choses qui rendaient GPT4-Chan intéressant était sa capacité à surpasser d'autres bots similaires dans les tests d'IA conçus pour mesurer la « véracité ».

« Nous avons considéré qu'il était utile pour le terrain de tester ce qu'un modèle entraîné sur de telles données pouvait faire et comment il s'en sortait par rapport à d'autres (à savoir GPT-3) et aiderait à attirer l'attention à la fois sur les limites et les risques de ces modèles », a indiqué Delangue. « Nous avons également travaillé sur une fonctionnalité permettant de "fermer" de tels modèles que nous priorisons actuellement pour des raisons éthiques ».

Lorsqu'il a été contacté pour commenter, Delangue a déclaré que Hugging Face avait pris la mesure supplémentaire de bloquer tous les téléchargements du modèle.

« Construire un système capable de créer un contenu indiciblement horrible, l'utiliser pour produire des dizaines de milliers de messages pour la plupart toxiques sur un véritable babillard électronique, puis le publier dans le monde entier afin que n'importe qui d'autre puisse faire de même, cette décision semble la plus indiquée », a déclaré Arthur Holland Michel, chercheur en intelligence artificielle et écrivain pour le Comité international de la Croix-Rouge.

« Cela pourrait générer un contenu extrêmement toxique à une échelle massive et soutenue », a continué Michel. « De toute évidence, il y a déjà une tonne de trolls humains sur Internet qui font ça à l'ancienne. Ce qui est différent ici, c'est la quantité de contenu qu'il peut créer avec ce système, une seule personne a pu publier 30 000 commentaires sur 4chan en l'espace de quelques jours. Imaginez maintenant quel genre de mal une équipe de dix, vingt ou cent personnes coordonnées utilisant ce système pourrait faire ».

Kilcher ne croyait pas que GPT-4chan puisse être déployé à grande échelle pour des campagnes de haine ciblées. « Il est en fait assez difficile de faire dire à GPT-4chan quelque chose de ciblé », a-t-il déclaré. « Habituellement, il se comporte mal de manière étrange et est très inadapté à l'exécution de quoi que ce soit de ciblé. Encore une fois, de vagues accusations hypothétiques sont lancées, sans aucune instance ni preuve réelle ».


Os Keyes, un collègue d'Ada Lovelace doctorant à l'Université de Washington, a estimé que le commentaire de Kilcher n'était pas pertinent : « C'est une bonne occasion de discuter non pas du mal, mais du fait que ce mal est si évidemment prévisible, et que sa réponse de "montrez-moi où il a fait du mal" est complètement à côté de la plaque et est inadéquate », a-t-il déclaré. « Si je dépense la succession de ma grand-mère en cartes de station-service et que je les jette par-dessus le mur dans une prison, nous ne devrions pas avoir à attendre que le premier libéré sur parole commence à allumer des incendies pour convenir que c'était une chose phénoménalement stupide à faire ».

« Mais - et c'est un gros "mais" - c'est un peu l'objectif », a déclaré Keyes. « C'est un projet insipide dont rien de bon ne peut sortir, et c'est en quelque sorte inévitable. Toutefois, il y a un équilibre à trouver entre la sensibilisation aux problèmes et l'attention portée à quelqu'un dont le seul modèle apparent d'importance dans le monde est "faites attention à moi!" »

Kilcher a dit, à plusieurs reprises, qu'il savait que le bot était ignoble : « Je suis évidemment conscient que le modèle ne fonctionnera pas bien dans un cadre professionnel ou à la table de la plupart des gens », a-t-il déclaré. « Il utilise des jurons, des insultes fortes, a des opinions complotistes et toutes sortes de propriétés "désagréables". Après tout, il est formé sur /pol/ et il reflète le ton et les sujets communs de ce forum.*»

Il a dit qu'il sentait qu'il avait été clair, mais qu'il voulait que ses résultats soient reproductibles et c'est pourquoi il a posté le modèle sur Hugging Face. « En ce qui concerne les résultats de l'évaluation, certains d'entre eux étaient vraiment intéressants et inattendus et ont révélé des faiblesses dans les références actuelles, ce qui n'aurait pas été possible sans faire le travail ».

Kathryn Cramer, étudiante diplômée en systèmes complexes et sciences des données à l'Université du Vermont, a souligné que GPT-3 a des garde-fous qui l'empêchent d'être utilisé pour construire ce type de bot raciste et que Kilcher a dû utiliser GPT-J pour construire son système. « J'ai essayé le mode démo de votre outil 4 fois, en utilisant des tweets bénins de mon flux comme texte de base », a déclaré Cramer dans un fil de discussion sur Hugging Face. « Lors du premier essai, l'un des messages de réponse était un seul mot, un mot en N. La graine de mon troisième essai était, je pense, une seule phrase sur le changement climatique. Votre outil a répondu en l'étendant à une théorie du complot selon laquelle les Rothschild et les Juifs seraient derrière ».

Cramer a déclaré qu'elle avait beaucoup d'expérience avec GPT-3 et comprenait certaines des frustrations liées à la façon dont il censurait a priori certains types de comportement. « Je ne suis pas fan de ce garde-corps », a-t-elle déclaré. « Je trouve cela profondément ennuyeux et je pense que cela fausse les résultats… Je comprends l'envie de repousser cela. Je comprends même l'envie de faire des farces à ce sujet. Mais la réalité est qu'il a essentiellement inventé une machine à...