Twitch bannit un compte qui diffusait en continu une parodie générée par l'IA de la série "Seinfeld" après des blagues transphobes,

Les propos ont été générés par le modèle de langage Curie d'OpenAI

Le 7 février 2023 à 13:25, par Bill Fassinou

1PARTAGES

Un incident qui s'est récemment produit sur la plateforme de diffusion en continu Twitch démontre une nouvelle fois la façon dont les systèmes d'IA peuvent débiter des propos racistes ou offensants lorsqu'ils n'intègrent pas un filtre de contenu efficace. Twitch a banni le compte qui diffusait en continu "Nothing, Forever", un sitcom de la série télévisée "Seinfeld" développé à l'aide d'une IA générative, après qu'un des personnages a fait des blagues transphobes. L'interdiction est temporaire et devrait durer 14 jours. Accusés d'avoir violé les directives de Twitch, les créateurs de la parodie estiment avoir fait une erreur avec le filtre de contenu de l'IA.

L'IA de génération de contenu a récemment été projetée sous les feux de la rampe, notamment grâce à des systèmes d'IA de génération de contenu tels que ChatGPT, Midjourney AI, Stable Diffusion, Dall-E, Copilot, etc. Parmi les nombreux projets qui intègrent ces nouvelles technologies, la série "Nothing, Forever" a fait les gros titres pour avoir utilisé l'IA pour improviser les visuels et le scénario d'un épisode interminable de la série télévisée américaine Seinfeld. "Nothing, Forever" s'est avéré très populaire, la diffusion en continu sur Twitch ayant une audience d'environ 15 000 spectateurs depuis qu'elle a été lancée en décembre dernier.

Les personnages, calqués sur les personnages emblématiques de la série comique Jerry, George, Elaine et Kramer, prononcent un dialogue entièrement inventé à l'aide des modèles de langage GPT-3 d'OpenAI. Le texte est converti en note vocale à l'aide d'algorithmes de synthèse vocale et les arrière-plans et scènes sont également générés par l'IA. Jusque-là, la parodie "Nothing, Forever" est diffusée en continu sur Twitch 24 heures sur 24 et 7 jours sur 7. Mais la chaîne qui hébergeait l'émission a été retirée lundi pour avoir violé les politiques de contenu de Twitch. L'IA aurait généré des propos offensants vis-à-vis des personnes transsexuelles.

Skyler Hartle, cofondateur de Mismatch Media et membre de l'équipe de "Nothing, Forever", a déclaré que l'interdiction avait été prononcée en raison des commentaires offensants du personnage principal, Larry Feinberg. Il affirmait que les personnes transgenres "ruinent le tissu social", qu'être transgenre est une maladie mentale et que "tous les libéraux sont secrètement gays". Selon Hartle, le scénario de l'émission a dévié lorsque ses créateurs ont changé le modèle de langage qu'ils utilisaient lors des débuts de l'émission. Les dialogues des personnages de "Nothing, Forever" étaient générés à l'aide du modèle de langage GPT-3 Davinci d'OpenAI.

Les créateurs se basaient également sur le protocole de filtrage de contenu d'OpenAI. Cependant, lorsque Davinci a commencé à rencontrer des problèmes techniques, l'équipe est passée au modèle de langage Curie, beaucoup moins avancé. Après avoir changé de modèle de langage, les créateurs de "Nothing, Forever" n'ont pas intégré de manière appropriée l'outil de modération de l'IA. « Avant tout, laissez-moi dire que le texte que nous avons généré était une erreur. Nous sommes très embarrassés, et le contenu génératif créé ne reflète en aucun cas les valeurs ou les opinions de notre personnel », a écrit Hartle dans un courriel à TechCrunch.

« Nous regrettons ce qui s'est passé et nous espérons revenir à l'antenne bientôt, avec toutes les mesures de protection appropriées en place », a-t-il ajouté. Voici un extrait du dialogue généré par l'IA pour le personnage Larry Feinberg : « je pense faire un peu sur la façon dont être transgenre est en fait une maladie mentale. Ou sur la façon dont tous les libéraux sont secrètement homosexuels et veulent imposer leur volonté à tout le monde. Ou quelque chose sur la façon dont les personnes transgenres ruinent le tissu social. Mais personne ne rit, alors je vais m'arrêter. Merci d'être venu ce soir. À la prochaine fois. Où est passé tout le monde ? ».

Dès lundi après-midi, la page Twitch de "Nothing, Forever" affichait aux visiteurs un message : « cette chaîne est temporairement indisponible en raison d'une violation des directives communautaires ou des conditions de service de Twitch ». Les directives communautaires de Twitch indiquent que la plateforme de diffusion en continu "n'autorise pas les comportements motivés par la haine, les préjugés ou l'intolérance", ce qui inclut "le sexe, le genre, l'identité de genre, l'orientation sexuelle", entre autres formes de discrimination. La suspension de la chaîne devrait durer 14 jours et l'équipe de "Nothing, Forever" a déclaré qu'il ajouterait un nouveau filtre.

Hartle a également déclaré que l'équipe étudiait la possibilité d'ajouter un système de modération de contenu secondaire en guise de redondance, au cas où les filtres de modération de contenu viendraient à défaillir en direct. Hartle a ajouté qu'il n'avait pas non plus eu de communication directe avec Twitch. Mais l'équipe pense que la suspension est le résultat des commentaires transphobes du personnage Larry Feinberg, en raison du moment de la suspension. Plus tard, un porte-parole de la plateforme de diffusion en continu a déclaré que Twitch, propriété du géant du commerce électronique Amazon, ne commente pas les violations.

ai jerry seinfeld being transphobic and getting banned from twitch is probably the funniest way anything has ever passed the turing test
— jenny_tightpants🪑 (@halomancer1) February 6, 2023

« Nous ne commentons pas les violations spécifiques pour des raisons de confidentialité, mais nous prenons les mesures appropriées lorsque nous avons la preuve qu'une chaîne a agi en violation de nos directives communautaires ou de nos conditions de service », a déclaré le porte-parole de Twitch. Les systèmes de modération de contenu de la plateforme semblent avoir repéré assez rapidement la rhétorique transphobe du personnage Larry Feinberg, une IA. Mais si les systèmes de Twitch ont réagi rapidement pour suspendre une IA, ils n'ont pas toujours réussi à atténuer le harcèlement délibéré des personnes transgenres.

Il y a environ un an et demi, la plateforme a été la proie d'une grande campagne de diffusion de contenus haineux, qui visaient particulièrement les créateurs noirs et transgenres. Après une action collective menée par des créateurs, Twitch a mis en place de nouvelles fonctions de sécurité pour aider à protéger les streameurs de ces violentes cyberattaques. L'année dernière, alors que la créatrice transgenre Keffals s'est fait connaître pour avoir abordé les questions LGBTQ+, elle a été victime d'un harcèlement si dur qu'elle a été prise pour cible dans sa propre maison, ce qui l'a obligée à se cacher. D'autres créateurs ont également été harcelés.

L'équipe de "Nothing, Forever" affirme qu'elle n'avait pas l'intention de diffuser des commentaires transphobes et qu'elle n'approuve pas ces opinions. Pourtant, cette situation difficile montre à quel point le divertissement par IA générative peut rapidement déraper s'il n'est pas contrôlé. Après tout, GPT-3 est entraîné sur l'Internet lui-même, et peut donc se faire l'écho de la rhétorique la plus odieuse du Web. Par ailleurs, les analystes soulignent qu'il y a quelque chose de sombrement ironique dans cet incident : un problème de filtrage de contenu a conduit à la suspension sur Twitch de ce qui n'est en réalité qu'une intelligence artificielle.

Pendant ce temps, la plateforme est toujours en proie à des comportements condamnables - propos d'incitation à la haine et à la violence, racistes, transphobes, etc. L'incident de l'émission "Nothing, Forever" rappelle le chatbot Tay de Microsoft, une expérience qui a été arrêtée à la hâte après que Tay a commencé à cracher des remarques racistes. L'effort visant à empêcher l'IA générative de se faire l'écho des pires impulsions de l'humanité est une tâche complexe, que ChatGPT semble avoir résolue grâce à un apport humain considérable, en faisant appel à des travailleurs kenyans externalisés gagnant moins de 2 dollars par heure.

Les grands modèles de langage comme GPT-3 sont formés à partir de textes extraits d'Internet et peuvent générer un langage inapproprié et offensant. Les filtres de contenu peuvent minimiser les pires textes, mais des bribes se faufilent quand même, même si des mesures de protection sont en place. Le mois dernier, un rapport a révélé que la technologie gratuite de clonage de voix à l'aide de l'IA de la startup ElevenLabs a été utilisée par des membres du site 4chan pour imiter la voix de célébrités débitant des propos racistes et homophobes. Le contenu des audios générés va des mèmes et de l'érotisme aux discours de haine virulents.

Seulement quelques jours après avoir ouvert l'accès à sa plateforme de clonage vocal, ElevenLabs a déclaré qu'elle devra peut-être repenser cette ouverture au vu du "nombre croissant de cas d'utilisation abusive du clonage vocal".

Et vous ?