TikTok est inondé de vidéos à caractère raciste et antisémite créées à l'aide de l'outil d'IA de génération de vidéo Veo 3 de Google,

Les garde-fous mis en place par Google et TikTok se révèlent inefficaces

TikTok est inondé de vidéos à caractère raciste et antisémite créées à l'aide de l'outil d'IA de génération de vidéo Veo 3 de Google
les garde-fous mis en place par Google et TikTok se révèlent inefficaces

La sortie de Veo 3 Google a marqué une avancée significative dans la génération de vidéo par l'IA. Seulement quelques heures après son lancement, Veo 3 avait entraîné une explosion de contenus sur des plateformes telles que X (ex-Twitter) et YouTube. Aujourd'hui, des utilisateurs de TikTok inondent la plateforme avec des vidéos illustrant des thèmes racistes et antisémites réalisées avec Veo 3. Ils publient également des vidéos trompeuses d'immigrants et de manifestants générées par l'IA. Les vidéos sont devenues virales, avec des millions de visionnages, ce qui suscite des préoccupations quant à la capacité de l'IA à renforcer les stéréotypes existants.

Google a lancé Veo 3 le 20 mai 2025 lors de sa conférence annuelle I/O. Veo 3 est un générateur de vidéos courtes (environ 8 secondes). Cette technologie avancée permet de créer des vidéos réalistes à partir de simples descriptions textuelles, intégrant dialogues, musiques et effets sonores. Cependant, son utilisation soulève des questions sur la prolifération de contenus générés par l'IA sur des plateformes de médias sociaux et leurs impacts sur la société.

Media Matters for America (Media Matters) a détecté des vidéos haineuses sur TikTok utilisant cet outil, repérées grâce au filigrane « Veo » dans un coin, à des hashtags ou noms d’utilisateur évoquant « Veo 3 » ou « IA », ainsi qu’à des signes de génération automatique (distorsions, textes incohérents).

Selon Media Matters, les vidéos identifiées reprennent des clichés racistes, notamment en décrivant les Noirs comme des singes et des criminels et en les représentant avec des pastèques et du poulet frit. Et dans un cauchemar particulièrement dystopique, certaines vidéos générées par l'IA reconstituent les traumatismes historiques des groupes marginalisés, décrivant des camps de concentration et des attaques du Ku Klux Klan contre des Noirs américains.

Quand l'IA facilite la diffusion des clichés racistes et antisémites

La plupart des propos virulents générés par l'IA visent les Noirs, les décrivant comme « les suspects habituels » dans les crimes, des parents absents et des singes qui aiment les pastèques. Le contenu vise également les immigrants et les Juifs. Les vidéos durent au maximum huit secondes ; Media Matters a également identifié des compilations de plusieurs clips ne durant pas plus de 8 secondes. « Il s'agit d'une utilisation très grave de l'IA », note un critique.


Par exemple, une vidéo est intitulée « Average Waffle House in Atlanta » et montre un restaurant rempli de singes. Une voiture percute la porte d'entrée du restaurant et cinq singes sautent du véhicule en tenant des seaux de poulet frit de type KFC remplis de pastèques. La vidéo montre ensuite des singes se déchaînant dans le restaurant, lançant des pastèques et transportant des seaux de poulet frit. Ce clip avait été visionné un peu plus de 600 000 fois.

La compilation vidéo ci-dessous contient des exemples tirés de TikTok depuis la sortie de Veo 3, mais attention, elle contient du contenu raciste et antisémite. Certaines vidéos sont choquantes, ce qui est probablement le but : rien ne stimule autant l'engagement sur les médias sociaux que la colère et le drame. Media Matters ajoute que les publications originales ont suscité un torrent de commentaires reprenant les stéréotypes utilisés dans la vidéo.

Certaines des vidéos mises en avant par Media Matters sont également disponibles sur YouTube et Instagram, mais avec moins de vues. D'autres vidéos trouvées par Media Matters contiennent des propos antisémites et des représentations racistes des immigrants et des personnes d'origine asiatique.

Une vidéo virale (14,2 millions de vues) montre deux policiers blancs mangeant des beignets. Puis l'un d'eux dit : « regardez ! un Noir ! » et tire plusieurs fois sur son arme. Dans une autre vidéo, avec 2,1 millions de vues, un policier blanc tient une canne à pêche avec une pastèque en guise d'appât et affirme : « mes chiffres sont bas cette semaine. Un homme doit faire ce qu'un homme doit faire », tandis qu'une femme noire s'approche de lui à quatre pattes.

Des logiciels d'IA qui échappent au contrôle de leurs créateurs

Google a mis l'accent sur la sécurité lors de l'annonce de son générateur de vidéo Veo 3 en mai dernier. Il arrive qu'un système d'IA refuse d'effectuer une tâche qui enfreigne ses règles. Et ce n'est jamais agréable lorsque vos intentions sont véritablement inoffensives, mais que le système génère un faux positif et bloque la génération du contenu. Google a généralement trouvé le bon équilibre jusqu'à présent, mais il semble que Veo 3 soit plus permissif.


Certains utilisateurs affirment avoir testé de simples prompts (instruction générative) avec Veo 3 et constaté qu'il était facile de reproduire des éléments des vidéos signalées par Media Matters. Cela signifie que les utilisateurs trouvent facilement des astuces pour contourner les garde-fous de ces outils d'IA.

Les conditions d'utilisation de TikTok interdisent les contenus de ce type. « Nous n'autorisons aucun discours haineux, comportement haineux ou promotion d'idéologies haineuses. Cela inclut les contenus explicites ou implicites qui attaquent un groupe protégé », stipulent les directives communautaires. Malgré cette interdiction générale des caricatures racistes, les vidéos haineuses de Veo 3 semblent se propager sans aucun contrôle.

TikTok précise qu'il utilise à la fois la technologie et des modérateurs humains pour identifier les contenus qui enfreignent les règles. Mais le volume des publications rend difficile une modération en temps réel. Un porte-parole de TikTok a déclaré que plus de la moitié des comptes signalés dans le rapport de Media Matters avaient été bannis de la plateforme pour violation des règles avant la publication du rapport, et que les autres désormais été supprimés.

Dans le même temps, Google prévoit d'intégrer Veo 3 à YouTube Shorts, ce qui pourrait faciliter encore davantage la diffusion de contenus similaires sur la plateforme. Selon le PDG de YouTube, Neal Mohan, l'intégration de Veo 3 à Shorts ouvrira une nouvelle ère pour les créateurs. Mais des critiques émergent, certains affirmant que cette fonctionnalité rend la création de contenu si automatique qu’elle en devient industrielle, impersonnelle et médiocre.

Conclusion

L'IA générative facilite la création et la diffusion à grande échelle de contenus reprenant des clichés racistes et antisémites. TikTok et Google ont clairement interdit ce type de contenu, ce qui aurait dû empêcher leur diffusion. Cependant, ces politiques ne sont pas suffisamment appliquées. TikTok semble incapable de faire face au flot de vidéos mises en ligne, et les garde-fous de Google semblent insuffisants pour bloquer la création de ce type de contenu.

Depuis que l'IA générative existe, les gens l'utilisent pour créer des contenus provocateurs. Google et ses rivaux élaborent des garde-fous pour empêcher les abus, mais ils ne peuvent pas tout détecter. Le réalisme de Veo 3 le rend particulièrement attrayant pour ceux qui veulent répandre des stéréotypes haineux.

L'IA générative a aussi inauguré l'ère des « fake bands », c'est-à-dire des entités musicales fictives générées par de grands modèles de langage (LLM), qui prolifèrent aujourd’hui sur les plateformes de streaming comme YouTube et Spotify. Si certains enthousiastes saluent une nouvelle frontière créative, des critiques issues de l'industrie musicale y voient une menace pour les artistes réels, l’authenticité musicale et la viabilité des systèmes de rémunération établis.

Source : Media Matters

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous de la prolifération rapide des contenus racistes et antisémites en ligne à l'ère de l'IA ?
Comment lutter contre les abus des outils d'IA générative ? Quels impacts ces abus pourraient-ils avoir sur la société ?
Les garde-fous élaborés par les créateurs de ces outils semblent inefficaces contre les abus. Qu'en pensez-vous ?

Voir aussi

Veo 3, l'outil de génération de vidéo par IA de Google, entraîne une explosion de contenus sur des plateformes comme X et YouTube, quelques heures seulement après sa présentation durant la Google I/O/

Avec des milliards de vidéos YouTube à sa disposition, Google aurait formé les modèles d'IA Veo 3 et Gemini à partir du contenu des utilisateurs sans leur connaissance, leur approbation ou rémunération

YouTube Shorts va intégrer l'outil Veo 3 de Google pour permettre aux créateurs de générer des vidéos courtes à partir de rien grâce à l'IA, mais les utilisateurs craignent un déluge de contenus sans qualité