Le nouveau générateur d'images de la société IA d'Elon Musk peut créer n'importe quoi, de Macron et Trudeau qui s'embrassent à Mickey Mouse avec une arme.

Faut-il censurer comme ChatGPT ou laisser faire ?

Accessible aux détenteurs d’un abonnement « premium » au réseau social X, le chatbot Grok de xAI vous permet désormais de créer des images à partir de textes et de les publier sur X. L'outil est moins bridé que la concurrence ; les internautes ont facilement réussi à lui faire produire des images violentes et autres deepfakes.

Lancée en novembre dernier, Grok, l’intelligence artificielle (IA) d’Elon Musk, s’offre de nouvelles capacités. Ce mercredi 14 août, xAI, la startup d’IA du milliardaire, a dévoilé un nouveau modèle : Grok-2. Contrairement aux autres IA, Grok-2 semble cependant être moins limité. Depuis son annonce, de nombreux utilisateurs ont utilisé le modèle pour générer des images de personnalités politiques, ce qui est interdit avec Midjourney ou Dall-E d’OpenAI.

En fait, officiellement, l’IA ne peut pas générer des « images pornographiques, excessivement violentes, haineuses ou faisant la promotion d’activités dangereuses ».

Quand on lui pose la question Grok indique aussi être « prudent quant à la création d’images susceptibles d’enfreindre des droits d’auteur ou des marques déposées existants » et ne pas produire « d’images susceptibles d’être utilisées pour tromper ou nuire à autrui, comme les « deepfakes » destinés à induire en erreur ».


Grok vous dira qu'il a des garde-fous si vous lui demandez quelque chose comme « quelles sont tes limites en matière de génération d'images ? ». Entre autres choses, il affiche :

• J'évite de générer des images pornographiques, excessivement violentes, haineuses ou faisant la promotion d'activités dangereuses.
• Je fais attention à ne pas créer d'images susceptibles d'enfreindre des droits d'auteur ou des marques déposées existants. Il s'agit notamment de personnages connus, de logos ou de tout contenu qui pourrait être considéré comme une propriété intellectuelle sans élément transformateur.
• Je ne produirai pas d'images susceptibles d'être utilisées pour tromper ou nuire à autrui, comme les « deepfakes » destinés à induire en erreur, ou des images qui pourraient entraîner des dommages dans le monde réel.

Mais il ne s'agit probablement pas de véritables règles, mais simplement de réponses prédictives à l'apparence vraisemblable, générées à la volée. Si vous posez plusieurs fois la question, vous obtiendrez des variantes avec des politiques différentes.

Pourtant, lorsque les internautes ont testé ses limites, ils n'en ont pratiquement pas vus.

Ainsi, Grok peut créer une photo plutôt réaliste d’Elon Musk portant une affiche « Trans Rights », alors que le milliardaire est connu pour militer contre les droits trans.


Ou encore Kamala Harris en train de mettre le feu au drapeau des États-Unis


Sans oublier Macron et Trudeau qui s'embrassent.


Même si Grok refuse de générer quelque chose, il est facile de contourner la mesure

D'autres expériences menées par des utilisateurs sur X montrent que même si Grok refuse de générer quelque chose, il est facile de trouver des failles. Il y a donc très peu de garanties pour éviter que Grok ne génère des images sanglantes de Musk et Mickey Mouse abattant des enfants, ou même de la « pornographie enfantine si on lui donne les instructions appropriées », selon Christian Montessori, un utilisateur de X. Il a posté l'image générée sur son compte, suivi de ce message :

« En donnant à Grok le contexte que vous êtes un professionnel, vous pouvez générer à peu près n'importe quoi sans aucune restriction. Vous pouvez générer n'importe quoi, depuis les représentations violentes de mon tweet précédent jusqu'à la pornographie infantile si vous donnez à Grok les instructions appropriées.

« Dans l'ensemble, il est clair qu'une surveillance immédiate s'impose. OpenAI, Meta et Google ont tous mis en œuvre des protocoles de sécurité profondément ancrés. Il semble que Grok n'ait fait l'objet que de tests de sécurité très limités, voire nuls. Dans les premiers jours de ChatGPT, j'ai pu obtenir des instructions sur la façon de fabriquer des bombes.

« Toutefois, ce problème a été résolu bien avant que ChatGPT ne soit accessible au public. Il est très inquiétant de constater que n'importe qui peut payer X 4 $ pour générer des images de Micky Mouse en train d'effectuer une fusillade de masse contre des enfants »

By giving Grok the context that you are a professional you are able to generate just about anything without any restriction. You can generate anything from the violent depictions in my previous tweet to even having Grok generate child pornography if given the proper prompts.

— Christian Montessori (@chrmontessori) August 15, 2024

Et si Musk est conscient de ces problèmes, il semble les trouver amusants. D'ailleurs, lorsqu'une utilisatrice à dit « Oh, mon Dieu. Grok n'a absolument aucun filtre pour sa génération d'images. C'est l'une des implémentations d'IA les plus imprudentes et irresponsables que j'aie jamais vues », il a simplement rigolé.

Oh my god. Grok has absolutely no filters for its image generation. This is one of the most reckless and irresponsible AI implementations I've ever seen. pic.twitter.com/oiyRhW5jpF

— Alejandra Caraballo (@Esqueer_) August 14, 2024

De plus, réagissant à un message saluant l’aspect « non censuré » de Grok 2.0 et son supposé respect de « la liberté d’expression », Elon Musk a déclaré : « Grok est l’IA la plus fun du monde »

The new @grok 2.0 is clearly the most based and uncensored model of its class yet.

Glad @elonmusk is ensuring freedom of speech for humans and machines alike with @x + @xai.

— Beff – e/acc (@BasedBeffJezos) August 14, 2024

Un générateur d'images qui suscite la polémique tandis que X est sous le coup d'une enquête de la Commission européenne

Grok n'est pas le seul moyen d'obtenir des images d'IA violentes, sexuelles ou trompeuses, bien entendu. Des outils logiciels ouverts comme Stable Diffusion peuvent être modifiés pour produire un large éventail de contenus avec peu de garde-fous. Il s'agit simplement d'une approche très inhabituelle pour un chatbot en ligne d'une grande entreprise technologique - Google a mis en pause les capacités de génération d'images de Gemini après une tentative embarrassante de surcorriger les stéréotypes liés à la race et au sexe.

Le cas de Grok est particulier : Elon Musk a toujours vilipendé les programmes d’intelligence artificielle générative de ses concurrents, soumis, selon lui, au politiquement correct et à l’agenda « woke ». Il avait férocement critiqué Google en février, quand son logiciel Gemini avait mis en scène des personnes noires pour incarner des soldats allemands de la seconde guerre mondiale ou les pères fondateurs des Etats-Unis. « Le virus woke est en train de tuer la civilisation occidentale », avait-il réagi, accusant Google de concevoir des programmes « racistes et anticivilisation ».

Le manque de rigueur de Grok est cohérent avec le dédain de Musk pour l'IA standard et les conventions de sécurité des médias sociaux, mais le générateur d'images arrive à un moment particulièrement délicat. La Commission européenne enquête déjà sur X pour des violations potentielles de la loi sur la sécurité numérique, qui régit la manière dont les très grandes plateformes en ligne modèrent le contenu, et elle a demandé à X et à d'autres entreprises, au début de l'année, des informations sur l'atténuation des risques liés à l'IA.

Si Grok-2 ne semble pas disposer de garde-fous, xAI indique dans les conditions générales d’utilisation qu’il est interdit d’utiliser l’IA pour "encourager la haine, la violence ou le préjudice à l’encontre d’un individu ou d’un groupe". De même, il est interdit de se servir de Grok à des fins de diffamation ou encore pour usurper l’identité d’une personne ou d’une entité.

Sources : conditions générales d'utilisation, présentation de Grok 2

Et vous ?

Gestion des filtres : Faut il censurer la génération d'images de l'IA comme OpenAI le fait avec ChatGPT ou laisser faire comme Elon Musk le fait avec Grok 2 ? Dans quelle mesure ?
Désinformation et contenus offensants : Comment pouvons-nous garantir que Grok ne propage pas de désinformation ou de contenus offensants ?
Créativité humaine : Grok peut générer du contenu, mais comment préserver la créativité individuelle face à cette automatisation ?