Une d'IA de génération d'images est complètement sortie du contexte d'une requête et a généré à la place une image obscène. Le rapport de l'incident indique que l'outil d'IA de la loterie de l'État de Washington était censé générer une image d'une utilisatrice qui nage avec des requins. Au lieu de cela, elle a recraché une image de l'utilisatrice avec les seins nus sur un lit. Cette dernière a signalé l'incident et la loterie de Washington, qui a été contrainte de fermer son site promotionnel qui héberge l'application. L'IA facilite plus que jamais la création et le partage de fausses images et vidéos pornographiques de personnes. Ce qui est une préoccupation majeure.Le site "Test Drive a Win" de la loterie de l'État de Washington est doté d'une IA et est conçu pour permettre aux utilisateurs de s'imaginer comme les gagnants du gros lot. Plus précisément, le site permet aux visiteurs de visualiser les différentes vacances de rêve qu'ils pourraient se payer avec leurs gains théoriques à la loterie. Il offre la possibilité de télécharger une photo qui serait intégrée dans un logiciel d'IA qui génèrera ensuite une image représentant les vacances de rêve de l'utilisateur. Cependant, selon un rapport de la station de radio conservatrice KTTH, les choses ont pris une mauvaise tournure la semaine dernière.
Megan, une mère de famille de 50 ans originaire de Tumwater, une ville du nord de l'État de Washington, a décidé de visiter le site de la loterie de l'État de Washington pour visualiser comme tout le monde les vacances de rêves qu'elle pourrait s'offrir si elle gagnait le gros lot. Mais lorsqu'elle a téléchargé sa photo sur le site, elle a été choquée par l'image générée par l'IA de l'agence de loterie. Alors que Megan s'attendait à une image qui montre qu'elle nage avec des requins, l'IA de l'agence a généré une image qui montre son visage sur le corps d'une femme assise sur un lit, les seins à l'air. Megan s'est confiée en ses termes :
« C'est l'argent de nos impôts qui paie pour ça. J'ai été complètement choquée. C'est pour le moins troublant. Je pense aussi que la personne responsable devrait être renvoyée ». La prétendue photo, qui a été fournie à KTTH, ne correspond pas exactement à la requête de Megan ("nager avec des requins"). Tout d'abord, Megan est assise sur un lit et semble être entourée de poissons rouges géants. Il y a un autre aspect plus troublant : Megan serait complètement nue. Elle portait un bas de bikini, mais pas de haut. En outre, l'image générée par l'IA comportait le logo de la loterie de Washington dans le coin inférieur.
Interrogée sur cet incident, la loterie de Washington a déclaré qu'elle avait travaillé en étroite collaboration avec les développeurs du site Web afin d'établir des "paramètres stricts" concernant la création d'images. L'agence a déclaré avoir reçu un rapport sur une seule image générée par le site qui n'adhérait pas aux directives établies, mais n'a pas confirmé si le rapport reçu concernait l'image de Megan. Elle n'a pas répondu aux questions spécifiques concernant les modèles d'IA ou les fournisseurs tiers utilisés pour créer le site ou les mesures de protection spécifiques mises en place afin de tenter d'éviter de tels résultats.
S'adressant à KTTH, un porte-parole de l'agence a déclaré qu'elle avait accepté "un ensemble complet de règles" pour les images d'IA du site, y compris le fait que les personnes figurant sur les images soient entièrement vêtues. À la suite du signalement de l'image de seins nus, le porte-parole a déclaré que les développeurs ont vérifié tous les paramètres de la plateforme. Bien qu'ils soient satisfaits des paramètres, le porte-parole a déclaré à la station de radio qu'ils ont choisi de fermer le site par excès de prudence. Il a ajouté que l'agence veut éviter qu'une telle chose se reproduise à l'avenir avec un autre utilisateur.
Il a déclaré : « nous avons été informés qu'un seul utilisateur de la plateforme d'IA avait prétendument reçu une image qui ne respectait pas ces lignes directrices. Cette campagne a été lancée il y a plus d'un mois et des milliers d'images ont été créées, toutes conformes aux directives prescrites. Quoi qu'il en soit, un prétendu utilisateur est de trop et, par conséquent, nous avons fermé le site. Nous ne voulons pas que quelque chose comme ce prétendu événement se reproduise ». Depuis l'après-midi du jeudi, il est impossible d'accéder au jeu sur le site "Test Drive a Win" de la l'agence. Un message sur le site indique :
« Nous nous excusons. L'application Test Drive a Win est actuellement indisponible ». La fermeture du site a entraîné la remise en cause des "paramètres stricts" de génération d'images vantés par la loterie de Washington. Selon les analystes, le site a été fermé, car il n'est pas si simple de contrôler efficacement l'infinie variété de résultats visuels qu'un modèle d'IA peut générer. Bien que des modèles comme Stable Diffusion et DALL-E aient mis en place des filtres pour empêcher la génération d'images sexuelles ou violentes, les chercheurs ont constaté que leurs garde-fous pouvaient parfois être contournés habilement.
Les chercheurs ont constaté que les générateurs d'images répondent toujours à des requêtes problématiques en générant des images jugées "dangereuses" par un classificateur d'images dans une minorité de cas significative. De plus, les utilisateurs malveillants peuvent aussi utiliser des astuces d'ingénierie des invites pour contourner ces protections intégrées lorsqu'ils utilisent des modèles populaires de génération d'images à base de texte. Un incident de type s'est produit cette année lors que l'outil d'IA de génération d'images de Microsoft a été utilisé pour générer des images obscènes de la chanteuse Taylor Swift.
Nous avons également vu ce type de problèmes liés à la sécurité des images d'IA se retourner contre de grandes entreprises, comme lorsque le générateur d'autocollants d'IA de Facebook a mis des armes dans les mains de personnages de dessins animés pour enfants. Un ingénieur de Microsoft a publiquement accusé l'outil de génération d'images de l'entreprise de créer aléatoirement des images violentes et sexuelles, même après que l'équipe a été avertie du problème. À cela s'ajoute le problème d'hallucination des modèles d'IA, c'est-à-dire leur tendance à inventer des faits et à les présenter comme étant vrais.
Le problème de l'IA de la loterie de Washington survient une semaine après qu'un rapport a révélé qu'un chatbot du gouvernement de la ville de New York donnait des conseils erronés sur les lois et les règlements de la ville. « C'est une erreur dans certains domaines et nous devons y remédier. Chaque fois que vous utilisez une technologie, vous devez la placer dans un environnement réel afin d'en éliminer les défauts. On ne peut pas vivre dans un laboratoire. On ne peut pas rester éternellement dans un laboratoire », a déclaré cette semaine le maire de New York, Eric Adams.
Et vous ?
Quel est votre avis sur le sujet ? Que pensez-vous de l'incident avec l'IA de la loterie de l'État de Washington ? Est-il possible d'empêcher les modèles d'IA de générer des images obscènes ? L'industrie peut-elle venir à bout du problème d'hallucination des modèles d'IA ?Voir aussi
Les photos pornos de Taylor Swift générées par IA sont issues d'un défi, selon un rapport indiquant que plusieurs utilisateurs cherchaient des moyens de contourner les filtres d'outils IA populaires Le président Joe Biden demande l'interdiction des imitations vocales par l'IA après des incidents préoccupants. Une mesure de sécurité ou une entrave à l'innovation ? FBI : des cybercriminels se servent de plus en plus de l'IA pour créer des images et vidéos à caractère porno de leurs victimes afin de les faire chanter