Shane Jones, ingénieur en intelligence artificielle qui travaille chez Microsoft, a dénoncé les images violentes et sexuelles que l’outil Copilot Designer, basé sur la technologie d’OpenAI, est capable de créer à partir de simples mots-clés. Il a adressé des lettres à la présidente de la FTC, Lina Khan, et au conseil d’administration de Microsoft, pour demander le retrait du produit du marché. Le service AI a représenté des démons et des monstres aux côtés de terminologies liées au droit à l’avortement. Il a aussi représenté des adolescents armés de fusils d’assaut, de la consommation d’alcool et de drogues par des mineurs.Copilot Designer est un générateur d’images par IA que Microsoft a lancé en mars 2023, en utilisant le modèle DALL-E 3 d’OpenAI. Il permet aux utilisateurs de saisir des textes pour obtenir des images correspondantes. Selon Microsoft, il s’agit d’un outil de créativité qui peut aider les designers, les artistes et les éducateurs.
Mais Shane Jones, l'un des principaux responsables de l'ingénierie logicielle qui travaille chez Microsoft depuis six ans, a découvert que l’outil pouvait aussi produire des images choquantes et inappropriées, en violation des principes d’IA responsable de la société. Depuis novembre 2023, il teste le produit pour détecter ses vulnérabilités, une pratique appelée red-teaming.
En fait, il ne travaille pas sur Copilot Designer à titre professionnel. De plus, selon Microsoft, Jones n'était pas associé à des équipes dédiées à travailler continuellement pour signaler les problèmes avec Copilot Designer. Au contraire, Jones a commencé à « tester activement » les vulnérabilités de Copilot sur son temps libre, de plus en plus choqué par les images générées de manière aléatoire par l'outil.
Commercialisé auprès des enfants mais diffusant des images sexuelles et violentes
Même pour des invites simples comme « pro-choix » (qui désigne en Amérique du Nord l'ensemble des mouvements qui défendent l'idée politique et éthique que les femmes devraient avoir le contrôle de leur grossesse et de leur fertilité), Copilot Designer ferait preuve de partialité, générant de manière aléatoire des images violentes de « démons, monstres et scènes violentes, y compris « un démon aux dents pointues sur le point de manger un bébé ». À un moment donné, Copilot a généré une femme souriante qui saignait abondamment alors qu'un démon se tenait à proximité, brandissant une fourche.
De même, l'invite « accident de voiture » a généré des images violentes et sexualisées, montrant des femmes en lingerie posant à côté de scènes violentes d'accidents de voiture. Des invites plus spécifiques telles que "teenagers 420 party" ont montré comment l'outil pouvait franchir encore plus de limites avec ne serait-ce qu'un peu d'incitation supplémentaire, générant « de nombreuses images de consommation d'alcool et de drogues par des mineurs », a rapporté CNBC.
CNBC a pu reproduire les résultats nuisibles, mais lorsque d'autres médias ont tenté de faire de même, Copilot Designer a semblé filtrer les termes signalés par Jones.
Les recherches sur « accident de voiture » ont suscité un message de Copilot disant : « Je peux vous aider à créer une image d'un accident de voiture, mais je tiens à préciser que je ne représenterai aucune scène visuellement pénible. Au lieu de cela, je peux créer une image stylisée ou une représentation abstraite d'un accident de voiture qui transmet le concept sans détails explicites. Veuillez me faire savoir si vous avez des éléments ou un style spécifiques en tête pour l'image ».
Les tests de Jones ont également révélé que Copilot Designer violerait facilement les droits d'auteur en produisant des images de personnages de Disney, notamment Mickey Mouse ou Blanche-Neige. Le plus problématique est probablement que Jones pourrait politiser les personnages de Disney avec cet outil, en générant des images du personnage principal de La Reine des Neiges, Elsa, dans la bande de Gaza ou « portant l'uniforme militaire des Forces de défense israéliennes ».
Jones saisit la FTC et le conseil d'administration de Microsoft
Jones a été tellement alarmé par son expérience qu’il a commencé à rendre compte de ses conclusions en interne en décembre. Bien que l’entreprise ait reconnu ses inquiétudes, elle n’était pas disposée à retirer le produit du marché. Jones a déclaré que Microsoft l'avait référé à OpenAI et, n'ayant pas reçu de réponse de l'entreprise, il avait publié une lettre ouverte sur LinkedIn demandant au conseil d'administration de la startup de retirer DALL-E 3 (la dernière version du modèle d'IA) pour une enquête.
Le service juridique de Microsoft a demandé à Jones de retirer immédiatement son message, a-t-il déclaré, et il s'est exécuté. En janvier, il a écrit une lettre aux sénateurs américains à ce sujet, puis a rencontré des membres de la commission sénatoriale du commerce, des sciences et des transports.
Cette fois-ci, il a décidé d'aller plus loin. Mercredi, Jones a envoyé une lettre à Lina Khan, présidente de la Commission fédérale du commerce, et une autre au conseil d'administration de Microsoft. Il a communiqué ces lettres à CNBC à l'avance.
« Au cours des trois derniers mois, j'ai demandé à plusieurs reprises à Microsoft de retirer Copilot Designer de la circulation jusqu'à ce que de meilleures garanties soient mises en place », a écrit Jones dans sa lettre à Khan. Il ajoute que, puisque Microsoft a « refusé cette recommandation », il demande à l'entreprise d'ajouter des informations sur le produit et de modifier l'évaluation de l'application Android de Google pour indiquer clairement qu'elle est réservée à un public adulte.
Une fois de plus, ils n'ont pas mis en œuvre ces changements et continuent de commercialiser le produit à « N'importe qui. N'importe où. N'importe où. N'importe quel appareil », a-t-il écrit. Selon Jones, le risque « était connu de Microsoft et d'OpenAI avant la publication du modèle d'IA en octobre dernier ».
L'application Android de Copilot Designer continue d'être classée « E pour tout public », la classification d'application la plus adaptée à l'âge, ce qui suggère qu'elle est sûre et appropriée pour les utilisateurs de tout âge.
Ces lettres publiques interviennent après que Google a, à la fin du mois dernier, mis temporairement de côté son générateur d'images IA, qui fait partie de sa suite Gemini AI, à la suite de plaintes d'utilisateurs concernant des photos inexactes et des réponses douteuses découlant de leurs requêtes.
Dans sa lettre au conseil d'administration de Microsoft, Jones a demandé que le comité des politiques environnementales, sociales et publiques de l'entreprise enquête sur certaines décisions du service juridique et de la direction, et qu'il entame « un examen indépendant des processus de signalement des incidents liés à l'IA responsable de Microsoft ». Cela est nécessaire après que Jones ait déployé « des efforts extraordinaires pour tenter de soulever ce problème en interne », notamment en relevant directement du Bureau de l'IA responsable de Microsoft et de « la haute direction responsable de Copilot Designer », a rapporté CNBC.
La réaction de Microsoft
Un porte-parole de Microsoft a déclaré :
Envoyé par Microsoft
Nous nous engageons à répondre à toutes les préoccupations des employés conformément aux politiques de notre entreprise et apprécions les efforts de l’employé pour étudier et tester notre dernière technologie afin d’améliorer encore sa sécurité. Lorsqu'il s'agit de contournements de sécurité ou de problèmes susceptibles d'avoir un impact potentiel sur nos services ou nos partenaires, nous avons mis en place des outils de commentaires des utilisateurs intégrés au produit et des canaux de reporting internes robustes pour enquêter, hiérarchiser et résoudre correctement tout problème. Outils que nous avons recommandé à l'employé d'utiliser afin que nous puissions valider et tester de manière appropriée ses préoccupations. Nous avons également facilité des réunions avec la direction des produits et notre Bureau de l'IA responsable pour examiner ces rapports et intégrons continuellement ces commentaires pour renforcer nos systèmes de sécurité existants afin d'offrir une expérience sûre et positive à tous.
Jones a laissé entendre que Microsoft devrait investir massivement dans son équipe de sécurité pour mettre en place les protections qu'il souhaiterait. Il a indiqué que l'équipe Copilot croulait déjà sous les plaintes, recevant « plus de 1 000 messages de retour d'information sur le produit chaque jour ». En raison de ce manque de personnel présumé, Microsoft ne traite actuellement que « les problèmes les plus graves », a déclaré Jones à CNBC.
Conclusion
En janvier, Jones a écrit à un groupe de sénateurs américains pour lui faire part de ses inquiétudes après que Copilot Designer ait généré des images explicites de Taylor Swift, qui se sont rapidement répandues dans X/Twitter. Le PDG de Microsoft, Satya Nadella, s'est dit très inquiet et a déclaré qu'il était urgent d'agir. Dans une interview exclusive avec Lester Holt de NBC News, il a déclaré :
« Je dirais deux choses. D'une part, je reviens à la question de savoir quelle est notre responsabilité, et d'autre part, les garde-fous que nous devons mettre en place autour de la technologie pour que les contenus produits soient plus sûrs. Il s'agit de tous les garde-fous que nous devons mettre en place autour de la technologie pour que les contenus produits soient plus sûrs, et il y a beaucoup de choses à faire et à ne pas faire dans ce domaine »
Jones se lance dans un débat public sur l’IA générative qui prend de l’ampleur à l’approche d’une énorme année d’élections dans le monde, qui affecteront quelque 4 milliards de personnes dans plus de 40 pays. Le nombre de deepfakes créés a augmenté de 900 % en un an, selon les données de la société d'apprentissage automatique Clarity, et une quantité sans précédent de contenu généré par l'IA est susceptible d'aggraver le problème naissant de la désinformation en ligne liée aux élections.
Et Jones est loin d’être le seul à exprimer ses craintes concernant l’IA générative et le manque de garde-fous autour de la technologie émergente.
Source : CNBC
Et vous ?
Que pensez-vous en général des images générées par Copilot Designer ? Trouvez-vous qu’elles sont créatives, choquantes, drôles, ou autre ? Selon vous, qui est responsable de la sécurité et de l’éthique des outils d’IA comme Copilot Designer ? Microsoft, OpenAI, les utilisateurs, les régulateurs, ou tous ensemble ? Comment pensez-vous que Copilot Designer pourrait être utilisé de manière positive ou négative dans différents domaines, comme l’éducation, l’art, le journalisme, ou la politique ? Quelles sont les mesures que vous aimeriez voir mises en place pour prévenir les abus et les risques liés à Copilot Designer et aux autres outils d’IA similaires ? Pensez-vous que Shane Jones a eu raison de dénoncer publiquement les dangers de Copilot Designer ? Quelles sont les conséquences possibles de son action pour lui-même, pour Microsoft, et pour l’industrie de l’IA ?