IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Un scandale provoqué par des deepfakes sexuellement explicites générés par l'IA entraîne la fermeture d'une école en Pennsylvanie,
Les défis liés à la technologie deepfake exacerbés par l'IA générative

Le , par Mathis Lucas

3PARTAGES

8  0 
Un élève de la Lancaster Country Day School, en Pennsylvanie, a utilisé l'IA pour créer des images sexuellement explicites d'environ 50 camarades de classe. La diffusion des photos et l'inaction présumée des responsables de l'école ont suscité un tollé dans la communauté et rendu les parents furieux. Le scandale a entraîné la démission du directeur de l'école et celle de la présidente du conseil scolaire, ainsi que l'annulation des cours et la fermeture temporaire de l'établissement. Les parents d'élève menacent toujours de poursuivre l'école, soulignant que les deepfakes explicites constituent la nouvelle réalité terrifiante à laquelle les adolescents sont confrontés.

La diffusion de deepfakes générés par l'IA secoue une école en Pennsylvanie

L'essor de l'IA générative a rendu la technologie deepfake plus accessible et plus facile d'utilisation. N'importe quelle personne peut désormais créer des deepfakes réalistes et les diffuser dans la nature. Cet état de choses a favorisé ces dernières années la prolifération des deepfakes sexuellement explicites (ou photos de nu) générés par l'IA, portant ainsi préjudice aux victimes. C'est ce qui est arrivé à la Lancaster Country Day School, une école basée en Pennsylvanie.

Selon le récit, un seul élève a utilisé l'IA pour créer des images sexuellement explicites de près de 50 camarades de classe l'année dernière. L'incident aurait été signalé pour la première fois au directeur de l'école, Matt Micciche, en novembre 2023 par le biais d'un système d'alerte anonyme. Cela dit, Matt Micciche n'a rien fait, permettant ainsi que d'autres élèves soient ciblés pendant de nombreux mois, jusqu'à ce que la police soit mise au courant au mois de mai 2024.


Les policiers ont arrêté en août 2024 l'élève accusé d'avoir créé le contenu préjudiciable. Le téléphone de l'élève a été saisi pendant que les policiers enquêtaient sur l'origine des photos générées par l'IA. Mais cette arrestation n'a pas suffi à rendre justice aux parents choqués par le fait que l'école n'a pas respecté les obligations de signalement obligatoire en cas de soupçon de maltraitance d'enfant. Ils ont déposé une assignation en justice au début de ce mois.

Ils menacent d'intenter une action en justice si les dirigeants de l'école responsables de la mauvaise gestion de l'affaire ne démissionnent pas dans les 48 heures. La tactique a réussi à pousser le directeur Matt Micciche et la présidente du conseil scolaire, Angela Ang-Alhadeff, à démissionner le vendredi 15 novembre 2024 en fin de journée. La Lancaster Country Day School a déclaré dans un communiqué de presse qu'elle apporte « tout son soutien à la communauté ».

Dans un message envoyé aux parents d'élève et transmis à un journaliste, le conseil d'administration de l'école déclare notamment : « après une longue réflexion et une discussion approfondie sur ce qui est dans le meilleur intérêt de notre école, la décision a été prise de se séparer du directeur de l'école, Matt Micciche. En outre, notre présidente, Angela Ang-Alhadeff, a décidé de se retirer de son rôle et de ses fonctions au sein du conseil scolaire ».

Mais les parents ne semblent pas prêts à abandonner les poursuites, car les dirigeants de l'école ont apparemment traîné les pieds et ont démissionné deux jours après la date limite. L'avocat des parents, Matthew Faranda-Diedrich, a déclaré que « l'action en justice serait maintenue malgré les changements de direction ».

Le scandale a entraîné la fermeture temporaire de la Lancaster Country Day School. Les cours ont été annulés le lundi 18 novembre 2024 à la suite de la démission de Matt Micciche et Angela Ang-Alhadeff. Les médias locaux ont rapporté que les cours ont repris le mardi 19 novembre 2024.

Des enfants retirés de l'école pour protester contre la gestion des événements

Ni les élèves ni leurs parents n'ont été satisfaits de la manière dont le conseil scolaire a géré la situation. Au début du mois, des centaines de lycéens auraient quitté l'établissement en signe de protestation. De son côté, la direction de l'école a voulu rassurer la communauté en promettant des améliorations dans la gestion de crise, le signalement et le traitement de ce type d'incident, ainsi que d'autres changements, mais cela n'a pas suffi à calmer la situation.


Selon les médias locaux, les élèves ne semblent pas vouloir laisser passer l'incident sans prendre d'autres mesures pour aider les filles à se sentir en sécurité à l'école. Ils ont rapporté que plus de la moitié de l'école a débrayé la semaine dernière, ce qui a entraîné l'annulation des cours. Les élèves et certains membres du corps enseignant de l'établissement réclament en effet la démission d'autres cadres de la direction et des changements supplémentaires.

Avant son départ, Matt Micciche a déclaré dans un communiqué : « nos élèves ont légitimement fait entendre leur voix aujourd'hui pour exprimer leur inquiétude et leur frustration face à la réponse de l'école à la situation concernant les deepfakes sexuellement explicites. Beaucoup d'entre eux sont convaincus que nous n'avons pas été aussi ouverts et communicatifs que nous le pouvions, ce qui ne fait qu'ajouter à leur douleur ». Il a annoncé des changements.

« Nous travaillerons avec nos étudiants pour trouver une solution qui favorise la guérison et nous nous laisserons guider par ce qu'ils nous diront », a-t-il ajouté. Mais les commentaires de Matt Micciche sont restés lettre morte. Dans le cadre de l'enquête de la police, un mandat de perquisition a été utilisé cet été pour obtenir un iPhone 11 lié à un adolescent de 15 ans accusé d'être à l'origine des images explicites. Les documents judiciaires n'identifient pas l'adolescent.

Le scandale de la Lancaster Country Day School est le dernier en date d'une longue série d'incidents similaires survenus aux États-Unis au cours des deux dernières années. Les fausses images sexuellement explicites générées par l'IA sont rapidement devenues le nouveau visage de l'intimidation et du harcèlement, grâce à l'émergence d'applications pour smartphones faciles à utiliser et capables de générer des nus hautement réalistes en quelques instants.

Créer des cadres juridiques afin de lutter contre les deepfakes générés par l'IA

Aux États-Unis, les autorités fédérales vérifient actuellement si les lois existantes protégeant les enfants contre les abus sont suffisantes pour les protéger des méfaits de l'IA. Des législateurs proposent également des lois pour lutter contre la prolifération de ce type spécifique de contenu préjudiciable en ligne. Certaines propositions de loi visent à criminaliser non seulement la création d'images explicites à l'aide de l'IA, mais aussi le partage de contenus préjudiciables.

Selon un projet de loi, toute personne partageant de la pornographie deepfake sans le consentement d'un individu s'expose à des dommages-intérêts pouvant aller jusqu'à 150 000 $ et à une peine d'emprisonnement pouvant aller jusqu'à 10 ans si le partage des images facilite la violence ou a un impact sur les procédures d'une agence gouvernementale. Cela dit, ces propositions ont été bloquées, car des enfants de 12 ou 13 ans risquent toujours d'en être victimes.


En mai 2024, les autorités fédérales ont arrêté un ingénieur logiciel accusé d'avoir utilisé du matériel pédopornographique (CSAM) généré par l'IA pour manipuler et appâter une adolescente sur Instagram. L'affaire pourrait mettre à l'épreuve la déclaration du ministère américain de la Justice selon laquelle « le CSAM généré par l'IA reste du matériel pédopornographique ». Des experts suggèrent que les lois sur la cyberintimidation pourraient s'appliquer ici.

Contrairement à d'autres pays, les États-Unis ne se pressent pas pour contrer la menace émergente. C'est peut-être en Corée du Sud que la réaction a été la plus forte, où une crise du « deepfake porn » a ébranlé les écoles et les universités. Des centaines de personnes ont déjà été arrêtées dans le cadre d'une campagne de répression qui devrait durer sept mois et qui vise à empêcher la diffusion de contenus préjudiciables sur des plateformes telles que Telegram.

Dans le cadre de cette répression, la Corée du Sud a annoncé des sanctions plus sévères, notamment une peine d'emprisonnement maximale de trois ans pour le visionnage de vidéos explicites non consensuelles créées par l'IA et jusqu'à cinq ou sept ans pour la production ou la distribution. Le gouvernement sud-coréen a plus que doublé le nombre de fonctionnaires chargés de surveiller les plateformes de médias sociaux pour détecter les contenus préjudiciables.

Selon Marie-Helen Maras et Kenji Logie, chercheurs au John Jay College of Criminal Justice, les États-Unis pourraient s'atteler à la « tâche herculéenne » de réduire le nombre de deepfakes non consensuels à caractère sexuel explicite en introduisant une responsabilité légale. Cela obligerait les plateformes, les moteurs de recherche et les fournisseurs d'accès à Internet (FAI) à retirer le contenu, un peu comme le font les différentes lois sur le CSAM.

Par ailleurs, même dans un monde où tous les intermédiaires d'Internet et les gouvernements s'accorderaient à dire que le contenu doit être immédiatement supprimé, les chercheurs affirment que « l'interdiction de tous les deepfakes est irréaliste et irréalisable », car toutes les images nuisibles générées par l'IA qui existent déjà sont susceptibles de rester en ligne indéfiniment.

C'est pourquoi des réponses proactives rendant plus difficile le téléchargement d'images explicites non consensuelles générées par l'IA sont essentielles pour réduire les préjudices à mesure que ce contenu prolifère en ligne. Les experts recommandant une série de mises à jour juridiques pour protéger les victimes.

Et vous ?

Quel est votre avis sur le sujet ?

Voir aussi

Un homme condamné à 18 ans de prison pour avoir utilisé l'IA pour créer des images d'abus sexuels sur enfant, un précédent de la manière dont les deepfakes créés par l'IA pourraient être poursuivis à l'avenir

Un juge bloque la nouvelle loi californienne sur l'IA dans l'affaire du deepfake mettant en scène Kamala Harris, ce blocage permet à Elon Musk, son réseau social X et ses alliés d'échapper à des poursuites

Le Pentagone veut utiliser l'IA pour créer de faux internautes qui seraient indétectables par les humains et les ordinateurs, tout en dénonçant l'utilisation des deepfakes par la Chine et la Russie

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de yocoy22415
Futur Membre du Club https://www.developpez.com
Le 20/11/2024 à 17:02
Aussi choqué que de lire qu'un directeur apprenant que du (quasi) porno infantile IA se diffuse dans son établissement ne lève pas le doigt pour agir contre.
Malheureusement, même en France ce genre de chose peut arriver.
Il y a de ça 3 ans, des confrères professeurs, niveau collège,
me racontait avoir pris connaissances d'affaire de chantage et de pornographie, infantile entre collégien,
sur un réseau (Snapchat il me semble).
Le directeur n'a pas souhaité intervenir.
Pire, lorsque mes confrères ont été alerté les autorités, ont leurs que rien n'était possible
tant qu'il n'y a pas un des parents des victimes n'ont pas été déposé une plainte.
4  0 
Avatar de calvaire
Expert éminent https://www.developpez.com
Le 20/11/2024 à 19:08
c'est assez simple a le faire, j'ai téléchargé EasyDiffusion, qui est une surcouche plus simple à utiliser que stable difusion, a partir de la on peut trouver des modeles optimisé pour certains uysage (la pornographie) et généré en quelques seconde des images.
et encore mon gpu est assez ancien.
1  0 
Avatar de Ryu2000
Membre extrêmement actif https://www.developpez.com
Le 21/11/2024 à 9:44
Quelque part ce n'est pas si grave. (comparé à ce que ça pourrait être)
Premièrement parce que ce sont des fausses images et que tout le monde sait qu'elle sont fausses et ensuite parce que ça touche plein de monde.

Ce qui est grave c'est quand une personne réalise des photos ou des vidéos sexy d'elle même pour les offrir à son partenaire et que les documents fuitent.
Il est déjà arrivé que tout un collège ait vu une des photos d'une camarade toute nue et là ça vraiment fait chier.

Si les 50 familles portent plainte contre l'élève qui a utilisé l'IA pour créer des images sexuellement explicites, il va moins rigoler.
Il faudrait que toutes les écoles du monde sensibilisent les élèves à ce type de pratique.

=====
Six ans après le suicide de Juliette, harcelée à Lisieux : sa mère raconte son "insoutenable" procès
Victime de harcèlement au collège et au lycée après la publication d'une photo d'elle nue, Juliette, 15 ans, s’est jetée sous un train entre Deauville et Lisieux le 3 mars 2016. Six ans après, sa mère, Véronique, témoigne après la condamnation de cinq personnes.
Son copain a vraiment été horrible sur toute la ligne, j'espère qu'il a été condamné, parce que c'est très grave :
Une photo intime diffusée sur Snapchat a poussé cette ado de Rouen à tenter de se suicider
« Je me sens toujours coupable. » Près d’un an après les faits, Alice n’arrive toujours pas à se sentir totalement victime de ce qui lui est arrivé. En milieu d’année 2017, l’adolescente rouennaise de 17 ans a été victime d’un compte Snapchat qui a diffusé une photo intime d’elle, un « nude », à son insu. Dix mois après, elle réclame justice.
Elle se suicide après une fuite de photos compromettantes - Normandie
Une adolescente de 15 ans a mis fin à ses jours jeudi en se jetant sous un train dans le Calvados. Selon les premiers éléments de l'enquête, elle n'aurait pas supporté que ses photographies intimes soient diffusées.
Victime de chantage aux photos sexuelles, un adolescent britannique de 16 ans se suicide
Deux ans après la mort de son fils, Dinal De Alwis, Kaushallya De Alwis ne parvient pas à faire son deuil. Et pour cause, la personne qui a piégé, puis fait chanter son adolescent avec des photos de lui nu est hors de portée de la police anglaise.
Peut-être que si il y avait des fakes de l'intégralité des élèves du collège, les vrais photos passeraient pour des fausses.
Il n'y aurait qu'à dire "mes nudes sont des fakes" et voilà.
1  0 
Avatar de Prox_13
Membre éprouvé https://www.developpez.com
Le 20/11/2024 à 16:00
Je suis aussi choqué qu'un élève si jeune puisse avoir accès a des outils aussi puissants/sexuellement explicites.
Aussi choqué que de lire qu'un directeur apprenant que du (quasi) porno infantile IA se diffuse dans son établissement ne lève pas le doigt pour agir contre.
2  2 
Avatar de _toma_
Membre confirmé https://www.developpez.com
Le 21/11/2024 à 9:27
J'ai fait le test par curiosité il y a une dizaine de jours. Une recherche duckduckgo "nude generator" : j'ai cliqué sur le premier lien, uploadé une photo, grossièrement indiqué la partie qui m'intéressait et en quelques secondes j'avais une image que je pouvais sauvegarder.
Pas d'inscription, pas de message de "prévention", rien de rien.
0  0 
Avatar de OrthodoxWindows
Membre expert https://www.developpez.com
Le 23/11/2024 à 15:54
Citation Envoyé par yocoy22415 Voir le message
Malheureusement, même en France ce genre de chose peut arriver.
Il y a de ça 3 ans, des confrères professeurs, niveau collège,
me racontait avoir pris connaissances d'affaire de chantage et de pornographie, infantile entre collégien,
sur un réseau (Snapchat il me semble).
Le directeur n'a pas souhaité intervenir.
Pire, lorsque mes confrères ont été alerté les autorités, ont leurs que rien n'était possible
tant qu'il n'y a pas un des parents des victimes n'ont pas été déposé une plainte.
Ça c'est un problème général dans les cas de harcèlement, l'éducation nationale n'intervient malheureusement que rarement, quel que soit le type de harcèlement...
0  0