Un élève de la Lancaster Country Day School, en Pennsylvanie, a utilisé l'IA pour créer des images sexuellement explicites d'environ 50 camarades de classe. La diffusion des photos et l'inaction présumée des responsables de l'école ont suscité un tollé dans la communauté et rendu les parents furieux. Le scandale a entraîné la démission du directeur de l'école et celle de la présidente du conseil scolaire, ainsi que l'annulation des cours et la fermeture temporaire de l'établissement. Les parents d'élève menacent toujours de poursuivre l'école, soulignant que les deepfakes explicites constituent la nouvelle réalité terrifiante à laquelle les adolescents sont confrontés.La diffusion de deepfakes générés par l'IA secoue une école en Pennsylvanie
L'essor de l'IA générative a rendu la technologie deepfake plus accessible et plus facile d'utilisation. N'importe quelle personne peut désormais créer des deepfakes réalistes et les diffuser dans la nature. Cet état de choses a favorisé ces dernières années la prolifération des deepfakes sexuellement explicites (ou photos de nu) générés par l'IA, portant ainsi préjudice aux victimes. C'est ce qui est arrivé à la Lancaster Country Day School, une école basée en Pennsylvanie.
Selon le récit, un seul élève a utilisé l'IA pour créer des images sexuellement explicites de près de 50 camarades de classe l'année dernière. L'incident aurait été signalé pour la première fois au directeur de l'école, Matt Micciche, en novembre 2023 par le biais d'un système d'alerte anonyme. Cela dit, Matt Micciche n'a rien fait, permettant ainsi que d'autres élèves soient ciblés pendant de nombreux mois, jusqu'à ce que la police soit mise au courant au mois de mai 2024.
Les policiers ont arrêté en août 2024 l'élève accusé d'avoir créé le contenu préjudiciable. Le téléphone de l'élève a été saisi pendant que les policiers enquêtaient sur l'origine des photos générées par l'IA. Mais cette arrestation n'a pas suffi à rendre justice aux parents choqués par le fait que l'école n'a pas respecté les obligations de signalement obligatoire en cas de soupçon de maltraitance d'enfant. Ils ont déposé une assignation en justice au début de ce mois.
Ils menacent d'intenter une action en justice si les dirigeants de l'école responsables de la mauvaise gestion de l'affaire ne démissionnent pas dans les 48 heures. La tactique a réussi à pousser le directeur Matt Micciche et la présidente du conseil scolaire, Angela Ang-Alhadeff, à démissionner le vendredi 15 novembre 2024 en fin de journée. La Lancaster Country Day School a déclaré dans un communiqué de presse qu'elle apporte « tout son soutien à la communauté ».
Dans un message envoyé aux parents d'élève et transmis à un journaliste, le conseil d'administration de l'école déclare notamment : « après une longue réflexion et une discussion approfondie sur ce qui est dans le meilleur intérêt de notre école, la décision a été prise de se séparer du directeur de l'école, Matt Micciche. En outre, notre présidente, Angela Ang-Alhadeff, a décidé de se retirer de son rôle et de ses fonctions au sein du conseil scolaire ».
Mais les parents ne semblent pas prêts à abandonner les poursuites, car les dirigeants de l'école ont apparemment traîné les pieds et ont démissionné deux jours après la date limite. L'avocat des parents, Matthew Faranda-Diedrich, a déclaré que « l'action en justice serait maintenue malgré les changements de direction ».
Le scandale a entraîné la fermeture temporaire de la Lancaster Country Day School. Les cours ont été annulés le lundi 18 novembre 2024 à la suite de la démission de Matt Micciche et Angela Ang-Alhadeff. Les médias locaux ont rapporté que les cours ont repris le mardi 19 novembre 2024.
Des enfants retirés de l'école pour protester contre la gestion des événements
Ni les élèves ni leurs parents n'ont été satisfaits de la manière dont le conseil scolaire a géré la situation. Au début du mois, des centaines de lycéens auraient quitté l'établissement en signe de protestation. De son côté, la direction de l'école a voulu rassurer la communauté en promettant des améliorations dans la gestion de crise, le signalement et le traitement de ce type d'incident, ainsi que d'autres changements, mais cela n'a pas suffi à calmer la situation.
Selon les médias locaux, les élèves ne semblent pas vouloir laisser passer l'incident sans prendre d'autres mesures pour aider les filles à se sentir en sécurité à l'école. Ils ont rapporté que plus de la moitié de l'école a débrayé la semaine dernière, ce qui a entraîné l'annulation des cours. Les élèves et certains membres du corps enseignant de l'établissement réclament en effet la démission d'autres cadres de la direction et des changements supplémentaires.
Avant son départ, Matt Micciche a déclaré dans un communiqué : « nos élèves ont légitimement fait entendre leur voix aujourd'hui pour exprimer leur inquiétude et leur frustration face à la réponse de l'école à la situation concernant les deepfakes sexuellement explicites. Beaucoup d'entre eux sont convaincus que nous n'avons pas été aussi ouverts et communicatifs que nous le pouvions, ce qui ne fait qu'ajouter à leur douleur ». Il a annoncé des changements.
« Nous travaillerons avec nos étudiants pour trouver une solution qui favorise la guérison et nous nous laisserons guider par ce qu'ils nous diront », a-t-il ajouté. Mais les commentaires de Matt Micciche sont restés lettre morte. Dans le cadre de l'enquête de la police, un mandat de perquisition a été utilisé cet été pour obtenir un iPhone 11 lié à un adolescent de 15 ans accusé d'être à l'origine des images explicites. Les documents judiciaires n'identifient pas l'adolescent.
Le scandale de la Lancaster Country Day School est le dernier en date d'une longue série d'incidents similaires survenus aux États-Unis au cours des deux dernières années. Les fausses images sexuellement explicites générées par l'IA sont rapidement devenues le nouveau visage de l'intimidation et du harcèlement, grâce à l'émergence d'applications pour smartphones faciles à utiliser et capables de générer des nus hautement réalistes en quelques instants.
Créer des cadres juridiques afin de lutter contre les deepfakes générés par l'IA
Aux États-Unis, les autorités fédérales vérifient actuellement si les lois existantes protégeant les enfants contre les abus sont suffisantes pour les protéger des méfaits de l'IA. Des législateurs proposent également des lois pour lutter contre la prolifération de ce type spécifique de contenu préjudiciable en ligne. Certaines propositions de loi visent à criminaliser non seulement la création d'images explicites à l'aide de l'IA, mais aussi le partage de contenus préjudiciables.
Selon un projet de loi, toute personne partageant de la pornographie deepfake sans le consentement d'un individu s'expose à des dommages-intérêts pouvant aller jusqu'à 150 000 $ et à une peine d'emprisonnement pouvant aller jusqu'à 10 ans si le partage des images facilite la violence ou a un impact sur les procédures d'une agence gouvernementale. Cela dit, ces propositions ont été bloquées, car des enfants de 12 ou 13 ans risquent toujours d'en être victimes.
En mai 2024, les autorités fédérales ont arrêté un ingénieur logiciel accusé d'avoir utilisé du matériel pédopornographique (CSAM) généré par l'IA pour manipuler et appâter une adolescente sur Instagram. L'affaire pourrait mettre à l'épreuve la déclaration du ministère américain de la Justice selon laquelle « le CSAM généré par l'IA reste du matériel pédopornographique ». Des experts suggèrent que les lois sur la cyberintimidation pourraient s'appliquer ici.
Contrairement à d'autres pays, les États-Unis ne se pressent pas pour contrer la menace émergente. C'est peut-être en Corée du Sud que la réaction a été la plus forte, où une crise du « deepfake porn » a ébranlé les écoles et les universités. Des centaines de personnes ont déjà été arrêtées dans le cadre d'une campagne de répression qui devrait durer sept mois et qui vise à empêcher la diffusion de contenus préjudiciables sur des plateformes telles que Telegram.
Dans le cadre de cette répression, la Corée du Sud a annoncé des sanctions plus sévères, notamment une peine d'emprisonnement maximale de trois ans pour le visionnage de vidéos explicites non consensuelles créées par l'IA et jusqu'à cinq ou sept ans pour la production ou la distribution. Le gouvernement sud-coréen a plus que doublé le nombre de fonctionnaires chargés de surveiller les plateformes de médias sociaux pour détecter les contenus préjudiciables.
Selon Marie-Helen Maras et Kenji Logie, chercheurs au John Jay College of Criminal Justice, les États-Unis pourraient s'atteler à la « tâche herculéenne » de réduire le nombre de deepfakes non consensuels à caractère sexuel explicite en introduisant une responsabilité légale. Cela obligerait les plateformes, les moteurs de recherche et les fournisseurs d'accès à Internet (FAI) à retirer le contenu, un peu comme le font les différentes lois sur le CSAM.
Par ailleurs, même dans un monde où tous les intermédiaires d'Internet et les gouvernements s'accorderaient à dire que le contenu doit être immédiatement supprimé, les chercheurs affirment que « l'interdiction de tous les deepfakes est irréaliste et irréalisable », car toutes les images nuisibles générées par l'IA qui existent déjà sont susceptibles de rester en ligne indéfiniment.
C'est pourquoi des réponses proactives rendant plus difficile le téléchargement d'images explicites non consensuelles générées par l'IA sont essentielles pour réduire les préjudices à mesure que ce contenu prolifère en ligne. Les experts recommandant une série de mises à jour juridiques pour protéger les victimes.
Et vous ?
Quel est votre avis sur le sujet ?Voir aussi
Un homme condamné à 18 ans de prison pour avoir utilisé l'IA pour créer des images d'abus sexuels sur enfant, un précédent de la manière dont les deepfakes créés par l'IA pourraient être poursuivis à l'avenir Un juge bloque la nouvelle loi californienne sur l'IA dans l'affaire du deepfake mettant en scène Kamala Harris, ce blocage permet à Elon Musk, son réseau social X et ses alliés d'échapper à des poursuites Le Pentagone veut utiliser l'IA pour créer de faux internautes qui seraient indétectables par les humains et les ordinateurs, tout en dénonçant l'utilisation des deepfakes par la Chine et la Russie 
