L'AI Act est en place : les systèmes d'IA présentant un « risque inacceptable » sont désormais interdits dans l'UE

Mais la Commission accuse des retards dans la définition des règles qui l'encadre

Le 1^er aout 2024, la réglementation européenne sur l'intelligence artificielle (l'AI Act) est entrée en vigueur, marquant le début d'une série de dates et d'échéances au cours des mois et des années à venir, afin de préparer les entreprises qui utilisent l'IA à se familiariser avec la nouvelle législation et à s'y conformer. Et la première échéance est arrivée : depuis le 2 février, il est interdit les pratiques menaçant les droits humains et présentant un « risque inacceptable », telles que la reconnaissance faciale à distance en temps réel, les systèmes de notation sociale, l’identification biométrique en temps réel et la détection des émotions sur le lieu de travail, dans l’Espace économique européen (EEE). Mais le texte laisse toutefois de nombreuses questions en suspens quant à la manière dont il devrait être appliqué, rendant les lignes directrices attendues cruciales pour sa mise en œuvre.

Depuis dimanche, les régulateurs de l'Union européenne peuvent interdire l'utilisation de systèmes d'IA qu'ils considèrent comme présentant un « risque inacceptable » ou un préjudice. Les détails sont énoncés à l'article 5, mais d'une manière générale, la loi est conçue pour couvrir une myriade de cas d'utilisation où l'IA peut apparaître et interagir avec les individus, depuis les applications grand public jusqu'aux environnements physiques.

Selon l'approche de l'Union européenne, il existe quatre niveaux de risque :

1. le risque minimal (par exemple, les filtres anti-spam) ne fera l'objet d'aucune surveillance réglementaire ;
2. le risque limité, qui comprend les robots de conversation du service clientèle, fera l'objet d'une surveillance réglementaire légère ;
3. le risque élevé - l'IA pour les recommandations en matière de soins de santé en est un exemple - fera l'objet d'une surveillance réglementaire stricte ; et
4. les applications présentant un risque inacceptable - qui font l'objet des exigences de conformité de ce mois-ci - seront entièrement interdites.

Parmi les activités inacceptables, on peut citer

• L'IA utilisée pour l'évaluation sociale (par exemple, l'établissement de profils de risque sur la base du comportement d'une personne).
• L'IA qui manipule les décisions d'une personne de manière subliminale ou trompeuse.
• L'IA qui exploite des vulnérabilités telles que l'âge, le handicap ou le statut socio-économique.
• L'IA qui tente de prédire les personnes qui commettent des crimes sur la base de leur apparence.
• L'IA qui utilise la biométrie pour déduire les caractéristiques d'une personne, comme son orientation sexuelle.
• L'IA qui collecte des données biométriques « en temps réel » dans des lieux publics à des fins de répression.
• L'IA qui tente de déduire les émotions des personnes au travail ou à l'école.
• L'IA qui crée - ou développe - des bases de données de reconnaissance faciale en récupérant des images en ligne ou provenant de caméras de sécurité.

Les entreprises qui utilisent l'une des applications d'IA susmentionnées dans l'UE seront soumises à des amendes, quel que soit le lieu de leur siège social. Elles pourraient devoir payer jusqu'à 35 millions d'euros ou 7 % de leur chiffre d'affaires annuel de l'exercice précédent, le montant le plus élevé étant retenu.


Engagements préliminaires

L'échéance du 2 février est en quelque sorte une formalité.

En septembre dernier, plus de 100 entreprises ont signé le Pacte européen sur l'IA, un engagement volontaire à commencer à appliquer les principes de la loi sur l'IA avant son entrée en vigueur. Dans le cadre de ce pacte, les signataires (dont Amazon, Google et OpenAI) se sont engagés à identifier les systèmes d'IA susceptibles d'être classés comme présentant un risque élevé en vertu de la loi sur l'IA.

Certains géants de la technologie, notamment Meta et Apple, n'ont pas adhéré au pacte. La startup française Mistral, l'un des plus féroces détracteurs de la loi sur l'IA, a également choisi de ne pas signer le pacte.

Cela ne veut pas dire qu'Apple, Meta, Mistral ou d'autres qui n'ont pas accepté le pacte ne respecteront pas leurs obligations, notamment l'interdiction des systèmes présentant des risques inacceptables. Rob Sumroy, responsable de la technologie au cabinet d'avocats britannique Slaughter and May, a souligné que, compte tenu de la nature des cas d'utilisation interdits, la plupart des entreprises ne s'engageront de toute façon pas dans ces pratiques.

« Pour les organisations, l'une des principales préoccupations liées à la loi européenne sur l'IA est de savoir si des lignes directrices, des normes et des codes de conduite clairs arriveront à temps et, surtout, s'ils fourniront aux organisations des informations claires sur le respect de la loi », a déclaré Sumroy. « Toutefois, les groupes de travail respectent jusqu'à présent les délais fixés pour le code de conduite destiné aux développeurs ».

Toujours pas de lignes directrices

Pourtant, quelques jours de l'entrée en vigueur de ces interdictions, la Commission européenne n'avait toujours pas encore publié ses lignes directrices pour la mise en œuvre de l'AI Act. Cette absence de directives précises suscite des inquiétudes parmi les parties prenantes, qui craignent des incertitudes quant à l'application concrète du règlement.

Des associations comme Access Now, Amnesty International et European Digital Rights demandaient à la Commission de mettre « les droits de l’homme et la justice au cœur des prochaines lignes directrices ».

Access Now par exemple a noté :

« Étant donné que la version finale de la loi sur l'IA présente de graves lacunes en matière de protection des droits fondamentaux, en particulier dans les domaines de la police et de la migration, il est important que les lignes directrices précisent que les droits fondamentaux constituent la base centrale de l'application de la loi sur l'IA.

« Plus précisément, nous demandons à l'Office AI de veiller à ce que les prochaines lignes directrices sur les interdictions de la loi sur l'IA et la définition du système d'IA incluent les éléments suivants comme base nécessaire à une application fondée sur les droits fondamentaux :

• Préciser que les systèmes comparativement "simples" entrent explicitement dans le champ d'application de la définition des systèmes d'IA : ces systèmes ne doivent pas être considérés comme n'entrant pas dans le champ d'application de la loi sur l'IA au seul motif qu'ils utilisent des algorithmes moins complexes. Nous craignons que les développeurs n'exploitent la définition de l'IA et la classification des systèmes d'IA à haut risque pour contourner les obligations de la loi sur l'IA. Par exemple, la transformation d'un système d'IA en un système fondé sur des règles pourrait contourner les dispositions de la loi sur l'IA, tout en conservant la même fonctionnalité et en présentant les mêmes risques. C'est pourquoi la réglementation doit se concentrer sur les dommages potentiels, et pas seulement sur les méthodes techniques. Le scandale néerlandais SyRI est un exemple clair d'un système qui semblait simple et explicable, mais qui a eu des conséquences dévastatrices sur les droits et la vie des personnes, en particulier les personnes racialisées et celles issues de l'immigration.
• Les interdictions de systèmes présentant un risque « inacceptable » pour les droits fondamentaux sont clarifiées afin d'empêcher la militarisation de la technologie contre les groupes marginalisés et l'utilisation illégale de la surveillance biométrique de masse.
• En ce qui concerne l'interaction avec d'autres textes législatifs de l'Union, les lignes directrices doivent garantir que la législation sur les droits de l'homme, en particulier la Charte des droits fondamentaux de l'UE, constitue la base directrice centrale de la mise en œuvre et que tous les systèmes d'IA doivent être envisagés dans le contexte plus large de la discrimination, du racisme et des préjugés. Pour cette raison, les lignes directrices doivent souligner que l'objectif des interdictions est de servir un but préventif et doit donc être interprété au sens large dans le contexte de la prévention des dommages.

Exceptions possibles

Il existe des exceptions à plusieurs des interdictions prévues par la loi sur l'IA.

Par exemple, la loi autorise les forces de l'ordre à utiliser certains systèmes de collecte de données biométriques dans les lieux publics si ces systèmes permettent d'effectuer une « recherche ciblée », par exemple d'une victime d'enlèvement, ou de prévenir une menace « spécifique, substantielle et imminente » pour la vie. Cette dérogation requiert l'autorisation de l'organe directeur approprié, et la loi souligne que les forces de l'ordre ne peuvent pas prendre une décision qui « produit un effet juridique défavorable » sur une personne en se fondant uniquement sur les résultats de ces systèmes.

La loi prévoit également des exceptions pour les systèmes qui déduisent les émotions sur le lieu de travail et dans les écoles lorsqu'il existe une justification « médicale ou de sécurité », comme les systèmes conçus pour un usage thérapeutique.

La Commission européenne, l'organe exécutif de l'UE, a déclaré qu'elle publierait des lignes directrices supplémentaires au « début de 2025 », à la suite d'une consultation avec les parties prenantes en novembre. Toutefois, ces lignes directrices n'ont pas encore été publiées.

Selon Sumroy, on ne sait pas non plus comment d'autres lois en vigueur pourraient interagir avec les interdictions et les dispositions connexes de la loi sur l'IA. La clarté pourrait n'arriver que plus tard dans l'année, à l'approche de la période d'application de la loi.

« Il est important que les organisations se souviennent que la réglementation en matière d'IA n'existe pas de manière isolée », a déclaré Sumroy. « D'autres cadres juridiques, tels que le RGPD, le NIS2 et le DORA, interagiront avec la loi sur l'IA, créant des défis potentiels - en particulier en ce qui concerne les exigences de notification d'incidents qui se chevauchent. Il sera tout aussi crucial de comprendre comment ces lois s'articulent entre elles que de comprendre la loi sur l'IA elle-même. »

Le cas particulier des IA à usage général

Les modèles d’IA généralistes (ex. GPT, Mistral, Claude) font l’objet d’un encadrement distinct. Lorsqu’ils atteignent un certain seuil de puissance, ils peuvent être considérés comme à risque systémique, ce qui implique des obligations renforcées en matière :

• de transparence et de documentation ;
• de gestion des biais et des risques ;
• de cybersécurité pour prévenir les usages malveillants.

Aussi, les principaux aspects du texte ne seront appliqués qu'à une date ultérieure : le 1^er août pour les modèles d'IA « généralistes », tels que les grands modèles de génération de texte ou d'image qui sont utilisés dans le cadre des applications professionnelles ou des assistants comme ChatGPT (OpenAI), Gemini (Google) ou Le Chat (Mistral). Ils seront soumis à des exigences de transparence concernant leur documentation technique et leurs données d'apprentissage. Les modèles les plus importants seront également soumis à des vérifications de sécurité concernant notamment les risques cybernétiques. Il faudra également que les États membres aient nommé leur autorité compétente.

Le cas des IA à « risque élevé » interviendra plus tard

Le gouvernement rappelle que les systèmes d’IA du niveau juste du dessous, c’est-à-dire ceux classés comme à « haut-risque », sont ceux déjà couverts :

La CNIL expliquait l’année dernière qu’il s’agit de « la première législation générale (ou exhaustive) au monde sur l’intelligence artificielle », dont le but est « d'encadrer le développement, la mise sur le marché et l’utilisation de systèmes d'intelligence artificielle (IA), qui peuvent poser des risques pour la santé, la sécurité ou les droits fondamentaux ».

Mais de nouvelles applications seront ajoutées avec l’AI Act : « l’éducation et la formation professionnelle, l’accès aux services privés essentiels (crédit bancaire, assurance) et aux prestations publics essentiels (santé, appels d'urgence, justice) ». L’entrée en vigueur se fera à partie du 2 août 2026. Avant cette date, en août 2025, de nouvelles règles pour les modèles d’IA à usage général entreront en vigueur.

Sources : Pacte sur l'IA, Commission européenne, Access Now, gouvernement français, règlement sur la résilience opérationnelle numérique (DORA), directive NIS 2

Et vous ?

L’interdiction des IA à "risque inacceptable" est-elle suffisante pour protéger les citoyens ou faut-il aller plus loin ?

Quelles pourraient être les conséquences négatives de cette interdiction sur l’innovation et la compétitivité des entreprises européennes ?

Cette régulation pourrait-elle freiner le développement des start-ups européennes face aux géants de l’IA aux États-Unis et en Chine ?

Pensez-vous que l’interdiction de la reconnaissance faciale en temps réel protège suffisamment la vie privée, ou faut-il des mesures encore plus strictes ?

La notation sociale est interdite, mais d’autres formes de classement algorithmique persistent (notation des consommateurs, scoring de crédit). Où doit-on placer la limite ?

L’identification des émotions par IA est bannie dans certains contextes. Cette interdiction vous semble-t-elle justifiée ou y a-t-il des usages positifs à envisager ?