La surveillance de masse par les systèmes d’intelligence artificielle et le scoring continuent de faire l’objet de débat à travers le monde entier. Ce qui était l’objet d’une fiction dans l’épisode Nosedive de la série Black Mirror est en train de devenir une réalité dans certaines parties du monde, tandis que certains gouvernements cherchent à limiter les dégâts. Bruxelles s'apprête à imposer des limites strictes aux systèmes d'intelligence artificielle utilisés pour la surveillance de masse ou le classement du comportement social afin d'éviter des abus de la surveillance publique des citoyens européens. Les entreprises qui développent l'IA pourraient se voir infliger des amendes pouvant atteindre 4 % de leur chiffre d'affaires mondial si elles ne se conforment pas aux nouvelles règles régissant les applications logicielles.Dans le domaine du marketing, le scoring est une technique qui permet d'affecter un score à un client ou prospect. Le score obtenu traduit généralement la probabilité qu'un individu réponde à une sollicitation marketing ou appartienne à la cible recherchée. Mais le scoring dont l’Union européenne veut faire face est une tout autre chose. L’idée ici est de collecter des centaines de données sur les individus et les entreprises à partir des réseaux sociaux et via les systèmes d’intelligence artificielle. Ces données seront ensuite passées au crible scrutant la légalité et la moralité d’un individu dans les domaines économiques, sociaux et politiques, avec pour but un score dont découleront des récompenses ou des sanctions.
Depuis 2018, la Chine a commencé à tester son projet de « système de crédit social » qui vise à mettre en place un système national pour noter ses citoyens. En effet, ce projet consiste à attribuer une note à chaque citoyen, fondée sur les données dont dispose le gouvernement sur les Chinois. Le système repose sur un outil de surveillance de masse et utilise les technologies d'analyse Big Data. Il permet aussi de noter les entreprises opérant sur le marché chinois.
Dès 2018, la liste noire du système de notation sociale chinois s'élargissait et impliquait plusieurs domaines. Alors que le système était prévu pour être pleinement opérationnel jusqu'en 2020, des millions de ressortissants chinois ont été empêchés de réserver des vols ou des trains depuis que ce système controversé a commencé à être testé dans certaines villes du pays. « Cela permettra aux personnes de confiance de circuler librement sous le ciel tout en entravant les personnes qui ne sont pas dignes de confiance dans leurs déplacements », expliquait le Parti communiste chinois. L’un des mauvais comportements pouvant faire baisser la note du crédit social des individus, c’est celui de passer d’un emploi à l’autre trop fréquemment. Des citoyens répertoriés pour ce comportement se voient infliger des sanctions.
L’UE veut éviter cela aux citoyens européens en interdisant les systèmes d'intelligence artificielle utilisés pour la surveillance de masse ou le classement des comportements sociaux. Les mesures à venir font partie de la législation qui doit être proposée par la Commission européenne, l'organe exécutif de l'Union européenne, selon un document de projet de nouvelles règles. Les nouvelles règles pourraient être dévoilées dès la semaine prochaine, et d’ici là, la Commission pourrait changer certains détails.
Les nouvelles règles sur l’intelligence artificielle
La proposition de la Commission européenne devrait inclure les règles suivantes :
- Les systèmes d'IA utilisés pour manipuler le comportement humain, exploiter des informations sur des individus ou des groupes d'individus, utilisés pour effectuer du scoring social ou pour une surveillance systématique seraient tous interdits dans l'UE. Certaines exceptions liées à la sécurité publique s'appliqueraient.
- Les systèmes d'identification biométrique à distance utilisés dans les lieux publics, comme la reconnaissance faciale, nécessiteraient une autorisation spéciale des autorités.
- Les applications d'IA considérées comme "à haut risque" devront être soumises à des inspections avant d'être déployées, afin de garantir que les systèmes sont formés sur des ensembles de données impartiaux, de manière traçable et avec une supervision humaine.
- L'IA à haut risque concernerait les systèmes susceptibles de mettre en danger la sécurité, la vie ou les droits fondamentaux des personnes, ainsi que les processus démocratiques de l'UE – comme les voitures à conduite autonome et la chirurgie à distance, entre autres.
- Certaines entreprises seront autorisées à procéder elles-mêmes à des évaluations, tandis que d'autres seront soumises à des contrôles effectués par des tiers. Les certificats de conformité délivrés par les organismes d'évaluation seront valables pour une durée de cinq ans.
- Les règles s'appliqueront de la même manière aux entreprises établies dans l'UE ou à l'étranger.
Les États membres de l'UE devront désigner des organismes d'évaluation chargés de tester, de certifier et d'inspecter les systèmes, d’après le projet de nouvelles règles. Les entreprises qui développent des services d'IA interdits, fournissent des informations incorrectes ou ne coopèrent pas avec les autorités nationales pourraient se voir infliger une amende pouvant atteindre 4 % de leur chiffre d'affaires mondial. Il y aura toutefois des exceptions. Les mesures ne s'appliqueront pas aux systèmes d'IA utilisés exclusivement à des fins militaires.
Des inquiétudes concernant l’utilisation des systèmes d’IA à des fins de classement des comportements sociaux ne datent pas de maintenant. Un groupe d'experts de haut niveau sur l'IA, réunis par l'Union européenne, a recommandé en 2018 l'interdiction d'utiliser l'IA pour le scoring des citoyens et la surveillance de masse. Le groupe, qui était composé d'un mélange d'experts de l'industrie de l'IA, de représentants de la société civile, de conseillers politiques, d'universitaires et d'experts juridiques, craint que les gouvernements, dans leur désir d'accroître la sécurité, poussent cette surveillance à des niveaux qu'ils qualifient de dangereux.
« Les gouvernements pourraient être tentés de sécuriser la société en construisant un système de surveillance généralisé basé sur des systèmes d'IA, mais cela serait extrêmement dangereux si on le poussait à des niveaux extrêmes. Les gouvernements devraient s’engager à ne pas participer à une surveillance massive des individus et à déployer et acquérir uniquement des systèmes d’IA fiables, conçus pour respecter la loi et les droits fondamentaux, alignés sur des principes éthiques et solides du point de vue sociotechnique », pouvait-on lire dans leur rapport.
Alors que l'intelligence artificielle a commencé à pénétrer dans chaque partie de la société, des suggestions d'achat et des assistants vocaux aux décisions concernant l'embauche, les assurances et l'application de la loi, l'UE veut s'assurer que la technologie déployée en Europe est transparente, bénéficie d'une supervision humaine et répond à ses normes élevées en matière de confidentialité des utilisateurs.
Les règles proposées interviennent alors que l'Union européenne tente de rattraper les États-Unis et la Chine dans le déploiement de l'intelligence artificielle et d'autres technologies avancées. Les nouvelles exigences pourraient empêcher les entreprises technologiques de la région de concurrencer leurs rivaux étrangers si elles tardent à dévoiler leurs produits parce qu'ils doivent d'abord être testés.
En janvier 2020, Bruxelles s’apprêtait également imposer des limites strictes à l'utilisation de la technologie de reconnaissance faciale dans les espaces publics afin d'éviter des abus de la surveillance publique des citoyens européens. L'objectif serait de limiter « l'utilisation aveugle de la technologie de reconnaissance faciale » par les entreprises et les pouvoirs publics. Selon le plan, les citoyens européens auraient le droit de « savoir quand les données [de reconnaissance faciale] sont utilisées », avec toutes les exceptions « strictement circonscrites » pour garantir une utilisation appropriée.
Mais au cours du même mois, la proposition de l'Union européenne a évolué, le groupe abandonnant la possibilité d’interdire l’utilisation dans l’espace public de technologies de reconnaissance faciale. À cette époque, les consultations sur le plan étaient en cours, la proposition pouvant être modifiée à nouveau.
Et vous ?
Quel est votre avis sur ces futures règles sur l’IA de l’UE ? Que pensez-vous du classement des comportements sociaux par les gouvernements ?Voir aussi :
Pourquoi les systèmes de crédit social de la Chine sont étonnamment populaires ? Ils combleraient la « méfiance mutuelle entre les citoyens » Chine : les personnes qui changent d'emploi trop souvent pourraient être sanctionnées, par le système de crédit social Bruxelles pourrait interdire l'utilisation des technologies de reconnaissance faciale dans les espaces publics sur cinq ans, le temps de légiférer sur des moyens permettant de prévenir des abus L'UE devrait interdire le scoring des citoyens et la surveillance de masse à l'aide de l'IA, selon un groupe d'experts de haut niveau 
Envoyé par Mathis Lucas
