l'UE devrait interdire le scoring des citoyens et la surveillance de masse à l'aide de l'IA
Selon un groupe d'experts de haut niveau

Le , par Jonathan

49PARTAGES

20  1 
Dans le domaine du marketing, le scoring est une technique qui permet d'affecter un score à un client ou prospect. Le score obtenu traduit généralement la probabilité qu'un individu réponde à une sollicitation marketing ou appartienne à la cible recherchée. Mais le scoring dont il est question ici est une toute autre chose. L’idée ici est de collecter des centaines de données sur les individus et les entreprises à partir des réseaux sociaux et via les caméras de surveillance intelligentes. Seront donc passées au crible la légalité et la moralité dans les domaines économiques, sociaux et politiques, avec pour but un score dont découleront des récompenses ou des sanctions.

Ce système, qui est actuellement expérimenté par le gouvernement chinois, soulève quelques inquiétudes chez certaines personnes du côté de l'Europe. D'ailleurs un groupe d'experts de haut niveau sur l'IA, réunis par l'Union européenne, a recommandé l'interdiction d'utiliser l'IA pour le scoring des citoyens et la surveillance de masse. Le groupe a été créé en juin 2018, et est composé d'un mélange d'experts de l'industrie de l'IA, de représentants de la société civile, de conseillers politiques, d'universitaires et d'experts juridiques. Leurs recommandations font partie des efforts en cours de l'UE pour se positionner en tant que chef de file de la soi-disant IA éthique.

En fait, ces experts craignent que les gouvernements, dans leur désir de d'accroître la sécurité, poussent cette surveillance à des niveaux qu'ils qualifient de dangereux : « Les gouvernements pourraient être tentés de sécuriser la société en construisant un système de surveillance généralisé basé sur des systèmes d'IA, mais cela serait extrêmement dangereux si on le poussait à des niveaux extrêmes. Les gouvernements devraient s’engager à ne pas participer à une surveillance massive des individus et à déployer et acquérir uniquement des systèmes d’IA fiables, conçus pour respecter la loi et les droits fondamentaux, alignés sur des principes éthiques et solides du point de vue socio-technique ». C'est ce qu'a écrit ce groupe d'experts dans son nouveau rapport. Ces experts recommandent donc à l'UE d'interdire l'utilisation de l'IA pour le scoring des citoyens et la surveillance de masse.


Ce rapport contient des recommandations spécifiques parmi lesquelles : l'identification des domaines de recherche sur l'IA nécessitant un financement, encourager l'UE à intégrer la formation à l'IA dans les écoles et les universités, et en suggérant de nouvelles méthodes pour surveiller l'impact de l'IA. Il semblerait que ce soit ce qui se passe avec le système de crédit social naissant en Chine, qui alimente les craintes de ces experts. Ils ont également mentionné le fait qu’il existait déjà des systèmes similaires de surveillance et de répression en Occident, mais qu’au lieu d’être supervisés par des gouvernements, ils étaient gérés par des sociétés privées. Ce qui complique donc un peu les choses, car si l'UE venait à appliquer les recommandations d'interdiction du scoring des citoyens, il restera à savoir si cette interdiction couvrira également les activités des sociétés privées.

Entre autres choses, les experts appellent également à soutenir le développement de mécanismes de protection des données personnelles et à permettre aux individus de contrôler leurs données. Ils suggèrent aussi que les États membres et la Commission devraient également concevoir des moyens pour analyser, mesurer et évaluer en continu l'impact de l'IA sur la société. Le rapport produit par ces experts s'est heurté à plusieurs comme celle de Fanny Hidvegi, responsable des politiques européennes du groupe de défense des droits numériques Access Now, qui a déclaré que le document était trop vague et manquait de clarté sur les garanties, les lignes rouges et les mécanismes d'application.

Bien qu’elles ne soient pas contraignantes, les recommandations faites par ces experts auront probablement une influence sur les décisions politiques prises par la prochaine Commission européenne, qui devrait entrer en fonction en novembre.

Source : Rapport

Et vous ?

Quelle est votre position concernant la surveillance de masse ?
Que pensez-vous de ces recommandations ?
Pensez-vous qu'elles influenceront les décisions de la Commission européenne ?

Voir aussi :

Pour Elon Musk l'IA est bien plus dangereuse que l'arme nucléaire alors que Bill Gates estime que l'IA est à la fois porteuse d'espoir et dangereuse
L'IA de génération de texte d'Elon Musk trop dangereuse pour être rendue publique selon ses créateurs
L'IA pourrait supplanter 40% des emplois du monde dans 15 ans l'humanité arrivera-t-elle à surmonter ce bouleversement technologique ?

Une erreur dans cette actualité ? Signalez-le nous !

Avatar de BugFactory
Membre expérimenté https://www.developpez.com
Le 27/06/2019 à 10:20
Une très bonne nouvelle, toute décision visant à empêcher l'IA de transformer nos sociétés en états policiers est la bienvenue. Espérons que ces recommandations deviennent législation.
7  1 
Avatar de Ecthelion2
Membre extrêmement actif https://www.developpez.com
Le 27/06/2019 à 16:48
Citation Envoyé par tanaka59 Voir le message
Quand on connait le nombres de fraudeurs aux prestations sociales, une système de crédit serait pas du luxe pour éjecter certains malhonnêtes. Il peut y avoir des dérives c'est vrai.

Je ne m'en cache pas en France je pense qu'un système de crédit social serait pas mal dans certains contextes (prestation caf, pôle emploi, assurance maladie ... )

Tu sais que ces fraudes ne représentent strictement rien comparés aux malhonnêtes qui font de la fraude ou de l'évasion fiscale hein ?

Si on mettait un système de crédit social vraiment moral et objectif, une très grosse partie des grosses entreprises et multinationales françaises verraient leurs dirigeants finir interdit de tout, de même pour de nombreux politiciens etc. Il y aurait beaucoup plus de gens aisés impactés que de fraudeurs à la prestation sociale.

Moi je suis pas contre hein, au contraire, mais contrairement à ce qu'essaie de nous faire croire le gouvernement, la chasse à la fraude aux prestations sociales, c'est le cadet de nos soucis économiquement parlant, il y a plus urgent à faire, mais bon, cela signifie taper sur les membres ou les amis du-dit gouvernement, donc ce n'est pas prêt d'arriver...
4  0 
Avatar de Conan Lord
Membre expert https://www.developpez.com
Le 27/06/2019 à 17:30
Citation Envoyé par tanaka59 Voir le message
Faut il rappeler que la fraude aux prestations sociales c'est le contribuable qui paye via son salaire ? Toi , Moi , Vous ... Les cotisations prélevées par les URSSAF chaque moi .
Les très rares cas de fraude non détectés seulement. La fraude détectée étant déjà punie, le crédit social ne change rien à rien. Pour info, les chiffres de fraude qu'on te donne à la télé incluent les trop perçus dus au fonctionnement normal des organismes (la situation des prestataires étant réévaluée à intervalles réguliers, et non en temps réel). Tu ne paies pas les trop perçus, et tu ne paies pas non plus la fraude détectée par les organismes. Reste la vraie fraude non détectée, et donc non chiffrable. Sachant que les prestataires sont déjà ultra surveillés de nos jours, je ne vois pas à quoi servirait un crédit social là-dessus, à part à punir des mecs qui se seront emmêlés les pinceaux dans la déclaration (et pour qui le contribuable ne paie pas de tout manière).
4  0 
Avatar de Ecthelion2
Membre extrêmement actif https://www.developpez.com
Le 28/06/2019 à 8:29
Citation Envoyé par tanaka59 Voir le message
Faut il rappeler que la fraude aux prestations sociales c'est le contribuable qui paye via son salaire ? Toi , Moi , Vous ... Les cotisations prélevées par les URSSAF chaque moi .
Faut-il rappeler que le manque à gagner de l'évasion et la fraude fiscale, c'est le contribuable qui paye avec ses impôts et chaque nouvelle taxe qui voit le jour ?
4  0 
Avatar de BugFactory
Membre expérimenté https://www.developpez.com
Le 27/06/2019 à 17:15
Citation Envoyé par tanaka59 Voir le message
Quand on connait le nombres de fraudeurs aux prestations sociales, une système de crédit serait pas du luxe pour éjecter certains malhonnêtes. Il peut y avoir des dérives c'est vrai.

Je ne m'en cache pas en France je pense qu'un système de crédit social serait pas mal dans certains contextes (prestation caf, pôle emploi, assurance maladie ... )

---

Sinon pour répondre aux questions :

Je suis pour , elle existe déjà depuis longtemps.

Savoir l'utiliser de manière raisonné , pas avoir une usine à gaz. Privilégier les utilisations pour la lutte contre la fraude et criminalité.

On ne vas rien influencer car la surveillance de masse existe déjà.
La surveillance de masse comme solution à la fraude aux prestations sociales, c'est pas un peu totalement disproportionné? On en entend habituellement parler au sujet du terrorisme ou de la copie illégale, mais ça c'est nouveau. C'est tuer des mouches à la bombe atomique.
3  0 
Avatar de Ryu2000
Membre extrêmement actif https://www.developpez.com
Le 28/06/2019 à 9:11
Citation Envoyé par tanaka59 Voir le message
Je ne m'en cache pas en France je pense qu'un système de crédit social serait pas mal dans certains contextes (prestation caf, pôle emploi, assurance maladie ... )
Mais purée, surveiller la population c'est une pratique de dictature, c'est comme le film "La Vie des autres" mais en pire parce que les algorithmes peuvent écouter tout le monde.
On ne peut pas accepter qu'en permanence le gouvernement lise tous nos emails et messages privés, écoute tous nos appelles et toutes nos discussions, tout ça pour éviter que des gens profitent trop des aides sociales.

Bon à la limite qu'on surveille ceux qui sont plus susceptible de violer les lois : les élus.
La fraude fiscale atteint 100 milliards d'euros par an, selon un rapport
100 milliards ça fait un paquet de RSA.

Citation Envoyé par tanaka59 Voir le message
Je suis pour , elle existe déjà depuis longtemps.
On ne devrait pas accepter de perdre des libertés.
La balance bénéfice/risque penche totalement du côté du risque.

Citation Envoyé par tanaka59 Voir le message
Savoir l'utiliser de manière raisonné , pas avoir une usine à gaz.
La surveillance de masse ce n'est jamais raisonné.
Le peuple est écouté et surveillé en permanence, donc on ne peut pas l'accepter.

Imagine avec un fou d'LREM au pouvoir, il pourrait mettre ses ennemis politique dans des camps.
Ça pourrait finir en : "Puisque tu n'aimes pas l'UE tu vas faire un camp de rééducation" et après c'est la scène d'orange mécanique avec le lavage de cerveau, on va essayer de faire croire que sans l'UE c'est le fascisme et la guerre.
3  0 
Avatar de Ecthelion2
Membre extrêmement actif https://www.developpez.com
Le 27/06/2019 à 15:46
Citation Envoyé par pierre-y Voir le message
"l'UE devrait interdire le scoring des citoyens et la surveillance de masse à l'aide de l'IA"
Et dans un même temps facebook va fournir toute les données possible de personne jugé "haineuse" sur internet, la notion de "haineux" englobant tout est rien allant de la personne vraiment dangereuse a celui qui aura juste argumenté de manière intelligente mais pas forcement bien pensante une réponse. J'ai du mal a croire que ça se ferra sans IA (IA qu'on attend toujours d'ailleurs).
C'est normal, c'est parce que tu n'as pas lu l'article correctement (ou en diagonale).

Facebook fournira les données SUR DEMANDE D'UN JUGE, donc les propos auront été déclarés "haineux" lors d'un jugement (que cela soit facile ou non de définir ce qui est un propos haineux ou non pour un juge, là n'est pas la question), et donc seront déjà connus par la justice avant même qu'elle demande les infos à Facebook, donc il n'y a strictement aucun besoin d'une IA pour identifier quoi que ce soit...

C'est en faisant des lectures d'articles comme cela, à la va-vite, que l'on propage des fake-news dans tous les sens.
3  1 
Avatar de Ryu2000
Membre extrêmement actif https://www.developpez.com
Le 27/06/2019 à 16:18
Citation Envoyé par tanaka59 Voir le message
Donc ce n'est pas une intelligence.
Peu importe...
Ce n'est qu'un problème de terminologie.

En Chine il y a des caméras partout, les algorithmes sont capable de trouver à qui appartient le visage, les citoyens ont des scores et ils peuvent perdre des droits en ayant un mauvais score.
Certains chinois n'ont plus le droit de prendre certains trains, parce qu'ils n'ont pas remboursé des dettes.

C'est un peu comme si il y avait différentes classes de citoyen, si ça existait en France les gilets jaunes deviendraient des sous citoyens.
2  0 
Avatar de Darkzinus
Expert éminent https://www.developpez.com
Le 28/06/2019 à 14:38
Citation Envoyé par tanaka59 Voir le message
Faut il rappeler que la fraude aux prestations sociales c'est le contribuable qui paye via son salaire ? Toi , Moi , Vous ... Les cotisations prélevées par les URSSAF chaque moi .
Comme pour les cadeaux aux entreprises, les niches fiscales, les évasions fiscales … qui sont autrement plus coûteuses !
2  0 
Avatar de pierre-y
Membre éprouvé https://www.developpez.com
Le 27/06/2019 à 17:57
Citation Envoyé par Ecthelion2 Voir le message
C'est normal, c'est parce que tu n'as pas lu l'article correctement (ou en diagonale).

Facebook fournira les données SUR DEMANDE D'UN JUGE, donc les propos auront été déclarés "haineux" lors d'un jugement (que cela soit facile ou non de définir ce qui est un propos haineux ou non pour un juge, là n'est pas la question), et donc seront déjà connus par la justice avant même qu'elle demande les infos à Facebook, donc il n'y a strictement aucun besoin d'une IA pour identifier quoi que ce soit...

C'est en faisant des lectures d'articles comme cela, à la va-vite, que l'on propage des fake-news dans tous les sens.
Et vous voulez que facebook fournisse ces donnés a qui d'autre que la justice exactement? J'ai bien lut l'article merci. Je dis que des propos déclaré "haineux" ça ne veut pas dire grand chose, ceci pouvant dire tout est n'importe quoi et je m'inquiète de ce genre de dérive. J'imagine bien ce que ça peut donné avec les gilets jaunes par exemple.
1  0 
Contacter le responsable de la rubrique Intelligence artificielle

Partenaire : Hébergement Web