IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

La police de New York a dépensé des millions pour les services d'une entreprise tech prétendant pouvoir utiliser l'IA
Pour surveiller les réseaux sociaux et prédire qui seront les futurs criminels

Le , par Stéphane le calme

31PARTAGES

8  0 
La police de New York (NYPD) a dépensé des millions de dollars pour acheter des produits d’une entreprise technologique qui affirme pouvoir utiliser l’intelligence artificielle (IA) pour surveiller les comportements en ligne et même prédire les crimes, selon un nouveau rapport.

Le Surveillance Technology Oversight Project, une organisation à but non lucratif dédiée à la lutte contre la surveillance de masse et à la protection de la vie privée, a publié des versions expurgées des contrats du NYPD avec Voyager Labs, qui montrent que le département a signé un contrat de près de 9 millions de dollars avec l’entreprise en 2018.

Voyager Labs, dont le siège est en Israël, se présente comme un service « d'enquêtes alimentées par l'IA » qui collecte des données à partir de « milliards de "pixels humains" et de signaux » et utilise l'intelligence artificielle pour cartographier les relations, suivre les emplacements géographiques et fournir d'autres données personnelles aux « agences chargées de la sécurité publique ».

« En tirant parti de ce vaste océan de données, ils peuvent obtenir des informations exploitables sur des individus, des groupes et des sujets, puis plonger en profondeur pour en découvrir encore plus », ont écrit les responsables de l'entreprise dans des documents marketing joints à la plainte Meta. Le slogan sur le papier à en-tête de Voyager Labs est : « Mettre en lumière l'individualité ».

Si l’utilisation des analyses des réseaux sociaux par les forces de l’ordre n’est pas nouvelle, Voyager Labs affirme que ses produits sont capables de plus que de la surveillance. L’entreprise a prétendu que ses produits pouvaient également prédire les crimes futurs, selon une enquête du Brennan Center for Justice, un institut de droit et de politique publique.

« Voyager Discover va plus loin que les capacités de Voyager Analytics, en analysant non seulement qui est le plus influent mais aussi qui est le plus investi dans une position donnée : émotionnellement, idéologiquement et personnellement », dit un argumentaire de vente de Voyager Labs au Los Angeles Police Department, obtenu par le Brennan Center for Justice. « Cette capacité permet de passer de ceux qui sont les plus engagés en ligne à ceux qui sont les plus engagés dans leur cœur ».

Voyager Labs a également affirmé que son IA pouvait attribuer des scores de risque aux utilisateurs des réseaux sociaux concernant leurs « liens ou leur affinité pour le fondamentalisme ou l’extrémisme islamique », selon le rapport du Brennan Center for Justice.

Un autre de ses produits, Voyager Check, « fournit une indication automatisée des individus qui peuvent présenter un risque », selon le site web de Voyager Labs.


Une utilisation « invasive » et « alarmante »

Will Owen, directeur de la communication du Surveillance Technology Oversight Project, a qualifié l’utilisation de ces produits « d’invasive » et « d’alarmante » dans un communiqué de presse.

Citation Envoyé par Will Owen
Les contrats avec Voyager Labs et Cobwebs Technologies étendent tous deux l'utilisation par les forces de l'ordre de la surveillance des médias sociaux et d'autres outils de surveillance, qui ciblent depuis longtemps les New-Yorkais noirs et Latinos, y compris les enfants. C’est invasif, c’est alarmant et cela devrait être illégal. Notre constitution exige que les forces de l'ordre obtiennent un mandat avant de procéder à des fouilles publiques, mais de plus en plus, la police et les procureurs achètent simplement nos données. Il ne s’agit pas seulement d’une mauvaise surveillance policière, il ne s’agit pas seulement d’autoriser les entreprises qui volent nos données, mais c’est aussi un contournement flagrant de la Constitution. Albany doit agir et adopter une législation cette année pour interdire les achats de données par les forces de l'ordre.
Et de poursuivre en disant :

Citation Envoyé par Will Owen
Compte tenu du terrible historique d’espionnage des militants par la police de New York, y compris des manifestants de Black Lives Matter, il est très préoccupant que les forces de l’ordre puissent utiliser ces contrats pour étouffer la dissidence et violer les droits des New-Yorkais à la liberté d’expression. Outre les préjugés racistes inhérents à ces technologies, c’est une autre raison pour laquelle nous ne pouvons jamais faire confiance à l’utilisation par les forces de l’ordre de la surveillance des médias sociaux, du suivi de localisation ou de toute autre donnée proposée par des sociétés de logiciels espions comme Voyager Labs et Cobwebs Technologies.
Selon le rapport du Surveillance Technology Oversight Project, il n’existe aucune preuve indépendante que les produits de Voyager Labs fonctionnent comme annoncé, ni aucune information sur la façon dont ils sont testés, évalués ou audités.

En outre, les produits de Voyager Labs peuvent violer la vie privée des utilisateurs des réseaux sociaux, en collectant et en analysant des données personnelles sans leur consentement ni leur connaissance. Le rapport du Surveillance Technology Oversight Project souligne que le NYPD n’a pas divulgué publiquement son utilisation des produits de Voyager Labs, ni établi de politiques claires sur la façon dont il les utilise.

Le rapport appelle le NYPD à mettre fin à son contrat avec Voyager Labs et à cesser d’utiliser ses produits. Il demande également au conseil municipal de New York d’adopter une loi qui interdirait au NYPD d’utiliser toute technologie qui prétend prédire les crimes ou attribuer des scores de risque aux individus.

« La police de New York ne devrait pas utiliser l’IA pour espionner les New-Yorkais, encore moins pour prédire qui va commettre un crime », a déclaré Albert Fox Cahn, directeur exécutif du Surveillance Technology Oversight Project, dans un communiqué de presse. « Nous avons besoin d’une interdiction totale de la police prédictive à New York ».


La réaction de Voyager Labs et de la police de New-York

William Colston, vice-président du marketing mondial chez Voyager Labs, a déclaré que la société utilise uniquement des données accessibles au public et que son logiciel « n'est pas destiné à se substituer à une surveillance et une analyse humaines rigoureuses ».

« Nous rejetons catégoriquement toute idée selon laquelle notre logiciel serait conçu pour porter atteinte aux libertés civiles ou à la liberté d'expression, ou qu'il serait biaisé de quelque manière que ce soit », a écrit Colston.

Un porte-parole du NYPD a déclaré que le département utilise le logiciel pour surveiller les suspects pour divers crimes - comme la violence armée, le terrorisme et la traite des êtres humains - mais a précisé qu’il n’utilise pas actuellement les outils prédictifs que Voyager Labs propose. « Le ministère utilise ce type de technologies pour faciliter les enquêtes actives et n'utilise pas de fonctionnalités qui seraient décrites comme prédictives d'une criminalité future », a assuré le porte-parole.

Meta a porté plainte à Voyager Labs en janvier pour web scrapping

Meta a déclaré qu'il poursuivait Voyager Labs pour avoir prétendument utilisé de faux comptes, des logiciels propriétaires et un réseau tentaculaire d'adresses IP pour collecter subrepticement d'énormes quantités de données personnelles auprès des utilisateurs de Facebook, Instagram, Twitter et d'autres réseaux sociaux ou sites de mise en réseau.

« Le défendeur a créé et utilisé plus de 38 000 faux comptes d'utilisateurs Facebook et son logiciel de surveillance pour récupérer les informations de profil visibles de plus de 600 000 utilisateurs de Facebook, y compris les publications, les goûts, les listes d'amis, les photos et les commentaires, ainsi que les informations des groupes et pages Facebook », ont déclaré les avocats dans la plainte de Meta. « Le défendeur a conçu le logiciel de surveillance pour dissimuler sa présence et son activité à Meta et à d'autres, et a vendu et concédé sous licence à des fins lucratives les données qu'il a récupérées ».

Dans l'annonce du procès, Jessica Romero, Meta Director of Platform Enforcement and Litigation, a écrit :

Voyager a développé et utilisé un logiciel propriétaire pour lancer des campagnes de scraping sur Facebook et Instagram, et des sites Web tels que Twitter, YouTube, LinkedIn et Telegram. Voyager a conçu son logiciel de scraping pour utiliser de faux comptes afin de scraper les données accessibles à un utilisateur lorsqu'il est connecté à Facebook, y compris les informations de profil des utilisateurs, les publications, les listes d'amis, les photos et les commentaires. Voyager a utilisé un système diversifié d'ordinateurs et de réseaux dans différents pays pour cacher son activité, y compris lorsque Meta a soumis les faux comptes à des vérifications ou des contrôles. Voyager n'a pas compromis Facebook, mais a plutôt utilisé de faux comptes pour récupérer des informations accessibles au public.

Notre action en justice allègue que Voyager a violé nos conditions d'utilisation contre les faux comptes et le scraping non autorisé et automatisé. Nous recherchons une injonction permanente contre Voyager pour protéger les personnes contre les services de scraping. Des entreprises comme Voyager font partie d'une industrie qui fournit des services de scraping à n'importe qui, quels que soient les utilisateurs qu'ils ciblent et indépendamment du but, y compris comme moyen de profiler les personnes pour un comportement criminel. Cette industrie collecte secrètement des informations que les gens partagent avec leur communauté, leur famille et leurs amis, sans surveillance ni responsabilité, et d'une manière qui peut impliquer les droits civils des personnes.
Voyager Labs a depuis déposé une demande de rejet du procès et attend une décision du tribunal, selon Colston.

« Si Meta s'engage réellement à protéger ses utilisateurs et à agir dans l'intérêt public, alors l'utilisation de logiciels analytiques par ceux qui tentent d'arrêter les acteurs malveillants devrait être adoptée et encouragée », a écrit Colston.

Sources : Voyager Labs, rapport du Surveillance Technology Oversight Project, William Owen

Et vous ?

Croyez-vous les déclarations de la police lorsqu'elle reconnaît utiliser les services de Voyager Labs, après avoir omis de le mentionner pendant des années, mais prétend ne pas utiliser ses fonctionnalités de prédiction de crimes ?
Que pensez-vous de l’utilisation de l’IA par la police pour surveiller les réseaux sociaux et prédire les crimes ?
Quels sont les risques et les bénéfices potentiels de cette technologie pour la sécurité publique et la justice ?
Comment protéger la vie privée et les droits des utilisateurs des réseaux sociaux face à la surveillance de masse ?

Voir aussi :

La France bannit les IA de prédiction des comportements des juges, les technologies de justice prédictive sont-elles une menace pour la société ?
L'administration Trump se tourne vers Palantir, l'entreprise controversée de Peter Thiel, afin de construire un dispositif pour traquer le covid-19, l'outil se nomme HHS Protect Now
Doit-on confier les décisions de vie ou de liberté à une intelligence artificielle ? Aux USA, une IA envoie des gens en prison et souvent à tort
L'intelligence artificielle peut-elle aider à rendre les décisions de justice moins biaisées ? Oui, selon un expert

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de Cpt Anderson
Membre émérite https://www.developpez.com
Le 13/09/2023 à 14:39
Minority Report...

au final, tous les films d'anticipations ont vu juste. Absolument tous. Le futur s'annonce effrayant.
8  0 
Avatar de bmayesky
Membre régulier https://www.developpez.com
Le 20/07/2024 à 20:47
Ces gouvernants espagnols ne sont pas responsables des statistiques ni du logiciel, ils sont responsables de son utilisation. Ils sont responsables de chaque erreur du logiciel, notamment devant les évidences de certains cas. Pire encore, ils sont responsable d'utiliser le logiciel pour diminuer le nombre d'intervention policière au lieu de l'utiliser pour sauver des femmes.

Et ils en sont complètement responsable parce que il est connu des lycéens que les statistiques sont valables à une infinité de tirages et que ce mêmes statistiques sont totalement incapables de déterminer le prochain tirage, c'est à dire la prochaine femme qui va se faire tuer, que le logiciel dise qu'il y a risque ou que le logiciel dise qu'il n'y a pas de risque.

Pourquoi tant de haine ? Parce que le choix le plus malfaisant du gouvernement espagnol est d'utiliser sciemment ce logiciel pour introduire un biais dans la décision des policiers et diminuer ses frais en sachant pertinemment qu'il va provoquer des morts.
Pourquoi ? Tout simplement, parce que ce logiciel pouvait être utilisé pour protéger et uniquement protéger les femmes.
Comment ? En paramétrant le logiciel pour qu'il signale uniquement les cas de risques très élevés. Ainsi il aurait permis au policier qui prend la décision finale de remettre son jugement en cause dans les cas qu'il n'aurait pas détecté et alors sauver des femmes. Le choix d'ouvrir ce logiciel pour qu'il puisse indiquer au policier que son bon sens doit être ignoré sans quoi il devra s'en expliquer est une incitation à minimiser les risques réels encouru.

En plus, n'importe quel informaticien sait qu'un programme ne fait que ce qu'il est censé faire et ne peut rien faire d'autre. Et nous savons tous que la vie ne rentre pas dans les cases à cocher d'un questionnaire. Et donc toutes les femmes qui ne rentrent pas dans les critères établis par le gouvernement espagnol (avec tous les biais de la terre, l'obsolescence des critères selon l'évolution de la société, l 'absence totale de psychologie des victimes, ...) sont condamnées à être considérées comme à risque négligeables et ne pas être protégées par leur gouvernement et leur police. Si ce ne sont pas là des meurtres prémédités par ceux qui ont décidé de mettre en place ce programme, je ne sais pas ce que c'est.
8  0 
Avatar de eddy72
Membre régulier https://www.developpez.com
Le 21/07/2024 à 12:44
C'est pas nous, c'est l'ordinateur !!!
Classique non ?
6  0 
Avatar de Nym4x
Membre confirmé https://www.developpez.com
Le 14/09/2023 à 8:07
Mme Irma 3.0... Plus sérieusement, c'est d'une fumisterie totale pour plusieurs raisons:
- Si l'IA savait prédire l'avenir ou les comportements, il n'y aurait pas de krach boursier non prévu car la finance est le principal secteur où elle est utilisée. En conséquence, si elle ne peut pas prédire l'évolution de l'économie où les modèles sont établis, comment pourrait-elle prédire les comportements humains qui sont beaucoup plus complexes?
- Les gens dangereux ou délinquants chevronnés veulent rester discret et certainement pas laisser des indices en ligne sur leurs activités.
- Il n'existe aucun profil type pour les terroristes: https://www.lepoint.fr/societe/terro...2151001_23.php
- Et pour leurs éventuelles activités illégales en ligne, ils utilisent aussi des faux comptes ou bien des subalternes. Ceux qui vont commettre un attentat ne sont pas connus des services de police.
- L'IA prédictive rejoint un peu l'influence de l'observateur sur l'état dans le domaine quantique : à partir du moment où on sait qu'elle observe, les comportements changent et le modèle n'est plus valable.

Bref à part emmerder le petit délinquant, alimenter les atteintes à la liberté d'expression, faire peur à Mme Michu qui n'osera plus poster son avis en ligne (est-ce un mal d'ailleurs? ) ainsi que délester la NYPD de plusieurs millions. pour moi c'est du bullshit.
4  0 
Avatar de pierre-y
Membre chevronné https://www.developpez.com
Le 21/07/2024 à 14:18
"Non madame vous n'êtes pas en train de vous faite pas violer, l'algo est formel la dessus alors arrêté de crier merci". Dernièrement une femme c'est fait condamné en France pour avoir utilisé de la lacrymo contre un gas (un migrant) qui voulait la violer justement... est ce que c'est plus intelligent que le debut de mon propos?
5  2 
Avatar de kain_tn
Expert éminent https://www.developpez.com
Le 04/10/2023 à 22:26
Citation Envoyé par Mathis Lucas Voir le message
Que pensez-vous de la police prédictive ? Est-ce un domaine crédible ?
Pas plus que la prédiction de la bourse, non.
2  0 
Avatar de totozor
Expert confirmé https://www.developpez.com
Le 22/07/2024 à 9:04
Citation Envoyé par Stéphane le calme Voir le message
Pour évaluer les risques, la victime est priée de remplir un questionnaire de 35 points, rempli par les agents lors de l'entretien avec la victime, qui génère ensuite un score de risque allant de « négligeable » à « extrême »
[...]
Après que l'Espagne a adopté une loi en 2004 pour lutter contre la violence à l'égard des femmes, le gouvernement a rassemblé des experts en statistiques, en psychologie et dans d'autres domaines pour trouver une réponse. Leur objectif était de créer un modèle statistique permettant d'identifier les femmes les plus exposées à la violence et d'élaborer une réponse standardisée pour les protéger.
Il y a une chose qui m'échappe, la police écoute une potentielle victime pendant plusieurs minutes "librement et sans l’interrompre" puis donne un questionnaire pour prendre de conclusions sur base d'un algorithme?
Mais les minutes libres et sans interruption sont elles finalement prises en compte. Un paquet de choses doivent être perçues qu'il est potentiellement difficile de factualiser mais qui reste des indice des risques d'aggravation de la situation.

Quand les gens comprendront que quand on parle de statistique on parle d'un modèle.
Modèle qui a potentiellement des scénarios où il n'est pas représentatif voir où il l'est. Si le modèle dit "la femme à 90% de chances d'être dans une situation à risque négligeable" ce qu'il faut aussi comprendre est qu'elle a "10% de chance d'être dans un situation à risque significatif".
D'autant plus que dans le cas de violence conjugale la paramètre principal n'est pas la victime mais l'agresseur qui n'est pas interrogé.
Le système attribue un score à chaque victime : risque négligeable, risque faible, risque moyen, risque élevé ou risque extrême. Un score élevé entraîne des patrouilles de police et le suivi des mouvements de l'agresseur. Dans les cas extrêmes, la police assurerait une surveillance 24 heures sur 24. Les personnes ayant obtenu un score moins élevé recevraient moins de ressources, principalement des appels de suivi.
C'est intéressant que tout tourne autour de la victime.
On enquête pas sur l'agresseur?
On évalue pas sa dangerosité?
L'Espagne compte aujourd'hui 92 000 cas actifs de victimes de violences de genre qui ont été évalués par VioGén, la plupart d'entre elles - 83 % - étant classées comme courant peu de risques d'être à nouveau agressées par leur agresseur. Pourtant, environ 8 % des femmes que l'algorithme a classées comme présentant un risque négligeable et 14 % comme présentant un risque faible ont déclaré avoir été à nouveau agressées, selon le ministère espagnol de l'intérieur, qui supervise le système.
C'est à dire qu'il est factualisé que le logiciel n'est pas si fiable.
Que fait on de ces 8% et 14%? On se contente de constater l'erreur et de s'excuser quand elles reviennent avec un cocard (au mieux)?
VioGén a été créé pour être un outil impartial permettant à la police, dont les ressources sont limitées
C'est normal que les ressources soient limitée, mais sont elles suffisantes pour gérer ces situations?
Si la réponse est non alors ce n'est ni le logiciel ni les agents qu'il faut attaquer mais le "système" qui ne met pas les moyens nécessaires.
Parce que s'il manque de personnel alors les priorités doivent être gérées et les "sacrifices" inévitables.
La technologie devait permettre de gagner en efficacité en aidant la police à donner la priorité aux cas les plus urgents
Quand on parle de vies humaines l'efficacité ne devrait pas être de priorisé les cas les plus urgents mais d'accélérer la capacité de réaction.
Pas pour décider qui doit être protégé et qui ne doit pas l'être.
Dans une déclaration, le ministère de l'intérieur a défendu VioGén et a déclaré que le gouvernement était « le premier à faire son autocritique » lorsque des erreurs se produisaient. Il a déclaré que les homicides étaient si rares qu'il était difficile de les prédire avec précision, mais a ajouté qu'il s'agissait d'un « fait incontestable » que VioGén avait contribué à réduire la violence à l'égard des femmes.
Et c'est là toute l'inefficacité de l'IA aujourd'hui, elle ne sait pas gérer les exceptions, les évènements rares.
Pourtant quand on évalue un risque on utilise deux paramètres :
la probabilité, dont les cas critiques sont bien gérés par l'IA
La gravité, dont les cas critiques semblent mal gérés par l'IA actuelle.
(On peut y ajouter la maitrise/prévisibilité/capacité de réaction)
Depuis 2007, environ 0,03 % des 814 000 victimes de violence de genre signalées en Espagne ont été tuées après avoir été évaluées par VioGén, a indiqué le ministère. Au cours de cette période, les agressions répétées sont passées de 40 % à environ 15 % de tous les cas de violence à l'égard des femmes, selon les chiffres du gouvernement.
Comment noyer le poisson?
Oui le logiciel est efficace pour les "cas standard", et c'est bien.
Mais a-t-il diminué les cas graves, qui en cas de probabilité particulièrement faible peut se calculer différemment qu'en pourcentage, pourmillionnage etc par exemple en durée entre les évènements.
La technologie peut-elle vraiment prévenir la violence conjugale ? Pensez-vous que les algorithmes comme VioGén sont efficaces pour protéger les victimes de violence domestique ? Quelles autres approches technologiques pourraient être envisagées ?
Oui, la technologie traite visiblement assez facilement les cas communs (qui sont connus, documentés, etc).
Mais elle gère beaucoup moins facilement les exceptions.
Et à un moment il faut sortir de la technologie pour y mettre de l'humain et je parle autant de capacité d'écoute de la police que de temps disponibles des agents.
L’importance du contexte social : est-il important, selon vous, de prendre en compte le contexte social et familial lors de l’évaluation des risques ? Comment les facteurs sociaux peuvent-ils influencer la sécurité des victimes ?
Comment ne pas les prendre en compte?
Si la victime est socialement dépendante (finance, handicap, isolée) de son agresseur alors la situation est d'autant plus à risque.
Les limites des algorithmes : discutez des limites de VioGén et des autres algorithmes similaires. Quelles améliorations pourraient être apportées pour renforcer leur efficacité ?
Pour moi la question n°1 n'est pas d'améliorer les limites mais de les connaitre, de les accepter et de les compenser. Une fois qu'on a bouché les trous on peut envisager d'essayer de les réduire.
Ces trous riment parfois avec des morts. On ne peut pas se contenter de solutions à long terme...
La responsabilité des autorités : comment pouvons-nous garantir que les évaluations de risques sont correctement utilisées ?
En ayant suffisamment de gens pour les traiter.
En formant les gens qui doivent les traiter?
L'humain doit toujours rester au centre.
De façon plus générale, que pensez-vous des algorithmes prédictifs ?
Qu'ils sont efficaces pour le commun.
Qu'ils sont nuls pour les exceptions, les évènements rares etc
Et que si nous parions trop sur eux alors nous diminuerons les marges de sécurités pour optimiser le nominal mais les que exceptions seront moins couvertes et augmenterons en fréquence et en gravité. Ce qui rime avec plus de morts.
Nous allons diminuer les hôpitaux et augmenter les morques. Est ce vraiment ce que nous voulons pour notre société?
2  0 
Avatar de chrtophe
Responsable Systèmes https://www.developpez.com
Le 24/07/2024 à 17:26
[IRONIE]
Manque plus que le questionnaire de satisfaction
[/IRONIE]
1  0 
Avatar de Mister Nono
Membre chevronné https://www.developpez.com
Le 14/09/2023 à 11:23
Attention, pas de commentaires car sinon " blacklisted by AI ".
0  0 
Avatar de walfrat
Membre émérite https://www.developpez.com
Le 22/07/2024 à 9:50
Citation Envoyé par pierre-y Voir le message
"Non madame vous n'êtes pas en train de vous faite pas violer, l'algo est formel la dessus alors arrêté de crier merci". Dernièrement une femme c'est fait condamné en France pour avoir utilisé de la lacrymo contre un gas (un migrant) qui voulait la violer justement... est ce que c'est plus intelligent que le debut de mon propos?
Quand on tient des propos de ce genre, la moindre des choses c'est de les sourcer.
2  2