Des étudiants de Harvard ajoutent la reconnaissance faciale aux lunettes connectées Ray-Ban de Meta pour identifier les inconnus en temps réel,

La démonstration met en évidence le côté obscur de ces gadgets

Des étudiants de Harvard ajoutent la reconnaissance faciale aux lunettes connectées Ray-Ban de Meta pour identifier les inconnus en temps réel
la démonstration met en évidence le côté obscur de ces gadgets

Deux étudiants de Harvard ont créé une démonstration inquiétante de la façon dont les lunettes connectées peuvent faire appel à la reconnaissance faciale pour obtenir instantanément l'identité, le numéro de téléphone et l'adresse d'une personne. Leur démonstration utilise des technologies actuelles et largement disponibles, dont les lunettes connectées Ray-Ban de Meta, ainsi que des bases de données publiques et des moteurs de recherche de visages. Ils affirment que le projet vise à faire prendre conscience de ce qu'il est possible de faire avec la technologie grand public actuelle. Et n'ont pas l'intention de publier un quelconque produit ou code.

Les lunettes Ray-Ban de Meta transformées en un outil de reconnaissance faciale

Les lunettes connectées Ray-Ban de Meta peuvent capturer des photos et des vidéos sur demande vocale, diffuser de la musique et des podcasts via votre téléphone ou encore répondre à vos questions les plus curieuses grâce à l'IA intégrée de Meta. Elles ont suscité l'intérêt des consommateurs après le gros flop des gadgets d'IA concurrents tels que le rabbit r1 et le Humane AI Pin. Cependant, les lunettes de Meta pourraient bien être un pas de plus vers un avenir dystopique. Elles peuvent être transformées en un dispositif de surveillance terrifiant capable de divulguer les informations personnelles de n'importe qui.

Are we ready for a world where our data is exposed at a glance? @CaineArdayfio and I offer an answer to protect yourself here:https://t.co/LhxModhDpk pic.twitter.com/Oo35TxBNtD

— AnhPhu Nguyen (@AnhPhuNguyen1) September 30, 2024

Deux étudiants de l'université de Harvard ont modifié un ensemble de lunettes connectées Ray-Ban de Meta pour y ajouter une technologie de reconnaissance faciale basée sur l'IA. Le résultat est un dispositif portable capable d'identifier les personnes en temps réel et de fournir leur adresse, leur numéro de téléphone, etc. Baptisée « I-XRAY », cette technologie utilise la capacité des lunettes connectées de Meta à diffuser des vidéos en direct sur Instagram.

Un programme informatique surveille alors ce flux et utilise l'IA pour identifier les visages. Ces photos sont ensuite introduites dans des bases de données publiques pour trouver des noms, des adresses, des numéros de téléphone et même des membres de la famille. Ces informations sont ensuite renvoyées via une application mobile. AnhPhu Nguyen et Caine Ardayfio, les auteurs de cette modification, ont fait des démonstrations de la technologie en public.

Caine Ardayfio s'est approché d'une inconnue, a scanné son visage, a obtenu son nom et ses affiliations, puis a prétendu qu'il la connaissait grâce à l'une des organisations apparues lors d'une recherche à son sujet. Dans une deuxième démonstration, son collègue AnhPhu Nguyen a identifié un homme au hasard et a entamé une conversation en prétendant avoir lu son travail sur la base des informations personnelles fournies par ses lunettes connectées.

Des dizaines d'étudiants de Harvard ont été identifiés et n'ont jamais su que des scanners faciaux avaient été utilisés pour découvrir leur nom et des informations les concernant. Selon AnhPhu Nguyen, cela met en évidence ce qu'il est possible de faire avec la technologie grand public actuelle, les moteurs de recherche de visages, les grands modèles de langage (LLM) et les bases de données publiques. Tout ceci pourrait être utilisé à mauvais escient.

Ce rappel de la manière dont ces lunettes peuvent être utilisées à mauvais escient donne à réfléchir, mais les gens peuvent prendre quelques précautions. Les étudiants ont énuméré les bases de données de recherche inversée de visages et de personnes qui permettent de se désengager. Mais il faut garder à l'esprit qu'il est pratiquement impossible de supprimer totalement sa présence en ligne ; l'on peut seulement rendre ses informations moins accessibles.

La démonstration exacerbe les inquiétudes liées aux lunettes connectées de Meta

La technologie de reconnaissance faciale est d'une précision effrayante depuis un certain temps déjà, et I-XRAY ne fait qu'enchaîner un certain nombre de technologies existantes. Leur appareil s'appuie en partie sur "PimEyes", décrit comme « un moteur de recherche de visages d'une précision alarmante que n'importe qui peut utiliser ». Les inquiétudes suscitées par cette technologie se sont accrues depuis qu'il est apparu que Clearview AI utilise la reconnaissance faciale pour aider les forces de l'ordre. Selon plusieurs rapports, les forces de police du monde entier ont utilisé Clearview AI pour identifier des suspects.

Please note that our goal is NOT to release any product or code. this is meant to be a demonstration to raise awareness of what's possible today with consumer tech. We also outline a detailed guide how to make yourself unsearchable by tools like this at https://t.co/LhxModibeS. https://t.co/e9odcnhf98

— AnhPhu Nguyen (@AnhPhuNguyen1) October 2, 2024

Ce qui est nouveau dans la démonstration d'AnhPhu Nguyen et Caine Ardayfio, c'est que la technologie est associée à un gadget grand public discret et facile d'accès. Les deux créateurs n'ont pas l'intention de publier un quelconque produit ou code. Selon eux, I-XRAY est unique parce que les grands modèles de langage lui permettent de travailler automatiquement, en établissant des relations entre les noms et les photos à partir de vastes sources de données.

En gros, avec I-XRAY, la reconnaissance faciale inversée permet de faire correspondre des visages à des images accessibles au public, et PimEyes a été identifié comme le moyen le plus efficace d’identifier des personnes. Ensuite, un modèle a été utilisé pour rechercher des détails sur une personne sur le Web, et la base de données publique FastPeopleSearch a fourni des informations supplémentaires. L'ensemble de la configuration est automatique, grâce à l'IA.

Selon les experts, les lunettes connectées Ray-Ban de Meta sont simples dans leur conception et se concentrent principalement sur la prise d'images, mais même « ce matériel limité » est suffisant pour générer des informations détaillées sur une personne presque instantanément. Avec un processeur plus rapide, des capacités d'IA sur l'appareil, une meilleure technologie de caméra et la réalité augmentée, les futurs produits pourraient faire encore plus.

En réponse à la démonstration des étudiants, Meta a déclaré que « PimEyes peut être utilisée avec n'importe quel appareil photo et qu'il ne s'agit pas de quelque chose qui n'est possible que grâce aux Meta Ray-Bans ». Selon les experts, c'est vrai, mais les lunettes connectées Ray-Bans de Meta ressemblent à une paire de lunettes standard, et de nombreuses personnes ne se rendent pas compte que les lunettes sont utilisées pour prendre des photos.

Meta invite les utilisateurs à faire des gestes clairs ou à utiliser des commandes vocales lorsqu'ils capturent des vidéos ou prennent des photos. Mais la réalité est que les gens peuvent aussi choisir de ne pas suivre ces recommandations, indépendamment de ce que dit Meta. De son côté, PimEyes a déclaré avoir trouvé « le rapport assez surprenant, car son moteur de recherche n'est pas conçu pour identifier des individus, que ce soit directement ou indirectement ».

Source : document technique sur I-XRAY

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous des capacités des lunettes connectées Ray-Ban de Meta ?
Les lunettes connectées Ray-Ban de Meta semblent être un cauchemar pour la vie privée ? Qu'en pensez-vous ?
Selon vous, quels sont les risques liés à l'adoption à grande échelle de lunettes connectées comme les Ray-Ban de Meta ?

Voir aussi

Lunettes connectées Ray-Ban : Meta annonce de nouvelles fonctionnalités avancées comme le traitement vidéo IA en temps réel, la traduction en direct des langues, les rappels et la lecture de codes QR

Une analyse suggère que Meta a une opportunité majeure de gagner la course au matériel d'IA grâce à ses lunettes connectées Ray-Ban qui suscitent l'intérêt, face à l'échec cuisant du rabbit r1 et de l'AI Pin

Meta suscite des craintes en matière de protection de la vie privée après la sortie de lunettes intelligentes à 299 $ équipées de caméras cachées qui permettent de filmer des individus à leur insu