Facebook consacre beaucoup de temps et d'argent à la réalité augmentée, notamment en construisant ses propres lunettes de réalité augmentée avec Ray-Ban. Pour l'instant, ces gadgets ne peuvent qu'enregistrer et partager des images, mais à quoi l'entreprise pense-t-elle que ces dispositifs seront utiles à l'avenir ? Ego4D, un nouveau projet de recherche mené par l'équipe d'IA de Facebook suggère l'étendue des ambitions de l'entreprise. Ce projet imagine des systèmes d'IA qui analysent en permanence la vie des gens à l'aide de vidéos faites à partir d’une perspective à la première personne (ce que la communauté des chercheurs appelle communément la perception égocentrique), enregistrant ce qu'ils voient, font et entendent afin de les aider dans leurs tâches quotidiennes. Les chercheurs de Facebook ont défini une série de compétences que ces systèmes doivent développer, notamment la "mémoire épisodique" (répondre à des questions telles que "où ai-je laissé mes clés ?"
et la "journalisation audiovisuelle" (se souvenir de qui a dit quoi et quand). À l'heure actuelle, les tâches décrites ne peuvent être réalisées de manière fiable par aucun système d'IA, et Facebook souligne qu'il s'agit d'un projet de recherche plutôt que d'un développement commercial. Les experts de la protection de la vie privée s'inquiètent déjà de la façon dont les lunettes à réalité augmentée de Facebook permettent aux utilisateurs d'enregistrer secrètement des membres du public. Ces préoccupations ne feront que s'exacerber si les futures versions du matériel ne se contentent pas d'enregistrer des séquences, mais les analysent et les transcrivent, transformant les porteurs en machines de surveillance ambulantes.La première paire de lunettes AR commerciales de Facebook ne peut qu'enregistrer et partager des vidéos et des photos, et non les analyser.
Imaginez que votre dispositif de réalité augmentée vous montre exactement comment tenir les baguettes pendant une leçon de batterie, vous guide dans la réalisation d’une recette ou vous aide à retrouver vos clés perdues. Une IA qui comprend le monde du point de vue de la première personne pourrait ouvrir une nouvelle ère d’expériences immersives, à mesure que des dispositifs tels que les lunettes de réalité augmentée et les casques de réalité virtuelle deviennent aussi utiles dans la vie quotidienne que les smartphones. À l'heure actuelle, les tâches décrites précédemment ne peuvent être réalisées de manière fiable par aucun système d'IA, et Facebook souligne qu'il s'agit d'un projet de recherche plutôt que d'un développement commercial. Cependant, il est clair que l'entreprise considère des fonctionnalités comme celles-ci comme l'avenir de l'informatique de la RA. « En pensant à la réalité augmentée et à ce que nous aimerions être en mesure d'en faire, il est possible que nous tirions parti de ce type de recherche », a déclaré Kristen Grauman, chercheur en IA chez Facebook.
Le projet de recherche de Facebook, Ego4D, fait référence à l'analyse de vidéos faites à partir d’une perspective à la première personne ou égocentriques. Il se compose de deux éléments principaux : un ensemble de données ouvertes sur les vidéos égocentriques et une série de critères de référence que les systèmes d'IA devraient être en mesure d'atteindre à l'avenir, selon Facebook.
Cet ensemble de données est le plus grand de ce type jamais créé et Facebook s'est associé à 13 universités du monde entier pour collecter les données. Au total, quelque 3 205 heures de vidéo ont été enregistrées par 855 participants vivant dans neuf pays différents. Les universités, et non Facebook, étaient responsables de la collecte des données. Les participants, dont certains étaient rémunérés, portaient des caméras GoPro et des lunettes de réalité augmentée pour enregistrer des vidéos d'activités non scénarisées. Cela va des travaux de construction à la pâtisserie en passant par les jeux avec les animaux domestiques et la socialisation avec des amis. Toutes les séquences ont été rendues anonymes par les universités, qui ont notamment flouté les visages des spectateurs et supprimé toute information permettant de les identifier. Selon Grauman, cet ensemble de données est « le premier du genre, tant par son ampleur que par sa diversité ». Le projet comparable le plus proche, dit-elle, contient 100 heures de séquences faites à partir d’une perspective à la première personne, tournées entièrement dans des cuisines.
La deuxième composante d'Ego4D est une série de repères, ou tâches, que Facebook veut que les chercheurs du monde entier essaient de résoudre à l'aide de systèmes d'IA entraînés sur son ensemble de données. L'entreprise les décrit comme suit :
- La mémoire épisodique : Que s'est-il passé à un moment donné (par exemple, "Où ai-je laissé mes clés ?" ?
- Prévision : Que suis-je censé faire ensuite (par exemple, "Attends, tu as déjà ajouté du sel à cette recette" ?
- Manipulation des mains et des objets : Que suis-je en train de faire (ex. : "Apprends-moi à jouer de la batterie" ?
- Journalisation audio-visuelle : Qui a dit quoi et quand (par exemple, "Quel était le sujet principal pendant le cours ?" ?
- Interaction sociale : Qui interagit avec qui (par exemple, "Aidez-moi à mieux entendre la personne qui me parle dans ce restaurant bruyant" ?
Actuellement, les systèmes d'IA trouveraient incroyablement difficile de s'attaquer à l'un de ces problèmes, mais la création d'ensembles de données et de points de référence est une méthode efficace pour stimuler le développement de l'IA.
Selon la société, les systèmes formés sur Ego4D pourraient un jour être utilisés non seulement dans les caméras intégrées au vestimentaire, mais aussi dans les robots assistants domestiques, qui s'appuient également sur des caméras à la vue egocentrique pour naviguer dans le monde qui les entoure. « Ce projet a la possibilité de catalyser le travail dans ce domaine d'une manière qui n'a pas encore été possible. Faire passer notre domaine de la capacité d'analyser des piles de photos et de vidéos qui ont été prises par des humains dans un but très particulier, à ce flux visuel fluide et continu à la première personne que les systèmes de réalité augmentée, les robots, doivent comprendre dans le contexte d'une activité continue », déclare Kristen Grauman.
Ego4D suscite quelques inquiétudes
Bien que les tâches décrites par Facebook semblent certainement pratiques, l'intérêt de l'entreprise dans ce domaine inquiète. Le bilan de Facebook en matière de protection de la vie privée est catastrophique, avec des fuites de données et des amendes de 5 milliards de dollars infligées par la FTC. Il a également été démontré à plusieurs reprises que l'entreprise privilégie la croissance et l'engagement plutôt que le bien-être des utilisateurs dans de nombreux domaines. Dans ce contexte, il est inquiétant de constater que les critères de référence de ce projet Ego4D ne comportent pas de garanties importantes en matière de protection de la vie privée. Par exemple, la tâche de journalisation audio-visuelle (transcrire les propos de différentes personnes) ne mentionne jamais la suppression des données concernant les personnes qui ne veulent pas être enregistrées.
Interrogé sur ces questions, un porte-parole de Facebook a déclaré qu'il s'attendait à ce que des mesures de protection de la vie privée soient introduites ultérieurement. « Nous nous attendons à ce que, dans la mesure où les entreprises utilisent cet ensemble de données et ce référentiel pour développer des applications commerciales, elles développent des garanties pour ces applications. Par exemple, avant que les lunettes de réalité augmentée puissent enregistrer la voix de quelqu'un, il pourrait y avoir un protocole en place qu'ils suivent pour demander la permission aux lunettes de quelqu'un d'autre, ou ils pourraient limiter la portée de l'appareil afin qu'il ne puisse capter que les sons des personnes avec lesquelles je suis déjà en conversation ou qui sont dans mon voisinage immédiat», a déclaré le porte-parole ».
Source : Facebook
Et vous ?
Que pensez-vous de cette technologie futuriste que developpe Facebook ? Seriez-vous intéressés par une paire de lunettes connectées ? À votre avis, les problèmes de confidentialité de Facebook sont-ils susceptibles d'être un frein à l'adoption de cette IA ? Dans quelle mesure ? Voir aussi :
Facebook fabrique un bracelet qui permet de contrôler les ordinateurs avec le cerveau, ce dispositif permettrait d'interagir avec ses prochaines lunettes de réalité augmentée par la seule pensée Mark Zuckerberg veut remplacer les trajets domicile-travail par la RV/RA, il déclare que les travaux sur la fusion de ces deux technologies permettraient à la téléportation de réussir à l'avenir Oculus de Facebook a dominé le marché de la réalité étendue (XR) en 2020 avec plus de 50 % de part, grâce aux performances de l'Oculus Quest 2
Envoyé par Jules34
