Google déploie des fonctionnalités IA en temps réel du "Projet Astra" de Gemini

Qui permettent de répondre en temps réel à vos questions sur ce qui s'affiche sur l'écran de votre téléphone

Google déploie des fonctionnalités IA en temps réel du "Projet Astra" de Gemini, qui permettent de répondre en temps réel à vos questions sur ce qui s'affiche sur l'écran de votre téléphone.

Google déploie des fonctions d'IA pour l'interaction avec l'écran et la caméra. Les nouvelles fonctionnalités introduites comprennent la lecture d'écran et l'interprétation vidéo en direct, permettant à Gemini Live de répondre aux questions des utilisateurs sur ce qui s'affiche sur l'écran de leur téléphone ou à travers l'objectif de leur caméra.

En février 2025, Google avait annoncé des mises à jour pour rendre Gemini 2.0 accessible à un plus grand nombre de développeurs et d'utilisateurs : Gemini 2.0 Flash était disponible en général, avec des limites de taux plus élevées, des performances accrues et une tarification simplifiée ; Gemini 2.0 Flash-Lite, une nouvelle variante qui serait le modèle le plus économique de Google à ce jour, était disponible en avant-première publique, et Gemini 2.0 Pro, une mise à jour expérimentale du meilleur modèle de Google pour le codage et les invites complexes, était également disponible.

Récemment, Google a commencé à déployer de nouvelles fonctions d'intelligence artificielle (IA) sur sa plateforme Gemini Live, lui permettant d'interpréter visuellement et en temps réel les écrans de smartphones et les flux de caméras. Ces fonctionnalités, confirmées officiellement par Alex Joseph, porte-parole de Google, s'inscrivent dans le cadre d'une initiative plus large de l'entreprise en matière d'IA, connue sous le nom de « Project Astra ».


Les capacités nouvellement introduites comprennent la lecture d'écran et l'interprétation vidéo en direct, permettant à Gemini Live de répondre aux questions des utilisateurs sur ce qui est affiché sur l'écran de leur téléphone ou à travers l'objectif de leur caméra. Le déploiement est exclusif aux abonnés Gemini Advanced dans le cadre du plan Google One AI Premium, et la disponibilité s'étendra progressivement tout au long du mois.

Selon Joseph, la fonction de lecture d'écran permet aux utilisateurs de poser des questions à Gemini sur n'importe quel contenu visible sur l'écran de leur smartphone, en leur offrant des réponses contextuelles. Quant à la fonction de vidéo en direct, elle exploite la caméra d'un smartphone pour fournir une analyse en temps réel de ce qui est regardé. Par exemple, les utilisateurs peuvent demander à Gemini d'identifier des objets, de suggérer des décisions esthétiques ou même de les guider dans des tâches telles que le choix d'une couleur de peinture pour une poterie fraîchement émaillée.

Le lancement de Google intervient alors que ses concurrents se démènent pour rattraper leur retard. Amazon se prépare à lancer sa mise à jour Alexa Plus avec des capacités similaires, mais reste en accès anticipé. Apple, quant à lui, a retardé la sortie de son Siri remanié, qui devrait également offrir des fonctionnalités d'IA améliorées. Samsung continue de s'appuyer sur son assistant Bixby, mais l'intégration transparente de Gemini dans ses téléphones donne un avantage certain à Google.

Annoncé pour la première fois il y a près d'un an, le Projet Astra représente l'effort de Google pour redéfinir les limites de ce que les assistants numériques peuvent accomplir. En combinant l'analyse visuelle et le traitement du langage naturel, Google vise à créer une expérience d'IA plus interactive et plus intuitive.



Et vous ?

Pensez-vous que ces fonctionnalités sont crédibles ou pertinentes ?
Quel est votre avis sur le sujet ?

Voir aussi :

Le projet Astra est l'avenir de l'IA chez Google : un assistant d'IA multimodal qui peut voir le monde via la caméra de votre appareil et analyser et comprendre les objets devant lui comme le font les humains

Google et Samsung dévoilent la plateforme de réalité mixte Android XR, pour l'informatique spatiale comme celle de l'Apple Vision Pro pour les casques et les lunettes intelligentes

L'IA Gemini de Google peut désormais consulter votre historique de recherche pour personnaliser ses réponses, mais la fonction suscite des préoccupations en matière de protection de la vie privée