Google dévoile le projet Mariner, son premier agent d'IA autonome capable de naviguer sur les navigateurs web, de contrôler le curseur et de remplir des formulaires pour reproduire les interactions en ligne

Google dévoile le projet Mariner, son premier agent d'IA autonome capable de naviguer sur les navigateurs web, de contrôler le curseur et de remplir des formulaires pour reproduire les interactions en ligne

Google a dévoilé ce 11 décembre 2024 le Project Mariner, son premier agent d'intelligence artificielle (IA) capable de naviguer de manière autonome sur les navigateurs web, par le biais d'une extension Chrome qui contrôle les mouvements du curseur et le remplissage des formulaires afin de reproduire les interactions humaines en ligne.

Le projet Mariner a été annoncé lors du lancement par Google de sa nouvelle famille de modèles d'IA Gemini 2.0, que l'entreprise décrit comme son « nouveau modèle d'IA pour l'ère agentique ». Le premier modèle disponible, Gemini 2.0 Flash, est une version expérimentale de référence disposant d'une faible latence et de performances améliorées. Selon Google, Gemini 2.0 Flash surpasse Gemini 1.5 Pro sur des benchmarks clés concernant le code, la factualité, les mathématiques, le raisonnement, et plus encore - avec une vitesse deux fois supérieure.

Le projet Mariner, alimenté par Gemini 2.0, a été développé par la division DeepMind de Google et est initialement disponible pour un groupe restreint de testeurs. Lors des démonstrations, l'agent a effectué des tâches telles que la création de paniers d'achat sur des sites web de vente, mais avec des délais perceptibles de cinq secondes entre les actions. Le système effectue des captures d'écran du navigateur et les traite via Gemini dans le cloud pour générer des commandes de navigation.


L'agent fonctionne uniquement dans l'onglet actif de Chrome, ce qui oblige les utilisateurs à observer ses actions plutôt que de les exécuter en arrière-plan.

Lors de l'évaluation par rapport au benchmark WebVoyager, qui teste les performances pour les tâches basées sur le web, le projet Mariner a obtenu un taux de réussite de 83,5 % en travaillant avec un seul agent. L'agent a des limites intégrées, notamment l'impossibilité d'effectuer des achats, d'accepter des cookies ou d'accepter des conditions de service.

Jaclyn Konzelmann, directrice de Google Labs, a décrit le projet comme un « changement de paradigme UX fondamentalement nouveau » qui pourrait transformer la manière dont les utilisateurs interagissent avec les sites web. L'entreprise a déclaré qu'elle s'engageait avec les parties prenantes de l'écosystème du web au fur et à mesure que le développement se poursuit.

Le projet Mariner est un prototype de recherche précoce construit avec Gemini 2.0 qui explore l'avenir de l'interaction homme-agent, en commençant par le navigateur. En tant que prototype de recherche, il est capable de comprendre et de raisonner à travers les informations de l'écran du navigateur de l'utilisateur, y compris les pixels et les éléments web tels que le texte, le code, les images et les formulaires, puis d'utiliser ces informations via une extension Chrome expérimentale pour effectuer des tâches à la place de l'utilisateur.


Selon l'entreprise, bien qu'il soit encore tôt, le projet Mariner montre qu'il devient techniquement possible de naviguer dans un navigateur, même si ce n'est pas toujours précis et que cela prend actuellement du temps pour effectuer les tâches, mais cela s'améliorera rapidement au fil du temps.

Pour construire ce système de manière sûre et responsable, Google a mené des recherches actives sur de nouveaux types de risques et de mesures d'atténuation, tout en gardant les humains dans le circuit. Par exemple, le projet Mariner ne peut taper, faire défiler ou cliquer que dans l'onglet actif du navigateur, et il demande aux utilisateurs une confirmation finale avant d'entreprendre certaines actions sensibles, comme un achat en ligne.

Et vous ?

Que pensez-vous du projet Mariner et de ses fonctionnalités ?
Trouvez-vous qu'il s'agit d'un outil utile et intéressant ?
Avez-vous déjà utilisé un outil similaire pour votre usage ou le développement d'applications, et si oui, qu'en pensez-vous ?

Voir aussi :

Google est en train de développer l'IA Jarvis, qui prend le contrôle du navigateur web d'une personne pour effectuer des tâches en ligne telles que la recherche, l'achat d'articles ou la réservation de vols

Google a accidentellement divulgué un aperçu de son IA Jarvis, capable de prendre le contrôle d'un ordinateur, le logiciel a été disponible pendant une courte période sur le Chrome Web Store

Anthropic propose en bêta un outil d'IA capable de prendre le contrôle du curseur de la souris de l'utilisateur et d'effectuer des tâches de base sur son ordinateur, une technologie qui suscite des inquiétudes