Microsoft Copilot peut désormais lire ce qui est affiché sur votre écran pour vous donner des réponses contextuelles

Vous parler à voix haute et résoudre des problèmes complexes

Une semaine après avoir annoncé une vague de mises à jour pour sa suite de produits d'entreprise Copilot alimentés par l'IA, Microsoft lance de nouvelles fonctionnalités Copilot sur Windows pour tous les utilisateurs, y compris un outil qui peut comprendre et répondre à des questions sur ce qui est affiché à l'écran.

Les nouvelles applications Copilot pour iOS, Android, Windows et le web sont désormais disponibles et présentent toutes un Copilot au style plus « chaleureux » et « distinct », comme le décrit Microsoft. Microsoft intègre également le chatbot à WhatsApp, permettant aux utilisateurs de discuter avec Copilot par messagerie privée, comme ils le font déjà avec d'autres bots sur la plateforme de messagerie de Meta.

« Notre nouveau Copilot se veut plus intuitif et propose des réponses plus digestes, plus rapides et plus fluides. Il s'adapte désormais à vous avec un ton chaleureux et un style distinct, vous fournissant non seulement des informations mais aussi des encouragements, des commentaires et des conseils pour vous aider à relever les défis quotidiens de la vie, qu'ils soient petits ou grands. Par exemple, en plus de vous aider à planifier ce grand voyage, il peut également vous donner des conseils sur la manière de garder votre sang-froid lorsque, par exemple, le dossier de votre siège reçoit des coups de pied d'un enfant en bas âge.

« Nous ajoutons des fonctionnalités avancées, telles que la voix et la vision, qui le rendent à la fois plus utile et plus naturel. Ces modalités changent la façon dont nous nous connectons à la technologie, permettant aux gens de réfléchir, d'apprendre et de travailler en toute transparence avec leurs compagnons Copilot ».


Lecture de l’écran et analyse contextuelle avec Copilot Vision

Copilot Vision a une vision de ce que vous regardez sur votre PC (plus précisément, une vision des sites que vous visitez avec Microsoft Edge). Relié à Copilot Labs, un nouveau programme d'opt-in exclusif à Copilot Pro pour les fonctionnalités expérimentales de Copilot, Copilot Vision peut analyser le texte et les images des pages web et répondre à des questions (par exemple, « Quelle est la recette du plat sur cette image ? ») à leur sujet.

Vision, que l'on peut obtenir en tapant « @copilot » dans la barre d'adresse d'Edge, n'est pas exactement une merveille technique. Google propose une technologie de recherche similaire sur Android et a récemment intégré des éléments de cette technologie dans Chrome.

Mais Microsoft laisse entendre que Copilot Vision est plus puissant et plus respectueux de la vie privée que les précédentes fonctions d'analyse d'écran.

Copilot peut « comprend la page web que vous consultez, qu'il s'agisse de texte ou d'images, et peut répondre à des questions sur son contenu, suggérer les prochaines étapes et vous aider sans perturber votre flux de travail. Imaginez que vous essayez de meubler un nouvel appartement, Copilot Vision peut vous aider à rechercher des meubles, à trouver la bonne palette de couleurs, à réfléchir aux options qui s'offrent à vous, des tapis aux jetés, et même à vous suggérer des façons d'agencer ce que vous regardez ».

Autre exemple : si vous regardez une recette en ligne, Copilot peut vous fournir des informations supplémentaires sur les ingrédients ou même suggérer des variantes de la recette.

Sans doute désireux d'éviter une nouvelle vague de mauvaise presse liée aux erreurs de confidentialité de l'IA, Microsoft insiste sur le fait que Copilot Vision a été conçu pour supprimer les données immédiatement après les conversations. Les données audio, les images ou le texte traités ne sont pas stockés ou utilisés pour former des modèles, affirme l'entreprise - du moins pas dans cette version de prévisualisation.


Copilot Vision est également limité dans les types de sites web qu'il peut interpréter. Pour l'instant, Microsoft empêche la fonctionnalité de fonctionner sur les contenus payants et « sensibles », limitant Vision à une liste préapprouvée de propriétés web « populaires ».

Qu'entend-on exactement par contenu « sensible » ? Du porno ? De la violence ? À ce stade, Microsoft n'a pas voulu le dire.

Les accusations de contournement des paywalls à l'aide d'outils d'intelligence artificielle ont récemment valu à Microsoft de se retrouver dans une situation juridique délicate. Dans une action en justice en cours, le New York Times allègue que Microsoft a permis aux utilisateurs de contourner son paywall en diffusant des articles du quotidien par l'intermédiaire du chatbot Copilot sur Bing. Lorsqu'il était sollicité d'une certaine manière, Copilot (qui s'appuie sur les modèles d'OpenAI, un proche collaborateur de Microsoft) donnait des extraits textuels (ou presque) d'articles payants, selon le Times.

Microsoft a déclaré que Copilot Vision, qui n'est pour l'instant disponible qu'aux États-Unis, respectera les « contrôles de l'IA lisibles par les machines » des sites, comme les règles interdisant aux robots de récupérer des données pour l'entraînement à l'IA. Mais l'entreprise n'a pas précisé quels contrôles Vision respectera, car il en existe plusieurs.

De plus, de nombreux grands éditeurs ont choisi d'empêcher les outils d'IA de parcourir leurs sites web, non seulement par crainte que leurs données ne soient utilisées sans autorisation, mais aussi pour éviter que ces outils ne fassent grimper en flèche les coûts de leurs serveurs. Si la tendance actuelle se confirme, Copilot Vision pourrait ne pas fonctionner sur certains des principaux sites d'information du web.

Microsoft a déclaré qu'elle s'engageait à « prendre en compte les réactions » pour apaiser les inquiétudes...