Microsoft met à jour Copilot avec les plus grands succès des autres IA pour en faire l'assistant dont vous avez toujours rêvé,

Copilot dispose désormais d'une mémoire et peut réaliser des tâches sur le Web

Microsoft a présenté une version améliorée de Copilot à l'occasion de la célébration de son 50e anniversaire. Cette nouvelle mouture ajoute à Copilot des fonctionnalités telles que la mémoire, la personnalisation, les actions sur le Web, la création de podcasts, l'analyse de la caméra et de l'écran, la recherche approfondie, etc. Ces nouvelles fonctionnalités rapprochent Copilot de ses concurrents ChatGPT et Claude. Microsoft a souligné que l'avenir de l'entreprise repose en grande partie sur des logiciels comme Copilot. Toutefois, jusqu'à présent, l'IA de Microsoft a plutôt été mal accueillie en raison de ses limites et sa tendance à générer des contenus fictifs.

Microsoft Copilot est un assistant d'IA qui vise à améliorer la productivité des utilisateurs et des organisations. Il s'appuie sur les grands modèles de langage (LLM) avancés d'OpenAI afin d'aider les utilisateurs à générer des résumés, automatiser la rédaction de documents, organiser des données complexes... Intégré dans des outils de productivité comme Word, Excel ou Teams, Copilot offre un support précieux pour les utilisateurs, des employés aux cadres.

À l'occasion de la célébration de ses 50 ans au début du mois, Microsoft a présenté une nouvelle mouture de Copilot, qu'il appelle désormais « Your AI Companion ». Cette mise à jour massive vise à faire de Copilot l'assistant personnel dont vous avez toujours rêvé. Voici quelques-unes des nouveautés :

Mémoire et personnalisation

L'un des principaux ajouts à Copilot est la mémoire. Grâce à la mémoire, Copilot pourra désormais garder une trace de vos préférences, de vos intérêts et de détails tels que votre date d'anniversaire, et utiliser ces informations pour adapter les réponses et les conseils ou faire des suggestions proactives. Microsoft précise que les utilisateurs peuvent choisir les informations dont ils souhaitent que Copilot se souvienne, ou se désengager complètement.


Dans un billet de blogue annonçant les nouvelles fonctionnalités, le directeur général de Microsoft AI, Mustafa Suleyman, a déclaré : « avec votre permission, Copilot se souviendra désormais de ce dont vous parlez, de sorte qu'il apprendra ce que vous aimez et ce que vous n'aimez pas, ainsi que des détails de votre vie, comme le nom de votre chien, ce projet délicat au travail, ce qui vous motive à suivre votre nouvelle routine d'entraînement ».

Cela fait partie d'un effort continu pour rendre Copilot plus personnel. Microsoft indique qu'il n'en est qu'au début de cette réflexion, mais que vous pourrez bientôt donner à Copilot une apparence personnalisée. Cette nouveauté est similaire à une fonctionnalité développée par Google pour son IA Gemini.

Les actions sur le Web

Au-delà de la personnalisation, Copilot devient de plus en plus puissant. Une nouvelle fonction « Actions » permet à l'IA d'effectuer des tâches dans un navigateur Web, à l'instar de l'agent d'IA Operator d'OpenAI ou du modèle Nova Act récemment annoncé par Amazon. Microsoft affirme que la fonction « Actions » permet à Copilot de réaliser des actions à votre place des actions sur le Web, notamment sur les sites de réservation et de commerce en ligne.

Microsoft suggère que la fonction « Actions » pourrait être utilisée pour réserver des billets de spectacle et des restaurants, et faire des achats en ligne, en particulier lorsqu'elle est associée à une nouvelle fonctionnalité d'achat qui permet à Copilot de rechercher des produits, des remises et des soldes.

Copilot Vision

Copilot Vision est un outil qui assiste l'utilisateur lorsqu'il navigue sur Internet. Copilot Vision peut voir votre activité, et vous apporter des conseils ou converser avec vous à propos de ce qui est affiché à l'écran. Copilot Vision a commencé par être déployée sur le Web en décembre 2024. Lors de son événement organisé au début du mois, Microsoft a annoncé que Copilot Vision s'étend maintenant aux applications mobiles et à l'application Windows.

Sur Windows, Copilot pourra « voir » ce qui se trouve sur votre écran à travers d'autres applications et fichiers pour répondre à des questions ou interagir avec des fichiers et du contenu, tandis que sur iOS et Android, il pourra discuter de tout ce qui est visible à partir de l'appareil photo de votre téléphone, ou des photos de votre rouleau d'appareil photo. Cette fonctionnalité est semblable à Visual Intelligence d'Apple ou Lens de Google.

Podcasts

Copilot peut désormais générer des podcasts qui sélectionnent et fournissent un contenu audio personnalisé basé sur vos centres d'intérêt. Copilot peut créer un podcast personnalisé pour analyser et comparer des options, comme un plan de vacances ou l'achat d'une maison, ou vous pouvez fournir du contenu à Copilot, comme une étude ou des sites Web spécifiques, et Copilot générera un podcast qui vous aidera à expliquer le sujet.

Pendant que vous écoutez, vous pouvez continuer à parler et à interagir avec Copilot pour en savoir plus et poursuivre la conversation. Il s'agit d'une solution audio quotidienne qui vous aide à résoudre des problèmes difficiles ou à profiter d'une solution facile à digérer pour éviter les défilements incessants.

Copilot Search

Copilot Search dans Bing transforme la recherche sur le Web en réunissant la recherche traditionnelle et la recherche générative. Il vérifie les informations sur plusieurs sites pour fournir des réponses détaillées et complètes directement dans Bing, avec des sources citées utiles et des suggestions pour une exploration plus approfondie. Les concurrents tels que ChatGPT, Claude et Gemini proposent également une fonctionnalité similaire.

Deep Research

La fonction Deep Research permet à Copilot d'analyser un grand nombre de documents ou de sources en ligne pour des projets complexes, et ses capacités de recherche sont intégrées à Bing pour fournir des réponses générées par l'IA dans le moteur de recherche. À l'instar d'autres outils d'IA concurrents, Copilot peut désormais utiliser ses recherches pour générer des fichiers audio de type podcast afin d'expliquer en détail un sujet donné.

Une nouvelle fonctionnalité appelée « Pages » permet désormais à Copilot d'organiser les notes et les recherches de tous les documents en un seul canevas. Bon nombre de ces fonctionnalités sont déployées dans des « versions initiales » et s'améliorent « dans les semaines et les mois à venir ».

Soulignons qu'aucune de ces fonctionnalités n'est une première. ChatGPT a ajouté des fonctions de mémoire l'année dernière, l'IA Gemini de Google dispose d'un mode « Vision », et absolument toutes les entreprises d'IA veulent construire des agents d'IA personnalisés. Mais le fait de les ajouter toutes en même temps montre que Microsoft s'engage à suivre la concurrence, sans oublier de tirer le meilleur parti de son investissement dans OpenAI.

Analyse critique des nouvelles fonctionnalités de Microsoft Copilot

Bien que les nouvelles capacités de Microsoft Copilot soient impressionnantes, elles soulèvent également plusieurs questions et préoccupations.

Problèmes de confidentialité et de sécurité

L’une des principales préoccupations concerne la confidentialité des données. La capacité de Copilot à lire et analyser le contenu de votre écran pourrait potentiellement exposer des informations sensibles. Bien que Microsoft affirme que les données sont immédiatement supprimées après utilisation et ne sont pas utilisées pour entraîner les modèles, il reste une certaine méfiance quant à la manière dont ces données sont réellement gérées.

Accessibilité et équité

L'intégration de la synthèse vocale et de l'entrée vocale est une avancée significative, mais elle n'est actuellement disponible que dans certains pays anglophones. Cette limitation géographique soulève des questions d'équité et d'accessibilité. Pour que Copilot soit véritablement inclusif, Microsoft devra étendre ces fonctionnalités à d'autres langues et régions, garantissant ainsi que tous les utilisateurs puissent bénéficier de ces innovations.

Risques de surinformation

Avec la capacité de Copilot à naviguer sur le Web pour fournir des informations en temps réel, il existe un risque de surinformation. Les utilisateurs pourraient être submergés par une quantité excessive de données, rendant difficile la distinction entre les informations pertinentes et les distractions. Par conséquent, il est crucial que Copilot soit capable de filtrer et de prioriser les informations de manière efficace pour éviter ce problème.

Une expérience révèle que Copilot n'excelle que dans « les tâches basiques »

Le ministère australien du Trésor a mené une exp...