Le ministère britannique des Affaires et du Commerce a procédé à un essai du logiciel Microsoft 365 Copilot sur une période de trois mois. Et les résultats sont très peu concluants. Le ministère n'a observé aucune augmentation significative de la productivité. L’impact réel était beaucoup plus nuancé que ne le suggéraient les supports marketing de Microsoft. La création de diapositives PowerPoint a été en moyenne plus rapide de sept minutes, mais a nécessité des corrections en raison d'une qualité "inférieure". Même son de cloche du côté du gouvernement australien. Après une période d'essai, le personnel a jugé l'IA de Microsoft moins utile que prévu.Le ministère des Affaires et du Commerce a mené cet essai pilote d'octobre à décembre 2024, distribuant 1 000 licences principalement à des volontaires, dont 30 % de participants sélectionnés au hasard. Selon un récent rapport publié par le ministère, environ 300 participants ont accepté que leurs données soient analysées, ce qui a permis d'évaluer l'impact de l'outil sur l'efficacité du travail, la qualité des résultats et la satisfaction des utilisateurs.
Dans l'ensemble, 72 % des utilisateurs se sont déclarés satisfaits ou très satisfaits de leur assistant numérique et ont exprimé leur déception à la fin du test. Cependant, les gains de productivité réels étaient beaucoup plus nuancés que ne le suggéraient les supports promotionnels de Microsoft.
Environ deux tiers des employés participant à l'essai ont utilisé Microsoft 365 au moins une fois par semaine, et 30 % l'ont utilisé au moins une fois par jour, ce qui ne semble pas très rentable. Au Royaume-Uni, les prix facturés par Microsoft aux utilisateurs commerciaux varient entre 4,90 livres et 18,10 livres par utilisateur et par mois, selon le plan commercial. Cela signifie que dans un ministère, ces dépenses pourraient rapidement s'accumuler.
Les principales observations de l'étude
Selon le tableau de bord de surveillance M365 Copilot mis à disposition dans le cadre de l'essai, 72 actions M365 Copilot ont été effectuées en moyenne par utilisateur. « Sur la base de 63 jours ouvrables pendant la phase pilote, cela représente en moyenne 1,14 action Copilot par utilisateur et par jour », indique l'étude.
Word, Teams et Outlook ont été les plus utilisés, tandis que les taux d'utilisation de Loop et OneNote ont été qualifiés de « très faibles », respectivement inférieurs à 1 % et 3 % par jour. « PowerPoint et Excel ont été légèrement plus populaires ; ces deux applications ont enregistré un pic d'activité de 7 % des détenteurs de licence utilisant M365 Copilot en une seule journée », indique l'étude.
Les trois tâches les plus populaires consistaient à transcrire ou résumer une réunion, rédiger un e-mail et résumer des communications écrites. Ce sont également celles qui ont obtenu les niveaux de satisfaction les plus élevés, selon les informations dont nous disposons. Les participants ont été invités à noter le temps passé pour chaque tâche avec M365 Copilot par rapport à leurs collègues qui ne participaient pas à l'essai.
Le rapport ajoute : « les sessions de travail observées ont montré que les utilisateurs de M365 Copilot produisaient des résumés de rapports et rédigeaient des e-mails plus rapidement et avec une qualité et une précision supérieures à celles des non-utilisateurs. Le gain de temps observé pour la rédaction d'e-mails était extrêmement faible ».
Cependant, les utilisateurs de M365 Copilot ont effectué l'analyse des données Excel plus lentement et avec une qualité et une précision inférieures à celles des non-utilisateurs, ce qui contredit les gains de temps rapportés dans l'étude quotidienne sur l'analyse des données. Les diapositives PowerPoint [ont été] réalisées en moyenne 7 minutes plus rapidement, mais avec une qualité et une précision inférieures à celles des non-utilisateurs.
Cela signifie que des mesures correctives étaient nécessaires. Un échantillon représentatif de participants a été interrogé dans le cadre d'une interview (résultats qualitatifs) et a déclaré que les tâches administratives courantes pouvaient être effectuées plus efficacement avec M365 Copilot, ce qui leur permettait de « consacrer plus de temps à des tâches jugées plus stratégiques ou à plus forte valeur ajoutée », tandis que d'autres ont indiqué utiliser ce gain de temps pour suivre des formations ou faire une promenade pendant leur pause déjeuner.
Microsoft 365 Copilot ne rend pas forcément plus productif
L'essai n'a pas permis de mettre en évidence une amélioration significative de la productivité, malgré des résultats prometteurs pour certaines tâches spécifiques. Microsoft a travaillé avec ses clients pour quantifier les avantages et justifier le coût plus élevé d'une licence pour M365 Copilot.
« Nous n'avons pas trouvé de preuves solides suggérant que le gain de temps entraîne une amélioration de la productivité. Mais cela n'était pas un objectif clé de l'évaluation et, par conséquent,...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
