Le ministère britannique des Affaires et du Commerce a procédé à un essai du logiciel Microsoft 365 Copilot sur une période de trois mois. Et les résultats sont très peu concluants. Le ministère n'a observé aucune augmentation significative de la productivité. L’impact réel était beaucoup plus nuancé que ne le suggéraient les supports marketing de Microsoft. La création de diapositives PowerPoint a été en moyenne plus rapide de sept minutes, mais a nécessité des corrections en raison d'une qualité "inférieure". Même son de cloche du côté du gouvernement australien. Après une période d'essai, le personnel a jugé l'IA de Microsoft moins utile que prévu.Le ministère des Affaires et du Commerce a mené cet essai pilote d'octobre à décembre 2024, distribuant 1 000 licences principalement à des volontaires, dont 30 % de participants sélectionnés au hasard. Selon un récent rapport publié par le ministère, environ 300 participants ont accepté que leurs données soient analysées, ce qui a permis d'évaluer l'impact de l'outil sur l'efficacité du travail, la qualité des résultats et la satisfaction des utilisateurs.
Dans l'ensemble, 72 % des utilisateurs se sont déclarés satisfaits ou très satisfaits de leur assistant numérique et ont exprimé leur déception à la fin du test. Cependant, les gains de productivité réels étaient beaucoup plus nuancés que ne le suggéraient les supports promotionnels de Microsoft.
Environ deux tiers des employés participant à l'essai ont utilisé Microsoft 365 au moins une fois par semaine, et 30 % l'ont utilisé au moins une fois par jour, ce qui ne semble pas très rentable. Au Royaume-Uni, les prix facturés par Microsoft aux utilisateurs commerciaux varient entre 4,90 livres et 18,10 livres par utilisateur et par mois, selon le plan commercial. Cela signifie que dans un ministère, ces dépenses pourraient rapidement s'accumuler.
Les principales observations de l'étude
Selon le tableau de bord de surveillance M365 Copilot mis à disposition dans le cadre de l'essai, 72 actions M365 Copilot ont été effectuées en moyenne par utilisateur. « Sur la base de 63 jours ouvrables pendant la phase pilote, cela représente en moyenne 1,14 action Copilot par utilisateur et par jour », indique l'étude.
Word, Teams et Outlook ont été les plus utilisés, tandis que les taux d'utilisation de Loop et OneNote ont été qualifiés de « très faibles », respectivement inférieurs à 1 % et 3 % par jour. « PowerPoint et Excel ont été légèrement plus populaires ; ces deux applications ont enregistré un pic d'activité de 7 % des détenteurs de licence utilisant M365 Copilot en une seule journée », indique l'étude.
Les trois tâches les plus populaires consistaient à transcrire ou résumer une réunion, rédiger un e-mail et résumer des communications écrites. Ce sont également celles qui ont obtenu les niveaux de satisfaction les plus élevés, selon les informations dont nous disposons. Les participants ont été invités à noter le temps passé pour chaque tâche avec M365 Copilot par rapport à leurs collègues qui ne participaient pas à l'essai.
Le rapport ajoute : « les sessions de travail observées ont montré que les utilisateurs de M365 Copilot produisaient des résumés de rapports et rédigeaient des e-mails plus rapidement et avec une qualité et une précision supérieures à celles des non-utilisateurs. Le gain de temps observé pour la rédaction d'e-mails était extrêmement faible ».
Cependant, les utilisateurs de M365 Copilot ont effectué l'analyse des données Excel plus lentement et avec une qualité et une précision inférieures à celles des non-utilisateurs, ce qui contredit les gains de temps rapportés dans l'étude quotidienne sur l'analyse des données. Les diapositives PowerPoint [ont été] réalisées en moyenne 7 minutes plus rapidement, mais avec une qualité et une précision inférieures à celles des non-utilisateurs.
Cela signifie que des mesures correctives étaient nécessaires. Un échantillon représentatif de participants a été interrogé dans le cadre d'une interview (résultats qualitatifs) et a déclaré que les tâches administratives courantes pouvaient être effectuées plus efficacement avec M365 Copilot, ce qui leur permettait de « consacrer plus de temps à des tâches jugées plus stratégiques ou à plus forte valeur ajoutée », tandis que d'autres ont indiqué utiliser ce gain de temps pour suivre des formations ou faire une promenade pendant leur pause déjeuner.
Microsoft 365 Copilot ne rend pas forcément plus productif
L'essai n'a pas permis de mettre en évidence une amélioration significative de la productivité, malgré des résultats prometteurs pour certaines tâches spécifiques. Microsoft a travaillé avec ses clients pour quantifier les avantages et justifier le coût plus élevé d'une licence pour M365 Copilot.
« Nous n'avons pas trouvé de preuves solides suggérant que le gain de temps entraîne une amélioration de la productivité. Mais cela n'était pas un objectif clé de l'évaluation et, par conséquent, peu de données ont été collectées pour déterminer si le gain de temps a entraîné des gains de productivité », indique le rapport.
Quant aux hallucinations, 22 % des cobayes qui ont répondu aux évaluateurs ont déclaré avoir identifié des hallucinations, 43 % ont déclaré ne pas en avoir identifié et 11 % étaient incertains. Les utilisateurs ont fait état d'expériences mitigées quant à l'attitude de leurs collègues, certaines équipes accueillant favorablement leurs collègues assistés par l'IA, tandis que d'autres se montraient résolument froides. Les opinions des supérieurs hiérarchiques semblaient influencer considérablement les taux d'adoption, prouvant que la politique au sein des entreprises reste résolument humaine.
Le ministère est encore en train d'analyser les coûts environnementaux et le rapport qualité-prix, ce qui suggère que le bilan complet de l'invasion de l'IA dans les entreprises est encore loin d'être établi. Une enquête du MIT publiée le mois dernier, par exemple, a révélé que 95 % des entreprises qui avaient collectivement investi entre 35 et 40 milliards de dollars dans l'IA générative n'avaient pas grand-chose à montrer.
Les capacités de Copilot n'ont pas convaincu les fonctionnaires australiens
Le ministère australien du Trésor a mené une expérience visant à mesurer les gains de productivité que Microsoft 365 Copilot peut apporter aux employés. L'expérience a été menée en 2024 et a vu la participation de 218 employés du ministère australien du Trésor. Pendant quatorze semaines, les participants à l'étude ont été invités à utiliser Copilot et ont parallèlement répondu à des enquêtes concernant leur expérience quant à l'utilisation de l'assistant d'IA.
Ces enquêtes constituent la base d'un rapport d'évaluation publié le 11 février 2025 par le Centre australien d'évaluation (ACE). Les conclusions du rapport font écho à des études antérieures selon lesquelles les assistants d'IA tels que Copilot et ChatGPT ne sont pas utiles dans les tâches complexes.
L'étude a révélé que les fonctionnaires ont utilisé Copilot moins que prévu et que leurs attentes quant à son utilité n'ont pas été satisfaites. Selon le rapport, bien que son utilisation s'est avérée utile pour des tâches de base, globalement, l'assistant d'IA de Microsoft n'a pas répondu aux attentes des fonctionnaires. Et environ 20 % des participants ont utilisé Copilot jusqu'à cinq fois par semaine, tandis que la majorité l'a utilisé trois fois ou moins par semaine.
Selon le rapport, les attentes initiales élevées pourraient expliquer la désillusion des employés. « Des attentes irréalistes au début de l'essai peuvent avoir contribué au problème, car certains membres du personnel ont été découragés par les performances du produit et ont renoncé à l'utiliser », indique le rapport.
Par exemple, avant l'essai, les trois quarts des participants ont déclaré qu'ils s'attendaient à ce que Copilot les aide à accomplir certaines tâches, alors que seulement 38 % d'entre eux ont déclaré que cela s'était produit pendant l'essai. Selon les critiques toutefois, Copilot n'est tout simplement pas à la hauteur.
Par ailleurs, 15 % des participants ont déclaré qu'ils pensaient que Copilot les aiderait à accomplir la plupart des tâches, alors que seulement 2 % d'entre eux l'ont affirmé par la suite. L'opinion des fonctionnaires du Trésor australien sur la capacité de Copilot à améliorer leur travail a également baissé.
Moins vous en savez sur l'IA, plus vous êtes susceptible de l'utiliser
La diffusion rapide de l'IA suscite des interrogations : qui est le plus susceptible d'adopter l'IA dans sa vie quotidienne ? Nombreux sont ceux qui pensent que ce sont les technophiles - ceux...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
