Un essai mené par le gouvernement britannique sur Microsoft 365 Copilot n'a révélé aucun gain de productivité notable,

Copilot excelle dans les tâches banales, mais bute sur les tâches complexes

Un essai mené par le gouvernement britannique sur Microsoft 365 Copilot n'a révélé aucun gain de productivité notable
Copilot excelle dans les tâches banales, mais bute sur les tâches complexes

Le ministère britannique des Affaires et du Commerce a procédé à un essai du logiciel Microsoft 365 Copilot sur une période de trois mois. Et les résultats sont très peu concluants. Le ministère n'a observé aucune augmentation significative de la productivité. L’impact réel était beaucoup plus nuancé que ne le suggéraient les supports marketing de Microsoft. La création de diapositives PowerPoint a été en moyenne plus rapide de sept minutes, mais a nécessité des corrections en raison d'une qualité "inférieure". Même son de cloche du côté du gouvernement australien. Après une période d'essai, le personnel a jugé l'IA de Microsoft moins utile que prévu.

Le ministère des Affaires et du Commerce a mené cet essai pilote d'octobre à décembre 2024, distribuant 1 000 licences principalement à des volontaires, dont 30 % de participants sélectionnés au hasard. Selon un récent rapport publié par le ministère, environ 300 participants ont accepté que leurs données soient analysées, ce qui a permis d'évaluer l'impact de l'outil sur l'efficacité du travail, la qualité des résultats et la satisfaction des utilisateurs.

Dans l'ensemble, 72 % des utilisateurs se sont déclarés satisfaits ou très satisfaits de leur assistant numérique et ont exprimé leur déception à la fin du test. Cependant, les gains de productivité réels étaient beaucoup plus nuancés que ne le suggéraient les supports promotionnels de Microsoft.

Environ deux tiers des employés participant à l'essai ont utilisé Microsoft 365 au moins une fois par semaine, et 30 % l'ont utilisé au moins une fois par jour, ce qui ne semble pas très rentable. Au Royaume-Uni, les prix facturés par Microsoft aux utilisateurs commerciaux varient entre 4,90 livres et 18,10 livres par utilisateur et par mois, selon le plan commercial. Cela signifie que dans un ministère, ces dépenses pourraient rapidement s'accumuler.

Les principales observations de l'étude

Selon le tableau de bord de surveillance M365 Copilot mis à disposition dans le cadre de l'essai, 72 actions M365 Copilot ont été effectuées en moyenne par utilisateur. « Sur la base de 63 jours ouvrables pendant la phase pilote, cela représente en moyenne 1,14 action Copilot par utilisateur et par jour », indique l'étude.

Word, Teams et Outlook ont été les plus utilisés, tandis que les taux d'utilisation de Loop et OneNote ont été qualifiés de « très faibles », respectivement inférieurs à 1 % et 3 % par jour. « PowerPoint et Excel ont été légèrement plus populaires ; ces deux applications ont enregistré un pic d'activité de 7 % des détenteurs de licence utilisant M365 Copilot en une seule journée », indique l'étude.


Les trois tâches les plus populaires consistaient à transcrire ou résumer une réunion, rédiger un e-mail et résumer des communications écrites. Ce sont également celles qui ont obtenu les niveaux de satisfaction les plus élevés, selon les informations dont nous disposons. Les participants ont été invités à noter le temps passé pour chaque tâche avec M365 Copilot par rapport à leurs collègues qui ne participaient pas à l'essai.

Le rapport ajoute : « les sessions de travail observées ont montré que les utilisateurs de M365 Copilot produisaient des résumés de rapports et rédigeaient des e-mails plus rapidement et avec une qualité et une précision supérieures à celles des non-utilisateurs. Le gain de temps observé pour la rédaction d'e-mails était extrêmement faible ».

Cependant, les utilisateurs de M365 Copilot ont effectué l'analyse des données Excel plus lentement et avec une qualité et une précision inférieures à celles des non-utilisateurs, ce qui contredit les gains de temps rapportés dans l'étude quotidienne sur l'analyse des données. Les diapositives PowerPoint [ont été] réalisées en moyenne 7 minutes plus rapidement, mais avec une qualité et une précision inférieures à celles des non-utilisateurs.

Cela signifie que des mesures correctives étaient nécessaires. Un échantillon représentatif de participants a été interrogé dans le cadre d'une interview (résultats qualitatifs) et a déclaré que les tâches administratives courantes pouvaient être effectuées plus efficacement avec M365 Copilot, ce qui leur permettait de « consacrer plus de temps à des tâches jugées plus stratégiques ou à plus forte valeur ajoutée », tandis que d'autres ont indiqué utiliser ce gain de temps pour suivre des formations ou faire une promenade pendant leur pause déjeuner.

Microsoft 365 Copilot ne rend pas forcément plus productif

L'essai n'a pas permis de mettre en évidence une amélioration significative de la productivité, malgré des résultats prometteurs pour certaines tâches spécifiques. Microsoft a travaillé avec ses clients pour quantifier les avantages et justifier le coût plus élevé d'une licence pour M365 Copilot.

« Nous n'avons pas trouvé de preuves solides suggérant que le gain de temps entraîne une amélioration de la productivité. Mais cela n'était pas un objectif clé de l'évaluation et, par conséquent, peu de données ont été collectées pour déterminer si le gain de temps a entraîné des gains de productivité », indique le rapport.

Quant aux hallucinations, 22 % des cobayes qui ont répondu aux évaluateurs ont déclaré avoir identifié des hallucinations, 43 % ont déclaré ne pas en avoir identifié et 11 % étaient incertains. Les utilisateurs ont fait état d'expériences mitigées quant à l'attitude de leurs collègues, certaines équipes accueillant favorablement leurs collègues assistés par l'IA, tandis que d'autres se montraient résolument froides. Les opinions des supérieurs hiérarchiques semblaient influencer considérablement les taux d'adoption, prouvant que la politique au sein des entreprises reste résolument humaine.


Le ministère est encore en train d'analyser les coûts environnementaux et le rapport qualité-prix, ce qui suggère que le bilan complet de l'invasion de l'IA dans les entreprises est encore loin d'être établi. Une enquête du MIT publiée le mois dernier, par exemple, a révélé que 95 % des entreprises qui avaient collectivement investi entre 35 et 40 milliards de dollars dans l'IA générative n'avaient pas grand-chose à montrer.

Les capacités de Copilot n'ont pas convaincu les fonctionnaires australiens

Le ministère australien du Trésor a mené une expérience visant à mesurer les gains de productivité que Microsoft 365 Copilot peut apporter aux employés. L'expérience a été menée en 2024 et a vu la participation de 218 employés du ministère australien du Trésor. Pendant quatorze semaines, les participants à l'étude ont été invités à utiliser Copilot et ont parallèlement répondu à des enquêtes concernant leur expérience quant à l'utilisation de l'assistant d'IA.

Ces enquêtes constituent la base d'un rapport d'évaluation publié le 11 février 2025 par le Centre australien d'évaluation (ACE). Les conclusions du rapport font écho à des études antérieures selon lesquelles les assistants d'IA tels que Copilot et ChatGPT ne sont pas utiles dans les tâches complexes.

L'étude a révélé que les fonctionnaires ont utilisé Copilot moins que prévu et que leurs attentes quant à son utilité n'ont pas été satisfaites. Selon le rapport, bien que son utilisation s'est avérée utile pour des tâches de base, globalement, l'assistant d'IA de Microsoft n'a pas répondu aux attentes des fonctionnaires. Et environ 20 % des participants ont utilisé Copilot jusqu'à cinq fois par semaine, tandis que la majorité l'a utilisé trois fois ou moins par semaine.

Selon le rapport, les attentes initiales élevées pourraient expliquer la désillusion des employés. « Des attentes irréalistes au début de l'essai peuvent avoir contribué au problème, car certains membres du personnel ont été découragés par les performances du produit et ont renoncé à l'utiliser », indique le rapport.

Par exemple, avant l'essai, les trois quarts des participants ont déclaré qu'ils s'attendaient à ce que Copilot les aide à accomplir certaines tâches, alors que seulement 38 % d'entre eux ont déclaré que cela s'était produit pendant l'essai. Selon les critiques toutefois, Copilot n'est tout simplement pas à la hauteur.

Par ailleurs, 15 % des participants ont déclaré qu'ils pensaient que Copilot les aiderait à accomplir la plupart des tâches, alors que seulement 2 % d'entre eux l'ont affirmé par la suite. L'opinion des fonctionnaires du Trésor australien sur la capacité de Copilot à améliorer leur travail a également baissé.

Moins vous en savez sur l'IA, plus vous êtes susceptible de l'utiliser

La diffusion rapide de l'IA suscite des interrogations : qui est le plus susceptible d'adopter l'IA dans sa vie quotidienne ? Nombreux sont ceux qui pensent que ce sont les technophiles - ceux qui comprennent le fonctionnement de l'IA - qui sont les plus désireux de l'adopter. Toutefois, les chercheurs ont constaté que ce n'est pas le cas. Une étude publiée dans le Journal of Marketing au début de l'année rapporte que c'est totalement l'inverse qui se produit.

« Les personnes ayant une connaissance limitée de l'IA sont plus susceptibles de la percevoir comme quelque chose de magique et d'éprouver un sentiment d'admiration », indique le rapport de l'étude. Cela est particulièrement vrai lorsque la tâche est traditionnellement associée à des attributs humains, comme l'écriture d'un poème ou la création d'une nouvelle recette fusion. Cette perception pousse les non initiés à adopter massivement la technologie.

Il s'agit d'un sujet pertinent en raison de l'utilisation généralisée de la technologie par les étudiants, qui peuvent manquer de connaissances pour prendre des décisions éclairées sur le moment et la manière d'utiliser l'IA, et qui l'utilisent comme une béquille pour éviter d'acquérir des compétences plus approfondies en matière de raisonnement, d'écriture et de recherche. Avec l'arrivée des chatbots, les écoles ont été prises de court et semblent débordées.

Bien sûr, ces étudiants sont susceptibles de devenir encore plus dépendants d'entreprises comme OpenAI à mesure qu'ils grandissent et entrent sur le marché du travail. De nombreux rapports signalent déjà que les jeunes diplômés ne disposent pas des compétences nécessaires pour affronter le monde du travail.

Conclusion

Microsoft a investi davantage dans l'IA que la plupart des entreprises, avec plus de 13 milliards de dollars injectés dans OpenAI et 650 millions de dollars dans Inflection AI. L'entreprise intègre de plus en plus de fonctionnalités d'IA dans tous ses produits, que les utilisateurs en veuillent ou non. Microsoft impose des expériences basées sur Copilot malgré les nombreuses lacunes de l'assistant, ce qui agace de plus en plus les utilisateurs de Windows.

Pour l'instant, il semble que M365 Copilot excelle dans les tâches banales, mais bute sur les tâches complexes. En d'autres termes, la technologie de l'IA générative est prometteuse pour rédiger des e-mails ou résumer des réunions, mais elle reste peu fiable pour des missions plus exigeantes.

Source : rapport de l'étude (PDF)

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous des conclusions de l'étude ? Sont-elles pertinentes ?
Avez-vous testé Microsoft Copilot ? Si oui, partagez votre retour d'expérience.
L'utilisation de Microsoft Copilot a-t-il boosté votre productivité ?
Copilot excelle dans les tâches banales, mais bute sur les tâches complexes. Qu'en pensez-vous ?

Voir aussi

La taxe invisible de la productivité d'un code d'IA « presque correct » : 84% des développeurs utilisent l'IA... mais 46% ne lui font pas confiance, selon une enquête

Le piège de la personnalité : l'IA simule la personnalité humaine pour tromper votre perception et créer une fausse impression de conscience ou de fiabilité, mettant en danger les personnes vulnérables

Après une période d'essai de Copilot, le personnel du gouvernement australien a jugé l'IA de Microsoft moins utile que prévu, Copilot est jugé peu fiable, inefficace et enclin à générer des contenus fictifs