Technologies

Le gouvernement britannique ne voit pas les gains de productivité de Microsoft Copilot

Le Old Admiralty Building, à Londres, siège du department of Business & Trade impliqué dans un test à grande échelle visant à mesurer les bénéfices de M365 Copilot. (Photo : Diliff, CC BY 2.5)

Un rapport d'un ministère britannique, portant sur un test interne de trois mois de M365 Copilot, ne parvient pas à associer un quelconque gain de productivité aux usages de l'IA de Microsoft. Mais si ses utilisateurs s'en disent satisfaits.

PublicitéDes utilisateurs globalement satisfaits, mais aucune indication d'un quelconque gain de productivité. C'est en somme la conclusion d'un rapport d'évaluation d'un ministère britannique (le department of Business & Trade, qui regroupe les ministères du commerce, de l'énergie et de l'industrie), basé sur un test de Microsoft 365 Copilot sur les trois derniers mois de 2024. Un projet pilote à grande échelle puisqu'il portait sur un déploiement de 1000 licences au sein de l'administration. 70% des utilisateurs étaient des volontaires pour participer à ce test d'ampleur, et 30% ont été désignés pour assurer la représentativité de l'échantillon.

« De légers gains de temps ont été observés dans la plupart des cas d'usage, en particulier sur les tâches d'écriture. Cependant, certaines tâches, comme la planification et la génération d'images, ont nécessité un délai supplémentaire lorsque les participants ont utilisé M365 Copilot », notent les auteurs, qui pointent notamment les problèmes de qualité des résultats produits par l'assistant de Microsoft. « L'évaluation n'a pas permis de démontrer que les gains de temps aient entraîné une amélioration de la productivité, et les participants du groupe témoin n'ont pas constaté d'amélioration de la productivité chez leurs collègues participant au pilote », souligne le rapport.

Dès lors, difficile de justifier un investissement de long terme dans Copilot. Sachant, qu'outre Manche, une licence de cette technologie coûte entre 4,9 et 18,1 livres (entre 5,6 et 20,9 €) par mois et par utilisateur, en fonction des contrats dont disposent les organisations. « Une évaluation plus approfondie est nécessaire pour analyser le rapport qualité-prix et l'impact environnemental de l'utilisation de M365 Copilot au sein du ministère », concluent - fort diplomatiquement - les auteurs du rapport.

Surtout utilisé dans Word, Teams et Outlook

Cette absence de conclusion tranchée s'explique également par le paradoxe que soulignent les auteurs du rapport : si l'usage de l'outil ne semble pas déboucher sur des gains de productivité directs, le ressenti des participants au test s'avère largement positif, nombre d'entre eux signalant des gains de temps dans leurs tâches quotidiennes. Ainsi, 72% des personnes se disent satisfaites ou très satisfaites de l'assistant de Microsoft. Auprès des participants au pilote, l'outil obtient un Net Promoter Score de 31, un niveau satisfaisant. Et ce sentiment positif des utilisateurs couvre la majorité des cas d'usage. « Cependant, il existe une certaine variation dans les taux de satisfaction ; les tâches d'écriture, telles que la révision, la synthèse d'informations et la rédaction, ont tendance à avoir des taux de satisfaction plus élevés, tandis que l'utilisation de M365 Copilot pour produire des Powerpoint et planifier des réunions aboutit à des niveaux plus faibles », précise le department of Business & Trade du Royaume-Uni. Ce dernier souligne aussi la réticence de certains utilisateurs à exploiter ce type d'outils, en raison de questions éthiques, en particulier relatives à l'impact environnemental de la GenAI.

PublicitéAu total, environ deux-tiers des employés du ministère impliqués dans l'évaluation ont utilisé l'assistant au moins une fois par semaine et 30% d'entre eux au moins une fois par jour. Soit une moyenne de 72 actions par utilisateur durant les 3 mois qu'ont duré ce pilote, les usages les courants étant recensés dans Word, Teams et Outlook. 22% des utilisateurs disent avoir détecté des hallucinations dans les résultats de l'IA de Microsoft, tandis que 43% n'en ont pas décelées et que 11% n'en sont pas sûrs (le solde n'ayant pas répondu à cette question).