Stratégie

Les grandes organisations peineraient à transformer l'essai de la GenAI

95% des entreprises américaines ne tireraient aucun bénéfice concret de leurs projets de GenAI. Les plus grandes en particulier. (Photo Pixabay/H.Lewis)

Une étude du MIT montre que la majorité des entreprises américaines, en particulier les plus grandes, n'obtiennent pas de résultats tangibles avec la GenAI. Et peu de projets passent le stade du pilote. Une question de démarche, selon le rapport.

PublicitéSi l'on en croit une étude du MIT (Massachussetts institute of technology) sur l'état de l'IA, quasiment aucune entreprise américaine (5%) ne tirerait de réel bénéfice de ses investissements dans la GenAI. Celle-ci semble bel et bien doper la productivité individuelle, mais elle n'augmenterait nullement le résultat des entreprises. L'étude a été conduite aux États-Unis par les équipes du programme MIT Nanda (Networked agents and decentralized AI) voué à développer une infrastructure pour un « internet » des agents. Elle repose sur une revue systématique de plus de 300 projets d'IA connus, des interviews avec les représentants de 52 organisations et une enquête menée auprès de 153 cadres à l'occasion de 4 conférences de l'industrie IT.

Le MIT identifie 4 schémas dans ce contexte : des changements structurels majeurs peu nombreux, sauf dans les secteurs des médias (transformation concrète des workflows, contenu IA natif et nouvelle dynamique publicitaire) et de l'IT, des grandes entreprises moins aptes à transformer l'essai que les structures moyennes, des investissements privilégiant des cas d'usage visibles, mais rarement vitaux pour l'entreprise et, enfin, un taux de réussite deux fois plus important pour les organisations qui font appel à des prestataires de service. Et ces résultats ne s'expliqueraient ni par la faible qualité des modèles, ni par la présence de freins réglementaires, mais par l'approche adoptée.

L'échec des solutions maison

Ainsi, les LLM génériques comme ChatGPT ou Copilot sont largement appréciés et adoptés, mais ce ne serait pas le cas des solutions adaptées et personnalisées pour des cas d'usage spécifiques par les éditeurs ou les entreprises elles-mêmes. Même si elle repose sur des entretiens individuels et non des rapports officiels publiés par les organisations comme le rappelle le MIT, l'étude montre que ce sont les déploiements de ces solutions personnalisées qui échouent le plus à passer au stade de la production. 5% seulement l'atteignent pour 20% de pilotes, alors que 40% des LLM génériques sont mis en production (pour 80% d'évaluations ou de pilotes).

La distribution des investissements en GenAI dans les différentes fonctions des entreprises. (Source : étude MIT Nanda).

Les chatbots génériques montrent un taux de transformation important du pilote vers la mise en production (environ 83%). Et ce sont bien les structures les plus grandes (plus de 100 M$ de CA) qui auraient le plus de difficultés à transformer l'essai avec des budgets qui privilégient les fonctions visibles plutôt que le back-office. Selon les répondants, 50 % des budgets d'IA seraient en effet alloués aux ventes et au marketing. Or, pour obtenir de véritables gains avec la GenAI, le MIT estime que mieux vaut cibler les opérations et la finance et remplacer le BPO ou les agences externes plutôt que de réduire les effectifs. Sans surprise, la résistance au changement et l'absence de soutien fort de la direction de l'entreprise sont à blâmer pour la faible adoption des outils, selon les répondants à l'enquête du MIT. Mais les utilisateurs des méfient aussi d'une qualité des LLM et des résultats qu'ils jugent trop faible.