Stratégie

Dans l'IA, les dépassements de budget s'accumulent et plombent les DSI

---

La plupart des organisations peinent à estimer les coûts réels de l'IA, près d'un quart des DSI dépassant leur budget de plus de 50%. Ce qui compromet la confiance en interne et obère les investissements futurs.

PublicitéSelon une récente étude, les responsables informatiques et financiers peinent à estimer et à maîtriser les coûts des déploiements d'IA, les projets dépassant souvent les budgets prévus. Et, malgré l'adoption massive de l'IA par les entreprises, de nombreux DSI ont du mal à justifier le retour sur investissement de ces projets, les erreurs dans les estimations de budget expliquant pour partie ces difficultés.

Environ 85% des organisations se trompent de plus de 10% dans leurs estimations des coûts de l'IA. Et chez près d'un quart d'entre elles, ces écarts dépassent les 50%, selon une étude menée par Benchmarkit et Mavvrik. Les estimations sont presque systématiquement trop basses. Plusieurs facteurs contribuent à ce phénomène. Les plateformes de données, qui génèrent des coûts inattendus, sont le principal facteur de dépassement de budget, suivies de l'accès réseau aux modèles d'IA, selon les répondants à l'étude. Les coûts des jetons des grands modèles de langage (LLM) figurent au cinquième rang seulement.

Les DSI tenus responsables

Si la gestion du budget incombe généralement au directeur financier, les DSI supervisant des projets d'IA jugés trop coûteux encourent de graves conséquences, selon les experts. « Sous- estimer autant les coûts des projets d'IA ne se limite pas à un dépassement de budget ; cela compromet la confiance des parties prenantes et leur adhésion, explique Sergii Opanasenko, cofondateur de Greenice, société spécialisée dans le développement web. « La meilleure approche consiste à considérer l'IA comme tout autre investissement dans l'infrastructure : définir un périmètre réaliste, prévoir l'intégration et les itérations, et prévoir un budget pour la phase d'expérimentation. »

De nombreuses organisations semblent procéder à la mise en oeuvre de l'IA sans vision claire, ajoute de son côté John Pettit, directeur technique chez Promevo, société de services spécialisée dans Google Workspace. Si un projet IA mené par le DSI dépasse largement le budget prévu, cela compromet la crédibilité de ce dernier, souligne-t-il. « La confiance est essentielle dans la réussite des projets et la gestion d'une organisation, explique-t-il. Si une initiative IA coûte 50 % de plus que prévu, le directeur financier et le conseil d'administration hésiteront avant d'approuver le prochain projet. » Les dépassements de budget sont souvent liés à des coûts cachés non directement associés à l'accès aux modèles, comme ceux relatifs à la préparation des données, à la sécurité, à l'intégration et à la conformité réglementaire, détaille John Pettit.

PublicitéMarges brutes en berne

Dan Stradtman, directeur marketing chez Bloomfire, fournisseur de solutions de gestion des connaissances intégrant l'IA, a constaté les conséquences de ces dépassements de budget. « J'ai dirigé des équipes dans des entreprises du Fortune 500 où les écarts budgétaires ont engendré une série de problèmes : retard dans les roadmaps, gel des recrutements et réticence du directeur financier à investir dans des projets stratégiques, explique-t-il. Pour les DSI, la gouvernance n'est pas une option. Sans une gestion rigoureuse des coûts et des données fiables pour nourrir l'IA, les coûts deviennent imprévisibles et les dirigeants sont frustrés. »

Outre le fait de susciter la défiance envers la direction informatique, les erreurs dans les estimations de coûts erronées impactent aussi les résultats financiers de l'entreprise, souligne Farai Alleyne, vice-président en charge des opérations informatiques chez Billtrust, éditeur de logiciels de gestion des factures fournisseurs. « Il ne s'agit pas seulement d'un problème de dépenses IT, cela peut se transformer en un problème financier général pour l'entreprise », explique-t-il. Les résultats de l'enquête confirment cette intuition. Plus de huit entreprises sur dix ont indiqué que les coûts liés à l'IA ont réduit leurs marges brutes de plus de 6 %, et plus d'un quart d'entre elles ont constaté une baisse de 16 % ou plus.

Budgets modestes, attentes irréalistes

Pour illustrer ce décalage budgétaire concernant l'IA, Greenice a récemment analysé plus de 500 projets d'IA sur la plateforme de freelancing Upwork et constaté que plus de 60% d'entre eux avaient un budget inférieur à 1 000 $ et un délai de livraison prévu de moins de trois mois. La plupart de ces estimations de coûts et de délais semblent irréalistes, selon Sergii Opanasenko.

D'après son expérience, les dirigeants d'entreprise pensent souvent que les assistants de codage à base d'IA ou les outils Low code et No code peuvent gérer la majeure partie du développement logiciel nécessaire au déploiement d'un nouvelle solution d'IA. Ces outils peuvent certes servir à créer de petits prototypes, mais pour les intégrations de niveau entreprise ou les systèmes multi-agents, la complexité induite se traduit obligatoirement par des coûts supplémentaires, explique-t-il. « Nous voyons souvent des clients qui affirment fièrement avoir développé 80 à 90% de leur système en une semaine grâce à l'IA, mais c'est dans les 10 à 20% restants que se cache la véritable complexité », ajoute le co-fondateur de Greenice. « Ce dernier kilomètre prend souvent beaucoup plus de temps, soit à cause de la complexité des intégrations, soit parce que les assistants IA peinent à gérer des projets plus importants, adaptés à des contextes particuliers. »

De plus, les organisations sous-estiment souvent le coût de fonctionnement d'un projet IA, ajoute-t-il. L'utilisation de tokens pour la vectorisation et les appels LLM peut coûter des dizaines de milliers d'euros par mois, et l'hébergement de ses propres modèles n'est pas bon marché non plus, les coûts d'infrastructure pouvant alors atteindre des milliers d'euros par mois. Sans oublier les dépassements de périmètre. « Si les clients relèvent leurs exigences en cours de projet, il faut réévaluer le périmètre, le réduire pour qu'il soit réaliste compte tenu du budget, et reporter les fonctionnalités supplémentaires à une phase ultérieure », conclut Sergii Opanasenko.

Les bonnes pratiques pour maîtriser les coûts

Chez Promevo, John Pettit recommande aux DSI d'adopter des technologies d'observabilité pour suivre les coûts de l'IA et se concentrer sur des indicateurs de ROI basés sur les résultats. « Sans observabilité, vous en restez au stade des suppositions, dit-il. Avec elle, vous pouvez détecter un processus d'entraînement hors de contrôle ou une utilisation excessive d'API avant que cela ne vienne plomber votre budget. » Les DSI devraient appliquer les principes de FinOps et considérer le coût de l'IA comme un indicateur clé, associé à des tableaux de bord et des alertes, conseille-t-il. Sans oublier d'encourager la transparence entre les équipes, et inciter le marketing, la R&D et l'IT à partager leurs usages de l'IA et les coûts associés.

John Pettit suggère également de commencer à mesurer la consommation réelle dès le projet pilote et souligne que les solutions IA basiques sont parfois plus efficaces. « Tous les cas d'usage n'exigent pas le modèle le plus complexe, affirme-t-il. Une approche plus légère peut parfois offrir 90 % de la valeur pour 10 % du coût. »

Des outils, mais aussi une pratique

Comme lui, Farai Alleyne de Billtrust recommande des outils de gestion des coûts et d'observabilité pour contrôler les dépenses en IA. Dans la première catégorie, ceux provenant des fournisseurs de cloud sont utiles, mais moins complets que les solutions tierces et ne couvrent pas tous les coûts potentiels de l'IA, précise-t-il. « Ces outils tiers peuvent aller jusqu'à des recommandations du type : 'vous dépensez trop pour cette fonctionnalité, vous pouvez optimiser votre utilisation'. Nous avons ainsi optimisé nos ressources, en suivant les recommandations concernant les engagements contractuels et en modifiant nos sauvegardes pour mieux gérer le budget cloud global. » La clé de l'utilisation de ces outils ? Les consulter régulièrement, ajoute Farai Alleyne. Les responsables informatiques de Billtrust consultent ainsi le logiciel de gestion des coûts de l'IA plusieurs fois par mois. « Il ne suffit pas d'avoir les outils, il faut les utiliser, dit-il. Un programme de gestion des coûts doit être suivi avec rigueur. »

Farai Alleyne recommande engin aux DSI de communiquer régulièrement avec les autres services sur leur utilisation de l'IA. « De nombreux problèmes peuvent provenir d'un autre service qui utilise l'IA sans le signaler, ce qui impacte le budget, explique-t-il. Un service utilise les fonctionnalités IA via le cloud, sur le compte de l'entreprise, et vous recevez la facture. »

Article rédigé par

Grant Gross, CIO US (adapté par Reynald Fléchaux)

Partager cet article