Technologies

Sans contrôle, un agent IA peut coûter plus cher qu'un employé

---

Dans un podcast, des investisseurs évoquent des agents coûtant 300 dollars par jour. Un chiffre réaliste, jugent des experts. Sauf si les DSI encadrent leurs déploiements et usages.

PublicitéSelon Jason Calacanis et Chamath Palihapitiya, deux experts en informatique et co-animateurs du podcast All In, très populaire aux Etats-Unis, sans contrôles adéquats, les agents d'IA peuvent coûter plus cher qu'ils ne rapportent. Lors d'un épisode récent, Jason Calacanis, investisseur technologique de longue date, indique avoir constaté que le coût des agents avait rapidement atteint 300 $ par jour (soit 260 €) lors de l'utilisation de l'API Claude dans l'une de ses organisations. Le tout alors que ces agents, dont le coût de revient avoisine donc les 100 000 $ par an (soit 87 000 € environ), ne remplaçaient qu'une fraction du travail d'un employé. « À quel moment les tokens dépassent-ils le salaire d'un employé ? Parce que nous sommes sur le point d'y arriver », lance-t-il.

Chamath Palihapitiya, PDG du fonds de capital-risque Social Capital, explique que son organisation alloue des budgets de tokens à ses meilleurs développeurs, mais qu'une utilisation sans restriction des agents peut s'avérer très coûteuse. « Si l'on considère l'ensemble des utilisateurs, une tendance se dessine clairement : "[les développeurs qui bénéficient de ces budgets] doivent désormais être au moins deux fois plus productifs qu'un autre employé" », calcule-t-il. Selon lui, fixer des limites financières aux usages s'avère indispensable.

Le podcast a suscité des réactions mitigées sur X et LinkedIn. « Il ne s'agit pas d'un argument contre les agents IA, veut croire Ayesha Khanna, PDG d'Addo AI, fournisseur de solutions d'IA, sur LinkedIn. La question est de savoir si leur utilisation est réellement rentable. La plupart des équipes n'en sont pas là. » Plusieurs autres experts en IA estiment qu'un coût journalier de 300 $ peut être réaliste si les responsables informatiques ne limitent pas les dépenses. Mais avec les contrôles appropriés, les agents ne doivent pas nécessairement coûter aussi cher, ajoutent-ils.

Personnaliser les agents pour limiter les coûts

Sans contrôle, les coûts des agents peuvent exploser lorsque les organisations utilisent des systèmes coûteux et personnalisés pour le développement, et les exécutent via des API au lieu d'utiliser directement des outils spécialisés, explique ainsi Vygandas Pliasas, PDG de Solidmatics, fournisseur de services d'architecture technologique et de direction produit à temps partiel. « Il m'arrive d'atteindre 500 $ par semaine, et ce, malgré une approche réfléchie et supervisée par un humain, indique Vygandas Pliasas. Le problème, c'est que si vous laissez des agents effacer et réécrire le code à l'aveugle, vous ne faites plus vraiment le travail vous-même, ce qui m'amène à avoir de sérieux doutes quant à la qualité. »

PublicitéLaisser un agent prendre en charge l'écriture du code et d'autres tâches peut engendrer des problèmes de sécurité et d'autres risques, selon lui. « Je dis toujours que l'IA est un outil, pas un substitut à votre cerveau, ajoute-t-il. Vous devez vous fier à votre cerveau. Vous utilisez l'IA pour obtenir des réponses plus rapidement, mais si vous lui faites aveuglément confiance et la laissez faire, vous atteindrez ce niveau de dépense. Et le résultat ne sera pas à la hauteur. »

Par ailleurs, un coût de 300 $ par jour peut être trompeur hors contexte, souligne Shahram Anver, PDG et data scientist chez Cleric, fournisseur de solutions d'ingénierie SRE basées sur l'IA : « cela arrive lorsqu'on confie une tâche complexe à un modèle généraliste et qu'on le laisse faire. C'est comme embaucher un prestataire sans définir clairement le périmètre de la mission et être surpris par la facture. » Cleric a développé un agent spécialisé dans la gestion de la fiabilité des environnement IT pour une fraction de 300 $ par jour. Conçu pour un usage spécifique, il sait quelles questions poser et quand s'arrêter.

Dans de nombreux cas, les agents peuvent s'avérer plus rentables que l'embauche de personnel informatique supplémentaire, malgré les risques de dépassement de budget, dit d'ailleurs Shahram Anver. « Un ingénieur SRE senior coûte plus de 200 000 $ par an, toutes charges comprises, compare-t-il. Un agent peut réaliser 80% des investigations d'incidents pour un coût bien inférieur. »

Cependant, il est facile pour les entreprises de se laisser emporter si les DSI ne fixent pas de limites, prévient-il. « La plupart des entreprises l'apprennent à leurs dépens, remarque le PDG de Cleric. Un membre de l'équipe crée un agent pour une tâche, cela fonctionne, il en informe ses collègues, et voilà : 15 agents sont en fonctionnement sans que l'on sache ce qu'ils font. »

Définir le modèle opérationnel au plus juste

Il existe des méthodes coûteuses et d'autres moins onéreuses pour déployer des agents, souligne d'ailleurs Kateryna Babenko, analyste logicielle CX/CS chez Katico, fournisseur de chatbots et d'optimisation de services d'assistance axés sur l'IA. « Si vous utilisez un agent persistant avec une API de modèle d'IA de pointe, consommant beaucoup de jetons, avec de longues fenêtres de contexte, un raisonnement en plusieurs étapes et un volume important de données, le coût peut rapidement devenir exorbitant, précise-t-elle. Dans certains cas, le coût par tâche peut même s'avérer supérieur à celui d'une personne effectuant le même travail. » Cependant, un agent aux capacités limitées, associé à un modèle d'IA plus petit et optimisé, exécuté localement ou sur une couche d'inférence contrôlée, peut coûter bien moins cher, note-t-elle.

Ces deux extrêmes masquent des modèles opérationnels totalement différents, mais de nombreuses entreprises ne font pas la distinction, selon Kateryna Babenko. « Quand on entend le mot "agent", on imagine tout de suite une seule catégorie de dépenses, mais ce n'est pas le cas, dit-elle. On fait face à un large éventail de possibilités, et la différence entre un déploiement judicieux et un déploiement bâclé peut facilement multiplier par dix le coût d'exploitation. »

Elle recommande donc aux DSI de modéliser le volume de jetons par tâche, d'évaluer le coût d'inférence du modèle utilisé et de comparer ces dépenses au coût de main-d'oeuvre des workflows qu'ils souhaitent remplacer ou compléter. « Les agents dont le coût est justifié sont ceux qui sont utilisés pour des tâches que personne ne souhaite effectuer manuellement, lorsque la tâche est bien délimitée, que le résultat peut être vérifié et qu'un humain peut corriger les erreurs avant qu'elles ne se propagent », résume l'analyste logicielle.

Les responsables informatiques doivent prendre en compte les aspects économiques des agents, tout autant que leurs implications technologiques. « Les organisations qui les exploitent efficacement sont celles qui les traitent comme n'importe quelle autre ressource opérationnelle à coût variable, avec des budgets, des contrôles, une responsabilité et une imputabilité définies dès le départ », conclut-elle.

Plafonner les usages

Vygandas Pliasas, de Solidmatics, suggère de plafonner l'utilisation des agents. Il souligne que les principaux fournisseurs d'IA permettent aux entreprises de définir des plafonds de dépenses par clé API ou organisation. Les responsables informatiques peuvent ainsi créer des clés API distinctes par équipe ou ingénieur et y associer une limite financière mensuelle. Pour les outils managés tels que Cursor, GitHub Copilot ou les abonnements de Claude, l'équipe informatique contrôle les licences de manière centralisée et décide qui obtient un accès, le niveau de licence et le choix de fonctionnalités de base ou de modèles premium.

Cependant, Vygandas Pliasas conseille aux DSI de faire preuve de flexibilité concernant les plafonds budgétaires. « Tout dépend de la valeur ajoutée, souligne-t-il. Si un ingénieur développe des fonctionnalités de haute qualité et à fort impact, sa production peut être équivalente à celle d'une équipe de 10 personnes sur une année. Dans ce cas, le coût est justifié et vous ne pouvez plus le comparer au salaire d'une seule personne. »

Article rédigé par

CIO.com,

Partager cet article