Technologies

Les DSI tenus responsables des agents IA... qu'ils ne contrôlent pas !

---

De nombreuses entreprises autorisent un large éventail d'employés à déployer des agents. Les DSI sont tenus responsables de ces applications, alors même qu'ils ignorent ce qui est déployé.

PublicitéScénario catastrophe en vue ? Deux tiers des DSI et des CTO interrogés par l'IBM Institute for Business Value affirment être tenus responsables de systèmes d'IA qu'ils ne contrôlent pas pleinement, car les employés et les métiers déploient des agents sans les en informer. De plus, 70% des responsables IT interrogés indiquent que leurs organisations déploient des systèmes agentiques si rapidement que leurs équipes ne parviennent plus à suivre le rythme. Et la situation n'est pas prête de s'arranger : les DSI prévoient une augmentation de 38% du nombre d'agents d'IA déployés dans leur organisation d'ici à l'année prochaine, et seul un responsable IT sur dix se dit préparé à encaisser ce raz-de-marée.

L'étude confirme les inquiétudes croissantes concernant la gouvernance de l'IA. De nombreuses organisations IT peinent à suivre la production à l'ère des agents, à jauger du niveau de sécurité et à mesurer la valeur ajoutée de ces nouvelles applications, car les employés déploient des agents sans attendre l'aval de la DSI, explique Matt Lyteson, DSI responsable de la transformation technologique chez IBM. « De nombreuses entreprises ont mis en place des politiques facilitant le développement d'agents par le grand nombre, explique-t-il. Ces solutions ne sont plus l'apanage de deux personnes du service IT. »

DSI aveugles

Si encourager les employés à expérimenter l'IA est pertinent, cela peut engendrer des problèmes majeurs pour les DSI, selon les experts. Lorsque les responsables IT sont tenus responsables d'outils d'IA qu'ils ne contrôlent pas, cela crée de réelles tensions au sein de l'entreprise, explique Ben Schein, directeur de l'IA et de l'analytique chez Domo, fournisseur de plateformes de données. D'autant que, dans de nombreuses organisations, les outils d'IA sont déployés en dehors de la DSI plus rapidement qu'ils ne peuvent être inventoriés, ajoute-t-il. « Le problème n'est généralement pas que l'IA soit déployée de manière inconsidérée, précise-t-il. C'est plutôt que l'IA est adoptée plus vite que les modèles de gouvernance ne s'adaptent. »

Dans bien des cas, les déploiements d'IA sont légitimes, sauf quand les DSI et CTO ne sont pas au courant, selon Ben Schein. « Un membre de l'équipe marketing connecte un module LLM à un workflow de contenu, ajoute-t-il. Un autre membre de l'équipe finance colle une prévision dans ChatGPT pour la nettoyer. Un membre de l'équipe produit ouvre l'accès à un ensemble de données clients à un nouvel agent. L'ensemble est invisible pour le DSI. »

Dans ce contexte, la gouvernance et l'observabilité de l'IA sont des enjeux majeurs pour les DSI. « Pouvez-vous voir ce que fait l'IA ?, lance Ben Schein. Considérez vos agents IA comme des employés : qui sont-ils, quelles données ont-ils utilisées, qu'ont-ils produit, quel en a été le coût, et quels problèmes sont survenus ?» Pour lui, la gouvernance de l'IA n'est pas une posture, mais une infrastructure essentielle. « Les DSI qui réussiront dans les 24 prochains mois seront ceux qui intégreront l'observabilité et le respect de règles au sein même de l'infrastructure où résident déjà les données, et non ceux qui ajouteront un volet de gouvernance spécifique à l'IA, a posteriori ».

PublicitéGouvernance défaillante

Aatish Salvi, directeur technique d'Applause, fournisseur de solutions de test logiciel, confirme l'existence de lacunes en matière de gouvernance de l'IA. « On observe un développement rapide et à grande échelle des workflows automatisés, des IA et des produits associés dans tous les secteurs. Or, ce développement est plus rapide que la compréhension des mécanismes de gouvernance, de contrôle et d'évaluation, notamment lorsque les DSI et CTO n'exercent pas un contrôle total sur les systèmes d'IA », explique-t-il.

Aatish Salvi partage le constat de Ben Schein : de nombreuses organisations autorisent, voire encouragent, des employés non IT à déployer des agents, sans en informer le DSI ni le CTO. Le contrôle repose alors sur la personne qui a créé l'agent. « Cette personne peut ne pas posséder l'expertise technique nécessaire pour le gérer, le gouverner ou l'évaluer, souligne le directeur technique. Ainsi, un employé a développé un outil pour faciliter son travail, mais cette application a un coup, notamment en termes de tokens, de sécurité, de conformité et autres problématiques. »

« Lorsque des entreprises développent des systèmes agentiques à grande échelle, en démocratisent les outils de création au sein de leurs organisations et n'ont absolument aucun cadre d'évaluation, elles ne se rendent pas compte qu'elles compromettent la qualité du travail de leurs employés pour gagner en rapidité, explique le CTO d'Applause. Elles produisent de la médiocrité à grande vitesse, et probablement aussi des défauts par la même occasion. »

De meilleurs outils pour suivre le rythme

Selon Aatish Salvi, confier le contrôle des agents à une personne extérieure à l'équipe IT comporte des risques. « Cette personne ne dispose ni des outils, ni du savoir-faire, ni de l'expérience technique nécessaires pour exercer ce contrôle intelligemment », précise-t-il. Dans de nombreux cas, aucun contrôle n'est exercé sur les agents déployés en dehors de l'équipe informatique, assure même Itai Schwartz, cofondateur et directeur technique de Mind, fournisseur de solutions de sécurité des données. Sans garde-fous, les agents fonctionnent souvent sans supervision. « Chaque outil d'IA devrait avoir un responsable métier désigné, et généralement, ce responsable est clairement identifié sur le papier, dit Itai Schwartz. Mais la plupart de ces systèmes sont autonomes et non déterministes. Ils ne suivent pas un script prédéfini. En pratique, l'outil s'autogère. »

Selon le CTO de Mind, la solution ne consiste pas à ralentir le déploiement de l'IA en entreprise, mais à fournir aux DSI la visibilité et les outils de contrôle nécessaires pour suivre le rythme d'adoption. « Aucun responsable informatique avec qui je discute ne souhaite freiner l'IA, affirme-t-il. Ils veulent de meilleurs outils pour progresser rapidement tout en garantissant la sécurité. La solution réside dans de meilleurs outils, pas dans une prudence accrue. »

Encadrer l'IA via une plateforme

L'une des approches possibles est celle adoptée par IBM : l'entreprise a créé une plateforme agentique pour que les employés développent leurs propres outils dans un environnement contrôlé, explique Matt Lyteson. La sécurité des nouveaux agents est vérifiée, et la plateforme s'assure qu'ils ne dupliquent pas un outil existant.

« Très tôt, nous avons mis en place une plateforme d'entreprise et invité les utilisateurs à développer ces solutions de manière à ce que je puisse collaborer sereinement avec mon RSSI, en protégeant les données grâce à l'utilisation exclusive de modèles éprouvés, précise le DSI. « Je veux savoir à quoi sert cet outil, s'il s'agit d'une fonctionnalité individuelle améliorant la productivité ou s'il supporte un workflow complet, et je veux connaître son coût et la valeur qu'il apporte à l'organisation. »

Article rédigé par

CIO.com,

Partager cet article