Stratégie

Sans observabilité ni gouvernance, l'agentique court à la catastrophe

Le déploiement d'agents d'IA à l'échelle exige une traçabilité complète du flux, et pas uniquement du code. (Photo Unsplash/N.Shaabana)

Les organisations qui déploient des agents d'IA sans démarche d'observabilité s'exposent à de sérieuses déconvenues. Pourtant, c'est encore ainsi que plus d'une organisation sur deux procède.

Publicité« De nombreuses entreprises déploient des agents d'IA en espérant qu'ils augmentent leur productivité en réduisant au minimum les interventions humaines », observe T.J. Marlin, PDG de Guardrail Technologies, une société spécialisée dans la sécurité de l'IA. « Or, ce n'est pas du tout la bonne approche ». Les équipes informatiques doivent au contraire surveiller ces agents de près et adapter leurs politiques et les pratiques tout au long du processus d'agentisation. Selon plusieurs observateurs du marché, le déploiement d'agents sans processus ni outils d'observabilité s'apparente à une véritable bombe à retardement. « Il ne s'agit pas juste de programmer sa cocotte minute et de la placer sur le feu quelques heures pour cuire un poulet, plaisante-t-il à peine. Les organisations qui agissent de cette façon finiront en une des journaux parce qu'il leur sera arrivé une catastrophe. »

Pour T.J.Martin, les entreprises se précipitent sur l'agentique souvent par crainte de passer à côté d'opportunités, sans pour autant saisir toutes les subtilités de la technologie. « Certains DSI n'y voient qu'un prolongement de l'automatisation de type RPA, mais avec cette technique, les résultats sont bien plus simples à anticiper ». Pour le PDG, il y a une pénurie de compétences et de connaissances sur le sujet, et « on construit à un rythme effréné sans vérifier si ce que l'on fait est correct et si cela fonctionne comme prévu. »

Une gouvernance à l'aveugle

Selon une enquête de TrueFoundry, fournisseur de solutions de gouvernance des agents auprès de plus de 200 responsables IA, publiée en mai 2026, 54 % des organisations interrogées ne suivent pas précisément l'activité de leurs agents et 56 % ne disposent d'aucun système centralisé de contrôle ou de gouvernance. « Les difficultés liées à la gouvernance et à l'observabilité constituent des obstacles majeurs au déploiement d'agents en production, ajoute Mahesh Kumar Goyal, spécialiste des données et de l'IA chez Google. La plupart des entreprises n'ont aucun inventaire de leurs agents en activité. Autrement dit, elles essaient de gérer ce qu'elles ne peuvent pas voir ».

De plus, les SIEM (Gestion des informations et des événements de sécurité) et les EDR (Endpoint detection and response) traditionnels ont été conçus pour détecter les anomalies humaines, et non les agents IA potentiellement malveillants. « Un agent exécutant parfaitement un code 10 000 fois de suite apparaît normal, même s'il a été piraté », insiste Mahesh Kumar Goyal. Il ajoute que l'utilisation d'agents entièrement autonomes n'est pas une bonne idée et que les entreprises doivent réfléchir à des autorisations limitées au strict minimum, à des couches de règles de sécurité pour encadrer chaque prompt et chaque appel à un outil, et à un traçage de bout en bout qui suit les prompts, les appels d'outils et les actions en aval dans un historique unique et auditable.

PublicitéUn bouleversement des modèles de vérification

« Si l'on prend l'exemple du système financier, il ne repose pas sur la confiance, mais sur la traçabilité, la réconciliation des données et les mécanismes de coupure automatique, rappelle Mahesh Kumar Goyal. Le monde des agents va évoluer de la même manière. La solution la plus réaliste étant celle d'une autonomie à plusieurs niveaux avec une grande liberté pour les tâches à faible enjeu et une supervision humaine pour les tâches centrales à l'activité. » Et une partie du problème réside dans le fait que les agents ont bouleversé les modèles de vérification habituels utilisés avec les logiciels traditionnels, comme l'explique Adel El Hallak, VP du logiciel IA chez Nvidia. Pour identifier les problèmes, les ingénieurs de la qualité et la sécurité logicielle pouvaient analyser le code. Impossible avec les agents, car, eux prennent des décisions directement dans l'environnement d'exécution d'un modèle d'IA.

Pour Adel El Hakkak, la source de vérité pour les agents doit venir de traces, c'est-à-dire d'enregistrements du flux d'exécution, et non simplement du code. Le recueil de traces - avec des logs détaillés - constitue un premier pas vers la gouvernance des agents, à condition de pouvoir exploiter ces informations. « Pour faire confiance à quelque chose, il faut de la transparence, et pour cela, l'observabilité est fondamentale, ajoute le VP Nvidia. Mais observer ne suffit pas. Il faut aussi exploiter ces signaux et les transformer en actions concrètes. Par ailleurs, il ne suffit pas de recueillir des données comportementales ou des feedbacks, ajoute encore Adel El Hallak. Le système doit permettre d'annoter, de modifier, d'enrichir ou de créer des données de feedback supplémentaires, afin que de les utiliser pour améliorer l'agent dans sa globalité. »

Trop de gouvernance nuit à la gouvernance

Mais dans le même temps, « de nombreuses entreprises qui s'essaient à la gouvernance des agents se retrouvent avec un énorme goulot d'étranglement si elles s'y prennent mal », complète Nirmal Ganesh, directeur principal de la gestion des produits pour l'automatisation des workflows des agents chez Box. Pour lui, le plus dur reste à venir en matière de déploiement d'agents. « Très peu d'entreprises maîtrisent déjà cette technologie, et elles sont encore moins à savoir les gérer à grande échelle avec une gouvernance et une observabilité adaptées. »

Nirmal Ganesh identifie plusieurs problèmes, dont l'utilisation d'agents sans un modèle d'autorisation clair. « Un agent qui "voit" plus d'une personne ou qui dispose de de permissions d'accès au contenu ou aux données supérieures à celles données à une personne, c'est la garantie qu'un incident se produise. De plus, certains modèles de gouvernance des agents utilisés lors des étapes initiales d'un projet ne passent pas à l'échelle ». Certaines équipes IT optent ainsi par défaut pour une approbation humaine de chaque réponse produite par un agent, comme option la plus sûre.

Un processus manuel, mais davantage de points de contrôle

« En réalité, il s'agit de reconstruire un processus manuel en y ajoutant davantage de points de contrôle ou de suggestions, détaille Nirmal Ganesh. Avec un volume important d'agents, la gouvernance devient un frein à la croissance et non plus un filet de sécurité. » Pour lui, les organisations ont besoin de processus d'observabilité et de gouvernance à la fois évolutifs et exhaustifs. Les entreprises n'obtiendront de ROI sur les agents qu'avec des garde-fous solides, des modèles d'autorisation clairs et une démarche human-in-the-loop claire.
« Tout système d'automatisation mature nécessite de l'observabilité en continu : les workflows, les politiques de sécurité et les décisions évoluent, de nouveaux cas d'usage apparaissent, complète Nirmal Ganesh. L'intervention humaine est toujours nécessaire pour gérer ces évolutions au fil du temps, mais nous devons les minimiser pour les processus bien identifier et se concentrer davantage sur la gestion des exceptions et l'optimisation de la gouvernance. »

« La gouvernance ne peut pas se limiter à la production des agents, ajoute Marcelo Lorenzetti, fondateur et chief AI officer chez SavvyLex, prestataire de services juridiques en IA. Le plus grand défi n'est pas simplement de savoir si un agent produit une bonne réponse, mais de savoir si l'organisation peut prouver à quoi l'agent a accédé, quelles instructions il a suivies, quels outils il a utilisés, quelles décisions il a prises, à quel moment un humain est intervenu et s'il est resté dans les limites autorisées. » Sans une visibilité complète sur l'exécution, les entreprises se retrouvent avec des captures d'écran, des logs et des explications a posteriori qui ne répondent pas forcément aux exigences légales, de conformité ou de sécurité.

Intégrer la gouvernance directement aux agents

Pour Marcelo Lorenzetti, la gouvernance devrait être intégrée nativement à l'architecture de l'agent pour assurer cette surveillance en continu. Elle devrait inclure un contrôle d'accès basé sur les rôles, une exécution encadrée par des politiques de sécurité, des seuils pour l'approbation par un humain, la traçabilité des sources et des outils, des journaux d'activité immuables, un système de notation de la confiance, la gestion des exceptions et des procédures d'escalade clairement définies lorsqu'un agent dépasse les limites de son autorité.
« L'observabilité ne doit pas se limiter à savoir si le modèle a répondu, insiste Marcelo Lorenzetti. Elle doit montrer l'intégralité du cheminement de décision, de l'input jusqu'à l'action. Les agents ont modifié le modèle de gouvernance dont les entreprises ont besoin. Le problème fondamental est que de nombreuses entreprises passent d'une IA qui répond aux questions à une IA qui agit, mais leurs modèles de gouvernance sont encore conçus pour des outils passifs, et non pour ces workflows autonomes ».