Technologies

L'IA agentique va poser de sérieux problèmes de confiance

---

Alors même que les entreprises déploient de premiers agents d'IA, les inquiétudes concernant la transparence de leur processus décisionnel apparaissent comme des freins à l'essor de cette technologie.

PublicitéLes entreprises déploient de premiers agents d'IA, mais de sérieux doutes quant à leur précision laissent présager des difficultés, selon de nombreux experts. Car les agents d'IA ont besoin d'autonomie décisionnelle pour être pleinement performants, or de nombreux experts les perçoivent encore comme des boîtes noires, dont les raisonnements restent obscurs pour les entreprises les déployant. Ce manque de transparence constitue un frein potentiel à la mise en oeuvre d'agents en tant qu'outils autonomes générateurs de gains d'efficacité majeurs, affirment-ils.

Ces inquiétudes exprimées par de nombreux spécialistes de l'IA semblent pour l'instant ignorées par les utilisateurs, de nombreuses entreprises ayant déjà succombé à l'engouement pour cette technologie. Environ 57 % des entreprises du B2B ont déjà mis des agents en production, selon une enquête publiée en octobre par la plateforme de logiciels G2, et plusieurs cabinets d'analystes informatiques prévoient une forte croissance du marché des agents dans les années à venir. Par exemple, Grand View Research prévoit un taux de croissance annuel moyen de près de 46% entre 2025 et 2030.

De nombreuses organisations utilisant ces agents ne saisissent pas encore à quel point ces derniers peuvent être opaques en l'absence de garde-fous adéquats, selon des experts en IA. Et même si des mécanismes de protection sont mis en place, la plupart des outils actuels ne suffisent pas encore à garantir l'absence de tout comportement inapproprié.

L'analogie du stagiaire

Des idées fausses, mais très répandues, concernant le rôle et les fonctionnalités des agents pourraient freiner le développement de cette technologie, dit ainsi Matan-Paul Shetrit, directeur de la gestion des produits chez Writer, une plateforme de création d'agents virtuels. De nombreuses organisations perçoivent les agents comme de simples appels d'API, avec des résultats prévisibles, alors que les utilisateurs devraient plutôt les considérer un peu comme des stagiaires, précise-t-il.

« Comme des stagiaires, ils ont besoin de certains garde-fous, contrairement aux API qui sont relativement faciles à contrôler, indique Matan-Paul Shetrit. Gérer un stagiaire est en réalité bien plus complexe, car il peut, sciemment ou non, causer des dommages et accéder à des informations confidentielles. Il peut, par exemple, entendre quelqu'un parler à notre DSI et découvrir ainsi des informations confidentielles. »

Le défi pour les développeurs d'agents d'IA et les entreprises utilisatrices consistera à bien gérer un grand nombre de 'stagiaires' en même temps, tous ces agents qui seront probablement déployés, explique-t-il. « Imaginez une organisation de 1 000 personnes déployant 10 000 agents, lance Matan-Paul Shetrit. Ce n'est plus une organisation de 1 000 personnes, mais une organisation de 11 000 "personnes", ce qui représente un toute autre niveau de complexité en termes de gestion. »

Publicité« Une solution qui cherche son problème »

Pour les grandes entreprises comme les banques, le nombre d'agents pourrait atteindre 500 000 à terme, prédit le responsable de Writer ; une situation qui exigerait des approches entièrement nouvelles en matière de gestion des ressources organisationnelles, d'observabilité et de supervision IT. « Cela implique de repenser toute votre structure organisationnelle et votre façon de faire des affaires, explique Matan-Paul Shetrit. Tant que notre secteur n'aura pas résolu ce problème, je ne crois pas que la technologie des agents se généralisera et sera adoptée de manière à tenir ses promesses. »

Nombre d'organisations déployant des agents ne réalisent tout simplement pas encore l'existence des problématiques à résoudre, ajoute Jon Morra, directeur de l'IA chez Zefr, fournisseur de technologies publicitaires. « On ignore souvent l'ampleur des problèmes de confiance liés aux agents, constate-t-il. Le concept d'agents IA est encore relativement nouveau et, bien souvent, il s'agit d'une solution qui cherche un problème. »

Dans de nombreux cas, assure Jon Morra, une technologie plus simple et plus déterministe peut être déployée à la place d'un agent. De nombreuses organisations déployant les grands modèles de langage (LLM) qui alimentent les agents semblent encore ignorer les risques encourus, conclut-il. « Les gens font actuellement trop confiance aux agents, et cela leur joue des tours, explique-t-il. J'ai participé à de nombreux appels où des utilisateurs de LLM me disaient : "Jon, as-tu déjà remarqué qu'ils se trompent dans les calculs ou qu'ils inventent parfois des statistiques ?" Et je leur répondais : "Oui, ça arrive." »

Si de nombreux experts en IA estiment que la confiance envers les agents s'améliorera à long terme grâce au perfectionnement des modèles d'IA, Jon Morra estime que leur accorder une confiance totale ne sera jamais justifiée, l'IA ayant toujours une propension à halluciner.

Autonomie sous surveillance

Bien que les deux experts pensent que les utilisateurs d'IA ne comprennent pas le problème de la transparence des agents, le rapport de recherche de G2, datant d'octobre, note une confiance croissante envers cette technologie pour effectuer certaines tâches, comme le blocage automatique des adresses IP suspectes ou la restauration des déploiements logiciels ayant échoué. Même si 63 % des personnes interrogées affirment que leurs agents ont besoin d'une supervision humaine plus importante que prévu. Moins de la moitié des répondants expliquent faire confiance aux agents pour prendre des décisions autonomes, même en présence de garde-fous, et seulement 8 % se disent à l'aise avec l'idée de leur accorder une autonomie totale.

Tim Sanders, directeur de l'innovation chez G2, nuance certaines de ces mises en garde : selon lui, le manque de confiance envers les agents est un problème plus important qu'un manque de transparence de la technologie. Si la méfiance envers une nouvelle technologie est naturelle, la promesse des agents réside dans leur capacité à agir sans intervention humaine, affirme-t-il.

L'étude révèle que près de la moitié des entreprises B2B achètent des agents sans pour autant leur accorder une réelle autonomie, souligne-t-il. « Cela signifie que des humains doivent évaluer et approuver chaque action. Or, cela semble aller à l'encontre même de l'objectif initial des agents : gagner en efficacité, en productivité et en rapidité. »

Ce déficit de confiance pourrait s'avérer coûteux pour les organisations trop prudentes, assure Tim Sanders. « Elles passeront à côté de milliards de dollars d'économies potentielles, car la présence d'un trop grand nombre d'intervenants humains crée un goulot d'étranglement dans les workflows automatisés », dit-il. Le potentiel économique et opérationnel des agents devrait inciter les dirigeants d'entreprises soucieux de croissance à accorder davantage leur confiance à cette technologie, selon lui.

« Catastrophes en puissance »

D'autres experts en IA mettent en garde les DSI contre le déploiement d'agents, compte tenu des problèmes de transparence que les fournisseurs d'IA doivent encore résoudre. Tamsin Deasey-Weinstein, responsable du groupe de travail sur la transformation numérique par l'IA pour les Îles Caïmans, affirme que l'IA fonctionne mieux avec une intervention humaine et une gouvernance rigoureuse, mais que de nombreux agents sont surmédiatisés et insuffisamment encadrés. « Si les agents sont formidables car ils automatisent les processus, cela les rend aussi extrêmement dangereux, explique-t-il. On vend la promesse d'agents autonomes alors qu'en réalité, on se retrouve, sans garde-fous suffisants, face à des catastrophes en puissance. »

Pour pallier ce manque de transparence, elle recommande de limiter strictement le champ d'action de la technologie. « Les agents les plus fiables sont malheureusement limités dans leurs capacités », conclut Tamsin Deasey-Weinstein. Plus l'agent dispose de liberté d'action, plus le risque d'erreurs dans les résultats sera élevé. Les agents les plus fiables ont des tâches restreintes et clairement définies, encadrées par des garde-fous très stricts.

Elle reconnaît cependant que le déploiement d'agents hautement ciblés peut ne pas convenir à certains utilisateurs. « Ce n'est ni facilement commercialisable ni attrayant pour l'utilisateur toujours plus exigeant qui souhaite un rendement maximal, ironise Tamsin Deasey-Weinstein. N'oubliez pas : si votre agent IA peut rédiger tous les e-mails, modifier tous les documents et interagir avec toutes les API, sans intervention humaine, cela signifie que vous perdez tout contrôle. »

Technologie risquée pour décisions peu risquées

De nombreux experts en IA estiment également que les agents autonomes sont plus efficaces lorsqu'ils prennent des décisions à faible risque. « Si une décision affecte la liberté, la santé, l'éducation, les revenus ou l'avenir d'une personne, l'IA ne devrait jouer qu'un rôle d'assistance, reprend Tamsin Deasey-Weinstein. Dans ces contextes, chaque action doit être explicable, ce qui n'est pas le cas avec l'IA. »

Elle recommande des cadres de référence tels que les principes de l'OCDE pour l'IA et le cadre de gestion des risques liés à l'IA du NIST américain (NIST AI Risk Management Framework) pour aider les organisations à appréhender les risques liés à la technologie. L'AI Act européen va dans le même sens.

Observer et orchestrer

D'autres spécialistes du domaine soulignent l'importance de l'observabilité pour détecter les comportements anormaux des agents, même si ces outils ne permettent pas toujours, à eux seuls, de diagnostiquer les problèmes sous-jacents. Selon James Urquhart, directeur technique chez Kamiwaza AI, fournisseur de solutions d'orchestration d'IA, les organisations utilisant des agents peuvent déployer une couche d'orchestration qui gère le cycle de vie, le partage de contexte, l'authentification et l'observabilité.

À l'instar de Tamsin Deasey-Weinstein, le directeur technique préconise de limiter le rôle des agents et compare l'orchestration à un arbitre supervisant une équipe d'agents spécialisés. « N'utilisez pas un seul agent "tout-en-un", conseille-t-il. Considérez les agents comme une équipe de mécaniciens, et non comme un couteau suisse. » L'IA souffre d'un problème de confiance, mais aussi d'un déficit d'architecture, affirme-t-il. « La plupart des entreprises peuvent aujourd'hui déployer un agent, mais très peu sont capables d'expliquer, de contraindre et de coordonner un essaim d'agents, souligne James Urquhart. Les entreprises créent davantage de chaos si elles ne disposent pas d'un plan de contrôle permettant d'assurer le passage à l'échelle, la sécurité et la gouvernance » des agents.

Article rédigé par

Grant Gross, CIO US (adapté par Reynald Fléchaux)

Partager cet article