Technologies

La collaboration entre agents IA est vouée à l'échec

---

Pris individuellement, les agents IA peuvent être extrêmement fiables. Mais lorsqu'ils doivent agir en essaim, ils débouchent sur des taux d'échec élevés. Seule une orchestration d'agents spécialisés apparaît viable à ce stade.

PublicitéCertains défenseurs de l'IA présentent une vision où des dizaines d'agents collaborent pour résoudre des problèmes complexes avec une intervention humaine minimale, voire nulle. Or, ce scénario relève du mythe. Selon une nouvelle étude, les agents IA peuvent être efficaces lorsqu'ils travaillent individuellement sur des tâches distinctes, mais lorsqu'ils sont associés pour accomplir des missions complexes, ils échouent la plupart du temps. A ce stade, la plupart des organisations qui déploient plusieurs agents pour un même flux de travail les cantonnent chacun à une ou des tâches spécifiques, et comptent sur une couche d'orchestration pour gérer l'attribution des tâches et leur éventuel enchaînement.

La véritable collaboration multi-agents ne fonctionne pas, car les agents souffrent des mêmes problèmes organisationnels que les humains, explique Jeremy McEntire, chercheur en systèmes organisationnels et auteur de l'étude. Un agent ignore les instructions de ses congénères, refait le travail déjà effectué, peine à déléguer et se retrouve fréquemment tributaire des paralysies provenant de la planification.

« Les systèmes d'IA échouent pour les mêmes raisons structurelles que les organisations humaines, malgré la suppression de tous les facteurs causaux propres à l'humain », écrit le chercheur. « Pas de motivation professionnelle. Pas d'ego. Pas de politique. Pas de fatigue. Pas de normes culturelles. Pas de compétition pour le statut. Les agents sont des modèles de langage exécutant des instructions. Le dysfonctionnement est apparu malgré tout. »

La complexité engendre l'échec

Sans surprise, plus le nombre d'agents augmente et plus leur structure organisationnelle est complexe, plus ils échouent fréquemment à accomplir les tâches qui leur sont assignées, souligne Jeremy McEntire, également directeur de l'ingénierie chez Wander, une plateforme de location de vacances de luxe.

Le chercheur a testé les résultats des agents sur la base de quatre structures organisationnelles. Lorsqu'un seul agent était utilisé pour produire le résultat, les agents ont réussi lors des 28 tentatives. En revanche, avec plusieurs agents au sein d'une organisation hiérarchique, l'un d'eux assignant des tâches aux autres, le taux d'échec est monté à 36%. Une approche où les agents opèrent au sein d'un essaim auto-organisé (approche stigmergique) voit cette proportion monter à 68 %. Enfin, un pipeline à 11 étapes, ou essaim organisationnel, ne donne jamais de résultat satisfaisant. En réalité, ce pipeline a englouti la totalité de son budget sur le projet en seulement cinq phases de planification, sans produire une seule ligne de code.

« Mêmes schémas de défaillance que les organisations humaines »

Publicité« Chaque expérience que j'ai menée a échoué de manière contre-intuitive, et précisément de la façon dont elle est censée être conçue pour ne pas échouer, explique Jeremy McEntire. Le pipeline tournait en rond. La hiérarchie n'a pas réussi à déléguer. Le système stigmergique n'a pas réussi à se coordonner, ce qui est pourtant le principe même de la stigmergie. Seul l'agent unique a fonctionné de manière fiable et constante. »

Les problèmes organisationnels persistants ne disparaissent pas lorsque les humains délèguent certaines tâches à des agents IA, affirme ainsi le chercheur. « Les mêmes schémas de défaillance qui caractérisent les organisations humaines - excès de critiques, contrôle d'accès basé sur les préférences, conflits de gouvernance, épuisement des budgets dû à des problèmes de coordination - émergent dans les systèmes d'IA multi-agents avec des signatures mathématiques identiques », écrit-il dans son article. « Le substrat change ; la physique de la coordination à grande échelle reste constante. »

Miser sur des enchaînements d'agents spécialisés

S'il peut être tentant de considérer Jeremy McEntire comme une voix isolée, plusieurs experts en IA affirment observer des résultats similaires. Lors de la conception d'une plateforme d'agents IA dans un emploi précédent, Diptamay Sanyal a observé des problèmes similaires liés à la collaboration entre agents. Les agents individuels travaillant sur des tâches discrètes et bien définies sont fiables, mais la collaboration multi-agents échoue souvent, explique celui qui est aujourd'hui ingénieur en data, IA et cybersécurité chez CrowdStrike, fournisseur de solutions de cybersécurité. « Les taux d'échec augmentent rapidement avec la complexité, exactement comme l'a montré l'étude, explique-t-il. La complexité de la coordination, la transmission du contexte et la propagation des erreurs entre les agents reflètent les dysfonctionnements organisationnels humains à grande échelle. »

Cependant, l'enchaînement d'agents, qui n'est pas une véritable collaboration, peut fonctionner, tempère-t-il, rejoignant les observations d'autres experts en IA. « Chez CrowdStrike, la détection des menaces, l'enrichissement des alertes et le confinement automatisé fonctionnent comme des modules distincts et bien définis, qui s'enchaînent via des couches d'orchestration, explique Diptamay Sanyal. De l'extérieur, cela ressemble à une coopération multi-agents, mais en termes d'architecture, il s'agit d'une spécialisation séquentielle avec des transferts déterministes et des points de contrôle humains intégrés. »

L'idée de dizaines d'agents collaborant de manière autonome sans intervention humaine n'est pas encore mûre. « La véritable valeur des agents IA aujourd'hui réside dans l'automatisation à grande échelle de tâches répétitives et bien définies, en assistant les analystes humains grâce à un traitement rapide des données et des résultats cohérents, souligne l'ingénieur. Il ne s'agit pas d'une intelligence collective émergente. »

« Les agents ne discutent pas dans les couloirs »

L'article de Jeremy McEntire montre comment les problèmes de communication humaine courants se transposent aux environnements multi-agents, remarque de son côté Nik Kale, ingénieur principal et architecte de plateforme chez Cisco, spécialisé dans la coordination multi-agents et la conception de systèmes agentiques. « À chaque transfert entre systèmes, le sens se perd, le contexte se comprime et des suppositions sont formulées, détaille-t-il. Dans les organisations, les humains gèrent cela en allant voir leur collègue et en lui demandant : "Attendez, que vouliez-vous dire exactement ?" Les agents, eux, ne discutent pas dans les couloirs. »

Les DSI qui déploient l'agentique devraient donc privilégier les agents pris isolément et dédiés à des tâches bien définies. Des cas qui produisent des résultats d'une fiabilité remarquable, selon Nik Kale. « L'argument marketing voulant que des dizaines d'agents travaillent ensemble de manière autonome est une utopie qui contredit la théorie de l'information, affirme-t-il. On ne laisse pas les agents collaborer. On leur permet de respecter un cahier des charges, et une fine couche d'orchestration assemble les résultats. »

De même, pour Shanea Leven, PDG d'Empromptu.ai, fournisseur de solutions de création d'applications basées sur l'IA, le développement de systèmes agentiques devrait commencer soit par un agent unique, hautement structuré et dédié à une tâche spécialisée, soit par une solution composée de plusieurs agents opérant dans un cadre strict, avec des modèles de contexte partagés et des mécanismes d'évaluation. « L'idée que des dizaines d'agents puissent collaborer spontanément, sans supervision ni limites, est aussi absurde que celle d'humains le faisant, affirme-t-elle. La valeur des agents IA est indéniable, mais elle ne réside pas dans un comportement autonome en essaim. Elle réside dans une spécialisation maîtrisée. »

Le rôle clef de la couche d'orchestration

Certains utilisateurs d'IA font ainsi état de succès avec des systèmes où plusieurs agents enchaînent des tâches spécifiques, sous la direction d'un outil d'orchestration. Asymbl, fournisseur de solutions de gestion des effectifs, a déployé plus de 150 agents, mais leurs interactions sont strictement contrôlées, explique Shivanath Devinarayanan, directeur technique et du travail numérique au sein de la société texane. « Nos plus de 150 agents numériques interagissent, se transmettent les tâches et atteignent collectivement les objectifs que nous avons définis. Ils se coordonnent entre eux et avec leurs collègues humains grâce à la couche d'orchestration que nous avons mise en place, précise-t-il. Avant même que deux agents n'interagissent, nous avons cartographié le transfert : quelles données sont échangées, dans quel format, sous quelles conditions, qu'est ce qui va déclencher une intervention humaine. »

Un modèle d'orchestration contrôlant les agents et définissant le rôle de chacun avant le déploiement s'avère ainsi essentiel, ajoute-t-il. « Nous avons des agents d'IA dédiés à des tâches spécifiques et d'autres dotés d'une mémoire et de listes de tâches partagées, permettant de suivre l'activité des autres agents, souligne le directeur technique. Dans les deux cas, la clé réside dans la clarté des rôles avant le déploiement. De quoi ce travailleur numérique est-il responsable ? D'où provient le travail ? Où est-il acheminé ? Dans quels cas une intervention humaine est-elle nécessaire ? »

Vers une main d'oeuvre hybride

L'étude de Jeremy McEntire rejoint les observations d'Asymbl : l'échec des systèmes multi-agents est un problème d'organisation et d'orchestration, et non un problème technologique en soi, ajoute-t-il. « L'étude montre que les agents souffrent des mêmes problèmes de coordination que les humains lorsqu'ils travaillent ensemble, note Shivanath Devinarayanan. Les agents sont conçus sur le modèle du raisonnement humain. Ils héritent des défaillances organisationnelles humaines lorsque la structure organisationnelle est défaillante. »

Les fournisseurs et promoteurs de l'IA qui prônent des dizaines d'agents travaillant ensemble sans intervention humaine véhiculent une vision erronée, ajoute-t-il. « Le modèle idéal est celui d'une main-d'oeuvre hybride : des travailleurs numériques (soit les agents, NDLR) aux rôles clairement définis, des travailleurs humains assurant la supervision et le jugement, et une couche d'orchestration reliant les deux », conclut le CTO.

Article rédigé par

Grant Gross, CIO US (adapté par Reynald Fléchaux)

Partager cet article