Technologies

Doomprompting : quand l'IA fait perdre du temps à vos équipes

Les applications d’IA peuvent entraîner les utilisateurs dans des successions de prompts, dans l’espoir vain de parvenir à un résultat parfait. Une source de perte de productivité. (Photo : Solen Feyissa/Unsplash)

Un phénomène appelé « doomprompting » voient les utilisateurs s'enferrer dans des optimisations multiples des résultats issus des IA. A la clef, pertes de temps et explosion des coûts.

PublicitéDe nombreux utilisateurs d'IA ont développé une saine méfiance à l'égard des résultats issus de cette technologie, mais certains experts observent une tendance émergente qui voit certains utilisateurs pousser ce scepticisme trop loin, ce qui entraîne des ajustements quasi incessants des résultats. Ce phénomène récent, appelé doomprompting, est lié au comportement de doomscrolling, lorsque les internautes ne parviennent pas à se détacher des réseaux sociaux ou des informations négatives affichées sur leurs écrans.

L'impact est toutefois différent. Le doomscrolling peut faire perdre quelques heures entre le dîner et le coucher et engendrer une vision pessimiste du monde, tandis que le doomprompting peut engendrer des dépenses importantes pour les organisations, les employés perdant beaucoup de temps et de ressources à essayer de perfectionner les résultats de l'IA.

Echanges interminables

Le problème des ajustements excessifs des systèmes informatiques ou du code n'est pas nouveau, mais l'IA présente ses propres défis, selon certains experts. Mais certains LLM semblent conçus pour encourager des boucles de conversation interminables, leurs réponses générant souvent un nouveau prompt.

Les IA comme ChatGPT suggèrent souvent la prochaine étape lorsqu'elles répondent à un prompt, note ainsi Brad Micklea, PDG et cofondateur de Jozu, une entreprise spécialisée dans le développement d'IA sécurisée. « Au mieux, cela vise à améliorer la réponse en fonction des informations limitées dont dispose ChatGPT ; au pire, cela vise à rendre l'utilisateur accro à ChatGPT, explique-t-il. L'utilisateur peut ignorer ces incitations, et il le devrait souvent, mais, comme pour le doomscrolling, c'est plus difficile que de capituler face à l'algorithme. »

Le problème est exacerbé dans une équipe IT, car de nombreux ingénieurs aiment expérimenter et aller au fond des choses, ajoute Carson Farmer, CTO et cofondateur de Recall, fournisseur de services de tests d'agents à base d'IA. « Lorsqu'un ingénieur sollicite une IA, il obtient assez rapidement une réponse assez satisfaisante, explique-t-il. Sauf qu'il se dit : "C'est plutôt bien ; mais je peux sûrement atteindre la perfection." Et on en arrive au point où l'on tombe dans l'erreur des coûts irrécupérables. » Le problème survient souvent lorsque le projet ne définit pas clairement ce qu'est un bon résultat, ajoute-t-il.

« Les employés qui ne comprennent pas vraiment l'objectif qu'ils visent et tournent en rond, ne sachant pas quand il faut simplement conclure ou s'arrêter, explique Carson Farmer. L'ennemi du bien est la perfection, et les LLM nous donnent l'impression qu'il suffit d'ajuster légèrement notre dernier prompt pour y parvenir. »

Agents et perfectionnisme de l'IT

PublicitéLes observateurs distinguent deux types de doomprompting. Le premier est associé aux interactions d'un individu avec un LLM ou un autre outil d'IA et peut se produire en ou durant les heures de bureau, lorsqu'un employé modifie sans cesse les résultats d'une IA, par exemple un e-mail, une ligne de code ou une recherche. Le deuxième type apparaît à mesure que les organisations déploient des agents d'IA, explique Jayesh Govindarajan, vice-président exécutif de l'IA chez Salesforce. Dans ce scénario, une équipe IT ajuste continuellement un agent pour trouver améliorer à la marge ses résultats.

À mesure que les agents d'IA deviennent plus sophistiqués, Jayesh Govindarajan constate une tentation pour les équipes informatiques de viser constamment l'amélioration des résultats. Même s'il reconnaît que trouver l'équilibre entre une saine méfiance envers les résultats fournis par l'IA et la nécessité de déclarer quelque chose suffisamment bon pour être exploitable reste difficile à trouver.

« Dans la première génération de services et systèmes d'IA générative, il existait un savoir-faire pour écrire le prompt approprié afin d'inciter le système à générer le résultat souhaité dans des contextes variés, explique Jayesh Govindarajan. Puis le mouvement agentique a commencé, et nous avons repris la même technologie que celle que nous utilisions pour rédiger des e-mails et l'avons placée sous stéroïdes pour orchestrer les actions. »

Les boucles infernales

Selon le responsable de Salesforce, certaines équipes informatiques se retrouvent bloquées dans des « boucles infernales » à mesure qu'elles ajoutent de plus en plus d'instructions aux agents pour affiner les résultats. Lorsque les organisations déploient plusieurs agents, les ajustements constants des résultats peuvent ralentir les déploiements et accaparer le temps des équipes, souligne Jayesh Govindarajan.

« L'idée même du doomprompting consiste à écrire une instruction en espérant qu'elle fonctionne de mieux en mieux au fur et à mesure que l'on la définit de plus en plus, quitte à ce que certains éléments se contredisent entre eux, ajoute-t-il. Ce processus se fait au détriment de l'intelligence du système. »

Un besoin d'objectifs clairs

Comme Jayesh Govindarajan, Carson Farmer de Recall perçoit une tension entre un scepticisme justifié à l'égard des résultats de l'IA et des ajustements sans fin. La solution au problème consiste à définir des attentes appropriées et à mettre en place des garde-fous en amont, explique-t-il, afin que les équipes IT puissent identifier le niveau à partir duquel les résultats peuvent être considérés comme satisfaisants.

Un cahier des charges solide pour le projet d'IA doit préciser à qui s'adresse le contenu, quels sont les objectifs du projet, les contraintes qu'il va rencontrer et à quoi ressemble la réussite, ajoute Brad Micklea de Jozu. « Si vous commencez à utiliser l'IA sans plan clair et sans bien préciser ce que signifie la complétion d'une tâche, vous risquez de vous laisser entraîner à suivre les suggestions de ChatGPT, explique-t-il. Il est important de garder à l'esprit que les suggestions de ChatGPT ne reposent pas sur une compréhension claire de vos objectifs finaux ; elles ne constituent qu'une étape logique parmi d'autres. »

L'équipe informatique de Carson Farmer a également pu expérimenter l'intérêt des approches utilisant plusieurs agents pour résoudre le même problème, une sorte de loi de survie du plus fort appliquée à l'IA. « Plutôt que de tenter de résoudre un problème par du doomprompting, laissez cinq agents s'en occuper, puis rapprochez leurs résultats et choisissez le meilleur, résume-t-il. « Le problème avec le doomprompting, c'est que cela coûte plus cher et fait perdre du temps. Si vous comptiez dépenser des tokens de toute façon, faites-le de manière à gagner du temps. »

Les équipes IT devraient traiter les agents d'IA comme des employés juniors, recommande le CTO et cofondateur de Recall. « Donnez-leur des objectifs et des contraintes clairs, laissez-les faire leur travail, puis revenez pour l'évaluer, dit-il. Il n'est pas souhaitable que les responsables de l'ingénierie soient impliqués à chaque étape, car cela conduit à des résultats sous-optimaux et au doomprompting. »