Technologies

Ingénierie de contexte : fiabiliser l'IA au-delà des prompts

---

Si l'ingénierie de prompts reste essentielle, l'obtention de résultats cohérents avec l'IA exigera des équipes IT qu'elles mettent en place des processus d'ingestion de contexte. Il s'agit même d'un prérequis pour les formes évoluées d'IA agentique.

PublicitéLes organisations qui déploient l'IA se sont longtemps concentrées sur l'ingénierie de prompts pour obtenir de bons résultats. Cependant, une technique émergente, l'ingénierie de contexte, promet de rendre les outils encore plus précis et utiles, selon les experts.

Fournir un contexte aux modèles d'IA est un élément essentiel depuis les débuts de la GenAI, il y a environ trois ans. Mais l'éditeur Anthropic, développeur d'IA, a lancé un débat sur l'ingénierie de contexte avec un article de blog publié le 29 septembre dernier. Cet article explique pourquoi cette méthodologie est cruciale lors du déploiement d'agents d'IA, et certains experts la considèrent comme le prochain grand avantage concurrentiel à mesure que les organisations déploient des IA avancées.

Le contexte peut être vu comme l'ensemble des tokens utilisés avec les grands modèles de langage (LLM), explique l'équipe d'ingénierie d'Anthropic. Dès lors, « le problème d'ingénierie consiste à optimiser l'utilité de ces jetons en tenant compte des contraintes inhérentes aux LLM afin d'obtenir systématiquement le résultat souhaité, précisent les auteurs de l'article. La manipulation efficace des grands modèles de langage exige souvent une réflexion contextuelle, c'est-à-dire la prise en compte de l'état global du LLM à un instant donné et des comportements potentiels que cet état peut engendrer. »

Les agents nécessitent plus que de l'ingénierie de prompts

L'ingénierie de prompts, soit la rédaction de prompts efficaces, reste une pratique nécessaire, comme en témoignent les plus de 15 500 offres d'emploi de ce type recensées sur Indeed.com au 24 octobre. Cependant, l'ajout de contexte aux LLM, aux agents et autres outils d'IA deviendra tout aussi important à mesure que les organisations rechercheront des résultats plus précis ou spécialisés, selon les experts.

« Aux débuts de l'ingénierie autour des LLM, la rédaction de prompts constituait la principale composante du travail, car la plupart des cas d'utilisation, en dehors des interactions conversationnelles quotidiennes, nécessitaient des prompts optimisés pour des tâches de classification ou de génération de texte ponctuelles, explique Anthropic dans son post. Toutefois, à mesure que nous développons des agents plus performants, capables d'effectuer plusieurs inférences et de s'étendre sur des horizons temporels plus longs, nous avons besoin de stratégies pour gérer l'ensemble du contexte. » Ce contexte peut se présenter sous forme de documents, de fichiers en mémoire, d'instructions détaillées, de connaissances du domaine, d'historiques de messages et d'autres types de données.

PublicitéSelon Neeraj Abhyankar, vice-président data et IA chez R Systems, une société d'ingénierie de produits numériques, il est courant que les développeurs de modèles d'IA intègrent diverses sources d'information pour entraîner leurs outils et obtenir les meilleurs résultats. Il définit l'ingénierie de contexte comme une capacité stratégique qui remodèle la manière dont les systèmes d'IA interagissent avec l'entreprise. « Il s'agit moins d'infrastructure que de la façon dont les données, la gouvernance et la logique métier s'articulent pour permettre un comportement intelligent, fiable et scalable de l'IA », explique-t-il. L'ingénierie de contexte sera essentielle pour les agents autonomes chargés d'effectuer des tâches complexes au nom d'une organisation sans commettre d'erreur, ajoute-t-il.

Pour les environnements complexes et exigeants

L'ingénierie contextuelle permettra également aux petits modèles de langage (SLM) de devenir des experts dans des secteurs comme la santé et la finance, où la tolérance aux erreurs est très faible. Elle facilitera aussi l'entraînement des modèles d'IA chargés de réduire la dette technique liée aux défis spécifiques de l'infrastructure IT d'une organisation, ajoute Neeraj Abhyankar.

« Nous assistons à une évolution fondamentale dans la manière dont les entreprises conçoivent et déploient leurs systèmes d'IA, dit-il. Au début des expérimentations, l'ingénierie de prompt suffisait à orienter le comportement et le ton des modèles. Mais, à mesure que les organisations passent des projets pilotes aux déploiements en production, elles constatent que cette approche ne peut, à elle seule, garantir la précision, la capacité de mémorisation et la gouvernance nécessaires dans les environnements complexes. »

Le contexte, indispensable pour les agents autonomes

Neeraj Abhyankar prédit que dans les 12 à 18 prochains mois, l'ingénierie contextuelle passera du statut d'élément différenciateur à celui d'élément fondamental de l'infrastructure d'IA des entreprises. Il s'agit d'un « changement architectural » dans la conception des systèmes d'IA, selon Louis Landry, directeur technique de la société d'analyse de données Teradata. « Les premières IA génératives étaient stateless et se contentaient de gérer des interactions isolées pour lesquelles une ingénierie de prompts était suffisante, explique-t-il. Cependant, les agents autonomes sont fondamentalement différents. Ils persistent tout au long de multiples interactions, prennent des décisions séquentielles et fonctionnent avec différents niveaux de supervision humaine. »

Il suggère que les utilisateurs d'IA délaissent l'approche 'comment poser une question à cette IA ?', au profit de 'comment concevoir des systèmes qui fournissent en continu aux agents le contexte opérationnel adéquat ?' « On observe une évolution vers des architectures d'agents sensibles au contexte, notamment avec le passage d'agents concentrés sur une tâche simple à des systèmes d'agents autonomes capables de prendre des décisions, d'enchaîner des flux de travail complexes et de fonctionner indépendamment », ajoute Louis Landry.

L'essor de l'ingénierie contextuelle ne signera pas pour autant la fin de l'ingénierie de prompts, affirme Adnan Masood, architecte en chef pour l'IA chez UST, une entreprise spécialisée dans la transformation numérique. « Les prompts définissent l'intention ; le contexte apporte la conscience situationnelle, explique-t-il. Dans les applications d'entreprise, le retour sur investissement provient de l'ingénierie des informations, de la mémoire et des outils qui alimentent le budget attentionnel très limité du modèle - et ce, à chaque étape. »

Améliorer la fiabilité, limiter les dérives

Si une bonne ingénierie de prompts permet de définir clairement l'intention grâce à des instructions et un ton appropriés, elle est déjà reconnue comme un prérequis pour le succès des déploiements d'IA, affirme Adnan Masood. Et au-delà de la définition de cette intention, l'ingénierie de contexte permet de mieux appréhender la situation.

Ce virage vers l'ingénierie de contexte s'opère à mesure que les fournisseurs et utilisateurs d'IA délaissent la création de prompts intelligents au profit de pipelines de contexte reproductibles, ajoute-t-il. Des résultats d'IA précis et prévisibles permettent à la technologie de s'affranchir de la dépendance à un prompt bien conçu, précise-t-il. « Le goulet d'étranglement ne réside pas seulement dans la taille du modèle ; la capacité à assembler, gouverner et actualiser le contexte efficacement, en tenant compte des contraintes réelles, est une autre contrainte, souligne Adnan Masood. Concrètement, ce changement se traduit par une meilleure attribution des réponses, une moindre dérive lors de longues sessions et un comportement plus sûr grâce à des entrées dont la provenance est contrôlée. »

Les responsables IT doivent dès maintenant considérer le contexte comme une infrastructure, et non comme un simple fichier de prompts. Ils doivent standardiser un pipeline de contexte - incluant la curation, le traitement et la gestion des données - et s'attacher à créer des contrôles de confidentialité et des journaux d'audit afin de visualiser les éléments qui ont influencé chaque réponse de l'IA. « Allez au-delà des prompts et incitez vos équipes à réfléchir à la curation de ces données et enregistrements qui permettront d'améliorer et d'affiner vos modèles, résume l'architecte en chef pour l'IA d'UST. Investissez dans un cadre structuré. »

Choisir un socle solide pour démarrer

Selon Louis Landry de Teradata, les DSI doivent considérer l'ingénierie de contexte comme un problème d'infrastructure de connaissances, et non seulement comme un problème d'IA. « L'ingénierie de contexte exige une intégration de votre architecture de données, de vos systèmes de gestion des connaissances et de vos plateformes opérationnelles, note-t-il. Votre équipe IA ne peut pas résoudre ce problème seule. Une collaboration entre l'ingénierie des données, l'architecture d'entreprise, la sécurité et les personnes qui comprennent vos processus et votre stratégie est indispensable. »

Et de conseiller aux responsables informatiques d'identifier les processus pour lesquels ils disposent de données propres, de règles métier claires et de résultats mesurables, puis de bâtir leurs pratiques d'ingénierie de contexte sur ce socle. « Les responsables techniques qui considèrent l'ingénierie de contexte comme un projet d'IA ponctuel vont au-devant de difficultés, ajoute Louis Landry. Ceux qui la perçoivent comme une discipline d'infrastructure fondamentale, au même titre que la gestion des API ou la gouvernance des données, construiront des systèmes d'IA évolutifs qui gagneront la confiance de leur organisation. »

Article rédigé par

Grant Gross, CIO US (adapté par Reynald Fléchaux)

Partager cet article