Stratégie

Comment le Crédit Agricole encadre les risques cyber de l'IA

« Une banque, c'est une machine à générer des risques. Nous ne sommes donc pas en zone d'inconfort quand il s'agit d'identifier les risques liés aux nouvelles technologies », assure Aldrick Zappellini, directeur data & IA du Crédit Agricole. (Photo : ED)

Aldrick Zappellini, directeur data & IA du groupe Crédit Agricole, détaille comment l'IA et surtout la GenAI bouleversent la nature des risques cyber. Et livre quelques parades techniques mises en place par le groupe, y compris avec de l'IA, mais aussi ses approches organisationnelles pour maîtriser ces risques.

PublicitéÀ l'occasion de l'événement Future of software à Paris, le 10 décembre 2025, Aldrick Zappellini, directeur data & IA du groupe Crédit Agricole, a décrypté la façon dont l'IA transforme les risques cyber et les moyens dont son établissement s'équipe pour y faire face. « La banque est une industrie basée sur la confiance », rappelle-t-il. Et pas question de rompre cette confiance parce qu'un système d'IA a été corrompu par une cyberattaque et a fourni des réponses erronées à un client ou des informations divergentes d'un client à l'autre.

La cybersécurité des systèmes d'IA est donc une priorité. Pour preuve, par exemple, « les effectifs qui augmentent le plus dans le secteur bancaire aujourd'hui sont ceux liés à la lutte contre les attaques cyber, insiste Aldrick Zappellini. Et l'on parle ici d'un doublement, voire d'un triplement de ces effectifs ». Le directeur data & IA rappelle que la surface d'attaque offerte par l'IA est longtemps restée peu problématique, car la technologie n'était pas diffusée massivement. Mais il en va tout autrement depuis l'arrivée de la GenAI, « qu'elle soit directement embarquée dans les logiciels que nous utilisons ou que nous ayons choisi de l'exposer à un client ».

Une surface d'attaque bien plus importante

Le Crédit Agricole avait ainsi déjà mis en place des solutions de deep learning, par exemple pour traiter les justificatifs transmis par ses clients lors de certaines opérations. Et comme l'explique Aldrick Zappellini, l'entreprise était déjà vigilante aux risques cyber de ces déploiements. Mais avec la GenAI et son essor fulgurant, « cette vigilance est devenue une nécessité absolue, insiste-t-il. Nous investissons donc de manière très lourde, à la fois sur des compétences très pointues, mais aussi sur des outillages, des pratiques et des méthodes pour lutter contre les attaques ».

La surface d'attaque d'un système d'IA est beaucoup plus importante que celle d'un système logiciel classique, car les hackers peuvent cibler les ensembles d'apprentissage, les jeux de tests, les éléments vectorisés dans le RAG, etc. Certaines attaques déjà connues, comme la fraude au président, prennent qui plus est une tout autre ampleur avec cette technologie. « Avec une IA générative, vous pouvez recevoir un appel Whatsapp de votre DG plus vrai que nature, qui va vous expliquer être bloqué en Thaïlande, car vous savez qu'il est en vacances là-bas, raconte par exemple Aldrick Zappellini. Il va vous demander de réaliser la même action [transfert d'une somme d'argent importante, par exemple] qu'il aurait demandée par téléphone, mais à l'époque, sans le support visuel ni la contextualisation ». La défense contre ce dispositif reste possible, selon lui, puisqu'on n'envoie jamais une somme d'argent sans authentification à double facteur, mais la sophistication des attaques crée de l'incertitude.

PublicitéL'IA plus efficace pour alerter sur les anomalies de flux

Le directeur data & IA du Crédit Agricole évoque aussi la surveillance des flux entre les différentes infrastructures IT. « Jusqu'à récemment, nous avions un système de seuil, précise-t-il. À partir d'un certain volume de données transféré d'un système à l'autre, une alerte était déclenchée. Le problème de cette méthode, c'est qu'elle déclenche des alertes pour des flux tout à fait légitimes. Par ailleurs, il suffit aux hackers de rester un peu en dessous du seuil, ou d'exfiltrer discrètement les données par petites quantités, pour la contourner ». Dans ce cas, l'IA va par exemple servir à détecter une modification de la taille des paquets transmis ou un schéma atypique par rapport à un historique de flux similaires. « Elle peut lancer une alerte beaucoup plus pertinente qui n'aurait pas été déclenchée par le système de seuil, ou au contraire, lever une alerte déclenchée sur un transfert en réalité légitime », précise Aldrick Zappellini.

En ce qui concerne les compétences, il rappelle par ailleurs que, « pendant longtemps, au Crédit Agricole, les POC d'IA ont surtout concerné des data scientists, c'est-à-dire des populations qui n'avaient pas forcément les mêmes référentiels en matière de sécurité que des développeurs informatiques ». Donc pour passer à l'échelle avec l'IA, parfois sur des systèmes critiques, il estime qu'il faut certes se doter des bonnes compétences, mais aussi immerger les data scientists et experts de l'IA dans des équipes qui, elles, ont toutes les compétences nécessaires pour mettre les systèmes en production au standard de sécurité exigeant d'une grande banque. Et, pour le directeur data & IA, il est indispensable que les experts cyber, compétents sur les « aspects processés de la défense cyber » et les experts IA, au fait de l'état de l'art sur les nouvelles typologies d'attaques sur des systèmes d'IA de plus en plus complexes, s'alimentent mutuellement en continu de leurs connaissances et expertises.

Prévenir les exfiltrations de données

Le groupe Crédit Agricole a cartographié les risques associés à l'IA, pour en identifier 44. Les deux tiers environ sont techniques et la moitié de ces risques techniques sont liés à des attaques, en particulier associés à la GenAI. « On parle par exemple de prompt injection, via lequel on peut faire dérailler l'IA, ou d'exfiltration de données, qui s'appuie notamment sur la propension des LLM à mémoriser des pans entiers des échantillons d'apprentissage », précise Aldrick Zappellini.

Sur ce dernier sujet, le Crédit Agricole a justement publié les résultats d'un projet de recherche réalisé dans le cadre de sa chaire avec l'école Polytechnique sur l'IA de confiance et responsable. « Nous sommes capables d'identifier, à l'intérieur d'un échantillon qui sert à l'apprentissage, la part des données critiques que l'on ne souhaite pas que le LLM retienne, mais aussi d'intervenir directement sur ce sujet pour que le modèle ne les retienne effectivement pas en sortie d'apprentissage, explique Aldrick Zappellini. C'est assez sophistiqué, mais ce sont des systèmes défensifs dont on doit absolument se préoccuper, car ils permettent au moins de juguler les principaux risques susceptibles de survenir ».

Monitorer données d'entrée et résultats en sortie

Autre exemple de typologies de menaces sur lequel le groupe travaille : les attaques qui visent à altérer des systèmes documentaires basés sur du deep learning, en modifiant des informations dans les documents, par exemple. « En premier lieu, nous avons entraîné nativement le modèle à résister à des bruits présents dans les données envoyées lors de l'inférence, pour qu'il ne dérape pas complètement, et ne prenne pas un autobus pour une autruche, par exemple », plaisante Aldrick Zappellini, qui fait référence au hacking simple d'une IA qui la conduit à interpréter une image d'autobus comme celle d'un éléphant.

Par ailleurs, le Crédit Agricole monitore les données en entrée et les résultats en sortie. Si le volume d'entrée d'un modèle semble anormal ou s'il existe une distorsion inexplicable de la corrélation entre l'entrée et les résultats en sortie, cela peut déclencher une alerte : le modèle est potentiellement en train de se faire attaquer. « Et combiner ces deux techniques défensives est relativement simple, poursuit le directeur data & IA. Cela n'assure pas une résistance à 100% du modèle à toutes les attaques, mais au moins une résistance à 90% aux attaques les plus classiques ».

Enfin, sur la GenAI, avec des attaques liées aux prompts, le directeur data & IA conseille de commencer par placer en amont du modèle des systèmes de nettoyage des prompts qui retirent les caractères spéciaux ou les codes Ascii inhabituels ajoutés par les attaquants pour échapper à certains types de détection. « Il est également intéressant d'utiliser des techniques qui vérifient si certains prompts deviennent anormalement longs, ajoute Aldrick Zappellini, car la manipulation d'un modèle passe souvent par un prompt un peu 'tarabiscoté' qui a tendance à être plus long. »

Installer un réseau défensif complet

« Il n'existe pas de solution miracle, mais ce qu'il faut absolument mettre en place, c'est un réseau défensif, résume Aldrick Zappellini. En entrée, sur ce qui s'est passé avant de mettre le modèle en production, il faut mettre en oeuvre de l'entraînement adverse par exemple, que ce soit sur du deep learning ou des LLM. Je suis par ailleurs assez féru d'observabilité, car lorsqu'une attaque a eu lieu, il est assez rare qu'elle ne laisse vraiment aucune trace dans le système ». Pour le directeur data & IA, les systèmes d'observabilité doivent cependant être configurés pour ne pas engluer le système - surtout dans un groupe comme Crédit Agricole qui compte 53 millions de clients - et adossés aux environnements à protéger en priorité.

« Il ne faut pas oublier qu'une banque, c'est une machine à générer des risques, insiste Aldrick Zappellini. Nous ne sommes donc pas en zone d'inconfort quand il s'agit d'identifier les risques liés aux nouvelles technologies. Mais nous devons avoir une démarche d'arbitrage, c'est-à-dire avancer avec la technologie tout en maîtrisant les risques, car nous pourrions aussi ne nous focaliser que sur ce qui est risqué et finalement ne rien faire ».