Technologies

6 raisons pour lesquelles les projets en matière d'IA échouent

Retrouvez cet article dans le CIO FOCUS n°173 !

36 conseils aux DSI pour réussir dans leur fonction

Nos confrères de CIO Etats-Unis récoltent régulièrement des conseils pour mener à bien les transformations des entreprises en évitant tous les pièges courants. Nous vous proposons ici de découvrir, adaptés en français, 36 conseils pour réussir dans votre rôle de DSI au XXIème siècle.

Découvrir

---

CIO Etats-Unis a listé six causes majeures d'échec dans les projets mettant en oeuvre l'intelligence artificielle. Les données sont à la base des principaux problèmes expliquant pourquoi les projets à base d'IA ne répondent pas aux attentes. Mais si vous pouvez apprendre de vos erreurs et vous engager sur le long terme, vos efforts en matière d'IA auront plus de chances de porter leurs fruits.

PublicitéIl y a dix-huit mois, Mr Cooper, un établissement de crédit hypothécaire, a lancé un système de recommandation intelligent à l'intention de ses agents du service clientèle afin de proposer des solutions aux problèmes des clients. La société, anciennement Nationstar, est le plus important fournisseur de prêts hypothécaires non bancaires aux États-Unis, avec 3,8 millions de clients. Le projet a donc été considéré comme une excellente source d'économies pour la société. Il a fallu neuf mois pour se rendre compte que les agents ne l'utilisaient pas, explique le CIO, Sridhar Sharma. Et il a fallu six mois supplémentaires pour comprendre pourquoi.

Selon Sridhar Sharma, les recommandations du système n'étaient pas pertinentes, mais le problème ne concernait pas les algorithmes d'apprentissage automatique. Au lieu de cela, la société s'était appuyée sur des données de formation basées sur des descriptions techniques des problèmes de clients plutôt que sur la façon dont les clients les décrivaient dans leurs propres mots. « Nous n'avons pas fait du bon travail pour nous assurer que la racine de la question posée par le client était bien capturée dans les termes que le client utilisait », a-t-il expliqué. « Cette racine a été codée selon les termes techniques que nous utilisions en interne. » En outre, le mécanisme de rétroaction du système, dans lequel les agents enregistraient les résultats des appels, comportait des catégories qui se chevauchaient, ce qui aggravait encore le problème, explique Sridhar Sharma, qui a refusé de dire combien le projet avait coûté à la société.

L'incursion troublée de Mr Cooper dans l'IA n'est pas anormale. Selon un récent sondage d'IDC, environ 30% seulement des entreprises ont déclaré un taux de réussite d'au moins 90% pour les projets d'IA. La plupart ont signalé des taux d'échec allant de 10 à 49%, tandis que 3% ont déclaré que plus de la moitié de leurs projets d'IA avaient échoué. Plus du quart des répondants ont indiqué que le manque de personnel et les attentes irréalistes à l'égard de la technologie constituaient des défis majeurs. Pour 23%, leurs projets d'intelligence artificielle avaient échoué en raison du manque de données nécessaires. « Au premier signe d'échec, la tentation est d'arrêter définitivement le projet », explique Sridhar Sharma. « Mais si vous faites cela, vous êtes condamné. »

Mr Cooper reviendra au projet de service à la clientèle l'année prochaine dans le cadre d'une refonte de son système de gestion de la relation client (CRM) et la société reste attachée à l'IA. Son dernier projet d'apprentissage machine, qui consiste à analyser des données non structurées, présente déjà un bénéfice positif et contribue à créer de meilleures données de formation linguistique pour l'avenir.
« Ces apprentissages ne sont pas bon marché », a-t-il déclaré, ajoutant qu'il s'assurait d'avoir le soutien du PDG et du directeur financier lorsque les choses ne se passaient pas bien.

Publicité1 - Une pénurie de données

Des problèmes concernant les données sont parmi les principales raisons pour lesquelles les projets d'IA ne répondent pas aux attentes. Selon un rapport publié par McKinsey l'automne dernier, deux des plus grands défis qui limitent l'application de la technologie de l'IA ont trait aux données.

Tout d'abord, à l'instar de Mr Cooper, de nombreuses entreprises ont du mal à obtenir des données correctement étiquetées pour former leurs algorithmes d'apprentissage automatique. Si les données ne sont pas correctement catégorisées, les humains doivent prendre le temps de les étiqueter, ce qui peut retarder les projets ou leur faire échouer. Le deuxième problème de données est de ne pas avoir les bonnes données pour le projet. « Les entreprises ne disposent souvent pas des bonnes données et sont frustrées lorsqu'elles ne peuvent pas créer de modèles avec des données non étiquetées », déclare Anand Rao, directeur associé responsable mondial de la thématique IA chez PricewaterhouseCoopers. « C'est là que les entreprises échouent systématiquement. »

L'organisation environnementale américaine sans but lucratif National Audubon Society (NAS) utilise l'intelligence artificielle pour protéger les oiseaux sauvages. Par exemple, en juillet, l'organisation a publié les résultats d'une analyse avec IA sur l'impact du changement climatique sur 38 espèces d'oiseaux des prairies. « Si nous ne faisons rien pour ralentir le rythme des changements climatiques, 42% de ces espèces d'oiseaux des prairies seront considérées comme extrêmement vulnérables », a déclaré Chad Wilsey, vice-président des sciences de la conservation de l'organisation. « Mais si nous pouvons agir, nous pouvons également réduire la vulnérabilité à seulement 8%. » Tous les projets d'IA de NAS n'ont pas eu le même succès. L'été dernier, l'organisation a tenté d'utiliser de l'apprentissage machine pour compter le nombre de pélicans bruns et de becs-en-ciseaux noirs (rynchops niger, sortes de sternes) sur les plages. Le projet pilote reposait sur un ensemble d'images rassemblées par un volontaire qui avait piloté un drone au-dessus d'une île au large des côtes du Texas. « Nous voulions comprendre comment l'ouragan qui avait traversé cet emplacement avait eu un impact sur les populations d'oiseaux », a déclaré Chad Wilsey. Il a fallu 2 000 images étiquetées de pélicans bruns avant que la précision du système ne soit suffisante pour répondre à leurs besoins, dit-il. Mais il n'y avait pas assez d'images de becs-en-ciseaux noir. « Pour d'autres applications de reconnaissance visuelle par ordinateur, vous pourriez peut-être utiliser quelque chose qui est disponible sur Internet », soupire-t-il. « Mais dans notre cas, les images des oiseaux sont très spécifiques. » Par exemple, la plupart des photos d'oiseaux disponibles sont prises par des personnes se trouvant au niveau du sol, au lieu de prises de vue par des drones. Et comme il s'agissait d'une étude pilote, la NAS n'avait pas les ressources nécessaires pour revenir en arrière et prendre plus de photos, explique Chad Wilsey.

2 - Biais de données de formation

Un autre exemple de projet d'intelligence artificielle gêné par le manque de données est la tentative du laboratoire de Fritz de créer un modèle pour identifier les cheveux dans les images prises par les personnes. Fritz aide les développeurs mobiles à créer des modèles d'intelligence artificielle pouvant s'exécuter directement sur les téléphones, sans avoir à renvoyer de données à un serveur central pour traitement. « Nous voulions créer une fonctionnalité permettant de détecter les cheveux dans la vidéo en direct et de changer de couleur en temps réel », déclare Jameson Toole, CTO de la société.

Tout semblait bien au début, dit-il, mais l'algorithme présentait un défaut important qui aurait été extrêmement problématique si le système avait été publié. « Heureusement, nous faisons beaucoup de tests manuels, au bureau, entre nous et avec les personnes que nous recrutons, et nous avons réalisé que cela ne fonctionnait pas bien pour certaines ethnies », a déclaré Jameson Toole. « Nous sommes revenus à l'ensemble de données et, bien entendu, il n'y avait personne dans l'ensemble de données qui faisait partie de ces groupes. » De nombreux jeux de données d'images disponibles pour la formation sont gratuits ou commerciaux, dit-il. Mais les entreprises doivent vérifier qu'elles disposent du nombre de données dont elles ont besoin. « Cela commence par prendre du temps et par l'effort de créer votre propre ensemble de tests élémentaires représentatifs de votre base d'utilisateurs », déclare-t-il.

Fritz Labs a fini par collecter les images manquantes et les annoter manuellement. « Cela a certainement mis en évidence le fait qu'il n'est pas difficile d'introduire un biais dans des systèmes tels que celui-ci lorsque les données dont vous disposez sont limitées », ajoute Jameson Toole. Selon une récente enquête de PricewaterhouseCoopers, plus de la moitié des entreprises ne disposent pas d'un processus formel d'évaluation des biais des IA. Pire encore, seulement 25% des personnes interrogées ont déclaré qu'elles donneraient la priorité aux implications éthiques d'une solution d'IA avant de la mettre en oeuvre.

3 - Problèmes d'intégration de données

Parfois, le problème n'est pas lié au manque de données, mais à un trop grand nombre d'endroits. C'était le cas dans une banque présente mondialement, selon le directeur général qui dirige l'IA et les données pour le secteur de la vente au détail de l'organisation, et qui n'était pas autorisé à prendre la parole. S'il pouvait remonter dans le temps, dit-il, la banque aurait commencé à rassembler plus tôt différents canaux de données. « C'est quelque chose que nous n'avons pas fait et c'était une grosse erreur », avoue-t-il. « Nous avions des données silotées et la conséquence était que nous n'avions pas une vue complètement à 360 degrés des clients. »

Ce problème d'intégration des données a nui à la capacité de la banque à créer des messages marketing efficaces, ce qui a entraîné une perte de chiffre d'affaires, ajoutant que la banque s'orientait maintenant vers une vue multicanale des données des clients, notamment des interactions en ligne, mobiles et en personne. « Nous n'en sommes toujours pas là », soupire-t-il. « Les données en silo constituent l'un des plus grands défis que nous ayons rencontrés. » Le défi n'est pas tant technique, selon lui, mais un problème commercial dont le premier problème est la conformité et la réglementation. « Il existe certains types de données que nous ne sommes pas autorisés à mélanger. » L'autre problème concerne les priorités de l'entreprise. « Il y a tellement d'autres projets en cours. Et qui va payer pour la constitution des données? Ce n'est pas en soi une valeur ajoutée pour la banque », a-t-il déclaré, ajoutant que c'était un défi pour chaque banque doit traiter avec.
S'il devait le refaire, il aurait entamé le processus d'intégration des données lorsque la banque a commencé à travailler sur ses cas d'utilisation de l'IA. « Je ne pense pas que ce sera jamais complètement terminé, car il y a beaucoup de sources de données », juge-t-il. « Je ne pense pas qu'aucune entreprise ait achevé. » Selon lui, la banque s'attend à ce que ses principales sources de données soient connectées d'ici 18 à 24 mois. Actuellement, dit-il, la banque n'est qu'à environ 10 à 15% du trajet.

4 - La « dérive » des données

Un autre problème pour les projets d'intelligence artificielle concerne le moment où les entreprises s'appuient sur des données historiques au lieu de données transactionnelles actives pour leurs ensembles de formation. Dans de nombreux cas, les systèmes formés sur un seul instantané statique historiquene donnent pas de bons résultats lors de la transition vers des données en temps réel, explique Andreas Braun, directeur général d'Accenture. « Vous téléchargez des données, formez le modèle et bénéficiez d'une très bonne remontée du modèle en laboratoire », a déclaré Andreas Braun, responsable des activités de données et d'intelligence artificielle d'Accenture en Europe. « Mais une fois que vous mettez votre outil en production dans l'organisation, les problèmes commencent. »

Il peut y avoir une différence significative entre les échantillons de données historiques et les données provenant d'un système réel pour, par exemple, détecter une fraude en temps réel ou détecter le blanchiment d'argent, car les modèles ne sont pas formés pour détecter les petits changements de comportement. « Si vous copiez vos données à un moment donné, peut-être la nuit, ou le samedi ou le dimanche, la situation est figée », a-t-il déclaré. « Cela facilite grandement l'analyse en laboratoire. Mais lorsque les modèles d'apprentissage automatique sont réintégrés dans le système réel, ils sont bien pires. » La solution, selon Andreas Braun, consiste à intégrer les data scientists dans l'équipe de production informatique. En particulier, lorsque les modèles sont construits à l'aide de données en temps réel, leur intégration dans les environnements de production est beaucoup plus rapide. « Et les succès sont bien meilleurs », ajoute-t-il.

5 - Données non structurées et non modifiées

Selon un récent sondage de Deloitte Consulting, 62% des entreprises utilisent encore des feuilles de calcul et seulement 18% ont tiré parti de données non structurées telles que des images de produit, des fichiers audio de clients ou des commentaires de médias sociaux dans leurs efforts d'analyse. En outre, de nombreuses données historiques collectées par les entreprises manquent du contexte nécessaire pour être utiles à l'intelligence artificielle ou sont stockées sous forme de résumé, explique Ben Stiller, responsable des stratégies et des analyses pour les produits grand public et grand public chez Deloitte Consulting.

« Les limitations des données peuvent certainement entraîner l'échec d'un projet dès le début », affirme-t-il. Toutefois, les entreprises qui exploitent des données non structurées, comme le fait Mr Cooper, sont 24% plus susceptibles d'avoir dépassé leurs objectifs commerciaux, selon l'enquête. « Cela nécessite vraiment un changement fondamental dans la manière dont vous envisagez les données », juge Ben Stiller. Mr Cooper, par exemple, dispose de beaucoup de données non structurées sous la forme d'environ 1,5 milliard de ocuments clients. En conséquence, les agents du service clientèle passent trop de temps à rouver les documents dont ils ont besoin pour aider les clients et doivent parfois les rappeler.

L'entreprise a donc numérisé 1,5 milliard de documents à l'aide de la technologie d'apprentissage automatique et a analysé de près le premier ensemble de 150 millions de documents appartenant aux 200 types les plus utilisés.

« Nous avons maintenant un projet d'apprentissage automatique qui apporte de la valeur et qui est en production aujourd'hui », explique Sridhar Sharma, de Mr Cooper. En plus de rendre les appels au service client plus rapides, l'analyse de documents aide également à créer un meilleur dictionnaire de langue pour une utilisation future, lorsque la société reviendra à son projet de service à la clientèle d'intelligence artificielle précédemment troublé.

6 - Défis culturels

Au-delà des données, les problèmes organisationnels présentent des défis importants pour le succès de l'IA. Par exemple, s'il revenait dans le passé, Sridhar Sharma affirme qu'il aurait commencé par se concentrer sur le langage utilisé par les clients pour décrire leurs problèmes - et en associant des experts en la matière à des développeurs en intelligence artificielle. « Nous devons réunir des équipes métiers avec nos équipes technologiques afin que le contexte soit toujours au premier plan », explique Sridhar Sharma. « Vous devez les faire s'asseoir ensemble et en faire un travail à temps plein. »

Et à moins que vous ne puissiez tirer des leçons de telles erreurs, vos chances de concrétiser votre promesse d'IA risquent de diminuer, car les projets en échec peuvent gêner les décideurs en financement et avoir un impact négatif sur la satisfaction des employés et des clients. « Les premiers projets échoués autour de l'IA peuvent empêcher une équipe de direction d'investir davantage dans le sujet », explique Ben Stiller. Cela peut amener les entreprises à prendre du retard par rapport à la concurrence.

Et tout commence par le haut. Comme le montre l'enquête de Deloitte, l'engagement des cadres supérieurs pour les projets d'IA est essentiel. « Si le PDG le sponsorise, vous avez 77% plus de chances de dépasser vos objectifs commerciaux », a déclaré Ben Stiller. Par conséquent, ne laissez pas un revers contrarier l'engagement de votre organisation envers l'IA, car une approche à long terme de l'IA rapportera ses fruits, affirme-t-il. « Plus vous faites de projets au fil du temps, plus le retour sur investissement continuera de s'améliorer. »

Maria Korolov / CIO (traduction et adaptation : Bertrand Lemaire)

Article rédigé par

La rédaction de CIO Etats-Unis,
Suivez l'auteur sur Google+, Linked In, Twitter

Partager cet article