Projets

Kiloutou dynamise le traitement et l'analyse des données

Arnaud Maton, responsable du service Data Factory, urbanisation/APIsation & veille tech IT à la DSI de Kiloutou, a installé le datawarehouse en mode SaaS de Snowflake. (Crédit Photo : DR)

Le spécialiste de la location de matériel BTP et d'outillage était à la recherche d'une solution pour moderniser le traitement et l'analyse des données. Dans une optique de données orientées métiers, Kiloutou a choisi la solution Snowflake pour des performances immédiates.

Publicité« Âge de pierre, maux de crânes pour les métiers,... », les qualificatifs sur le traitement et l'analyse de la data au sein de Kiloutou sont sans équivoques. Arnaud Maton, responsable de la Data Factory au sein de l'enseigne de location de matériel BTP, évoque pourtant en ces termes l'existant. « Depuis le 2003 et la mise en place de l'ERP Locpro de Vega Systems dans nos agences, nous avons construit un Datawarehouse maison sur une base de données Oracle pour les besoins en reporting pour le commerce, la finance, la technique, ... Les alimentations se faisant par traitements d'export/import toutes les nuits .. le reporting corporate étant lui réalisé sur SAP - Business Object sur des données à J-1 », se rappelle le responsable. Une situation compliquée, au point que « le système devenait de plus en plus lent au fil du temps et les différentes directions métiers ont commencé à mettre en place leurs propres SI Data dans leurs services : SI Data Marketing, SI Data Finance, SI Data Technique, ..., reconnaît-il.

Sauf que ces dernières années, « les volumes de données ont explosé et que les outils utilisés par ces directions (excel, Access,...) devenaient très limités ». Fort de ce constat, Arnaud Maton a proposé de « changer de paradigme en proposant une approche SI orienté métiers, basé sur de l'agilité et disponible sur l'ensemble des terminaux notamment mobiles ».

Il était à la recherche d'une solution de data factory, avec un accompagnement des métiers sur la présentation des données en temps réel. Le responsable et son équipe se sont clairement orientés sur un service cloud. Cette démarche a été réalisée en partenariat avec deux directions métiers : le pricing et le contrôle de gestion. Ce dernier a été le cobaye pour un PoC mené en avril 2018 avec l'aide de Synergy, SSII experte en décisionnel, sur différentes offres cloud (SybaseIQ, Big Query de Google, Redshift d'AWS, Oracle). Un échantillon de 250 millions d'enregistrements utilisé pour la consolidation de résultats financiers, a servi pour le test. « Avec Oracle, le temps de traitement était de 48 minutes, en sachant que l'export des données prend entre 2 à 3 heures », rappelle Arnaud Maton.

Quelques secondes suffisent

« Avec Snowflake, le datawarehouse a été créé en 3 clics, l'import des données a mis 120 secondes. On a même cru qu'il y avait une erreur. Le traitement des données a été encore plus rapide, 46 secondes. Là encore, on a pensé que le système s'était trompé », constate le responsable Data Factory. Pourtant, « au départ, nous étions partis sur Big Query de Google, car nous avions déployé il y a quelques temps G Suite. Mais, cette solution implique de mobiliser des compétences en infrastructure cloud que nous n'avions pas », avoue-t-il. Le modèle SaaS, le caractère évolutif et la performance ont été les critères pour le choix de Snowflake. L'aspect financier s'est révélé non négligeable, « passer à Snowflake et Tableau coûte trois fois moins cher que la solution Oracle/BO ».

PublicitéCette vélocité a séduit les métiers au point que d'autres métiers toquent à la porte du responsable : « Nous étions partis sur une instance de taille XS (mode de taille de Snowflake) qui répondra à 90% des besoins, nous envisageons de basculer sur du S ou du M pour les données de pricing générant plusieurs millions de ces données par jour avec un traitement sur une base horaire ». Il voit aussi l'intérêt d'une telle solution pour de l'analyse prédictive, « des projets sur la maintenance prédictive et l'étude des prix devrait démarrer au début 2019 ». Par ailleurs sur le plan de l'architecture IT, le responsable regarde avec attention Snow Pipe pour améliorer l'ingestion des données.