Projets

Biotopia agilise la production de données sur le marché du Bio

---

Pour traiter aisément et rapidement des données de marché volumineuses et complexes, Biotopia a eu recours à Indexima et Tableau.

PublicitéLe marché du Bio repose sur des acteurs souvent différents de l'alimentaire général, tant au niveau de la transformation que de la distribution via des magasins spécialisés. L'existence de chiffres sur ce secteur reste une nécessité pour les études marketing des acteurs mais, du fait des particularités du marché, la production de ces chiffres est elle aussi particulière. C'est l'un des rôles de la société de conseils Biotopia. [Note : La société de conseils Biotopia ne doit pas être confondue avec le parc de loisirs vendéen du même nom.] Or les volumes concernés nécessitaient un recours à des outils nettement plus performants. Les délais nécessaires à la production de certains rapports étaient tels qu'il était, dans les faits, impossible de produire des études à la demande.

Historiquement, Biotopia a commencé son activité par un site d'information B2C sur le Bio. Puis elle a mis en place des enquêtes d'évaluations de produits Bios par des consommateurs, sur l'initiative de leurs producteurs, mais sanctionnées par un label d'usage gratuit : quelque soit le résultat du test, la rémunération de Biotopia est donc la même. La firme a également développé une application mobile de promotion par couponning indépendant des distributeurs, entre les seules mains des transformateurs. Enfin, Biotopia développe une activité autour de la data en matière de connaissance du marché du Bio.

Des données de référence

La première activité data concerne la codification des produits et la création de bases de données de référence. Chaque transformateur créé en effet des fiches produits pour chaque référence. Mais les distributeurs ont tous besoin de fichiers structurés. Biotopia agrège donc les fiches produits pour fabriquer ces fichiers structurés, chaque référence correspondant à un code EAN unique. Comme à chaque code EAN correspond un produit unique avec des descripteurs standardisés, il est possible d'effectuer des études statistiques en se basant sur ce code EAN.

Les études de marché se basent sur deux panels. Le premier est opérationnel : il s'agit des consommateurs. Ceux-ci peuvent utiliser une app dédiée : ils scannent le code-barre (donc le code EAN), photographient le ticket de caisse et renseignent des informations complémentaires (prix, magasin, date...) pour gagner des bonus. « Lancé en 2016, ce panel est toujours actif et permet de remonter 30 000 relevés par semaine » précise Alexandre Fantuz-Lemoine, directeur Marketing et Commercial de Biotopia. Le second panel est celui des distributeurs. Il s'agit d'analyser les « sorties de caisse ». Mais les distributeurs attendent d'être suffisamment nombreux à contribuer pour autoriser un traitement réel. Alexandre Fantuz-Lemoine explique : « il faudra que les données de tel ou tel distributeur soient noyées dans l'ensemble. Chaque distributeur pourra alors comparer ses propres sorties de caisse à l'ensemble du marché sans que ses concurrents puissent en déduire son activité. » Dire publiquement que tel produit se vend plus ou moins bien chez Biocoop ou Naturalia pourrait être gênant. Les clients de ces études sont à la fois les transformateurs et les distributeurs.

PublicitéDes données lourdes à traiter

Une ligne dans le fichier, c'est une ligne sur le ticket de caisse. Et chaque ligne peut contenir une trentaine de colonnes (tel magasin, telle date, telle caractéristique du produit...) qui sont autant d'informations à étudier. Le stockage des informations s'opère dans une base MySQL mais, en cas de modification, des modifications en cascades devaient s'opérer. Appelée « reset de base de données » par Alexandre Fantuz-Lemoine, une telle opération pouvait durer 24 heures durant lesquelles les services data de Biotopia étaient inaccessibles.

De la même façon, certains requêtages SQL pouvaient nécessiter trois heures de traitement. Il en résultait que seuls des rapports-types étaient générés, aucune étude à la demande ne pouvant raisonnablement être faite. La visualisation était opérée grâce à des outils développés en interne à partir de briques open-source. Cette situation n'était évidemment pas satisfaisante. Plusieurs solutions ont alors été étudiées. Mais des hypercubes classiques se sont révélés beaucoup trop chers et complexes à mettre en oeuvre.

Indexation et visualisation

C'est donc le duo Indexima-Tableau qui a été choisi. Le projet a démarré en septembre 2018, financé sur fonds propres, et est entré en production en janvier 2019. Indexima est un moteur d'indexation de données qui vient s'ajouter au stockage sous MySQL. Recommandée par les équipes d'Indexima, la visualisation de Tableau Software a remplacé les outils précédents, ajoutant une dimension de data discovery. Alexandre Fantuz-Lemoine se réjouit : « il n'y a plus lieu de réaliser des resets de bases et une requête de type les achats de tel produit sur trois ans ne prend plus que 15 minutes au lieu de deux jours. »

Le coût d'Indexima est d'environ dix mille euros par serveur, deux serveurs étant nécessaires (un actif et un back-up). Un troisième serveur sera sans doute ajouté lors de la mise en production du panel distributeurs. Tableau a coûté un montant similaire. L'intégration a été opérée en interne avec le soutien d'Indexima, inclus dans le coût de la licence. Biotopia a donc pu mener un projet pour un coût très raisonnable et qui a pu rendre agile son activité.

Article rédigé par

Bertrand Lemaire, Rédacteur en chef de CIO

Partager cet article