Au seins de l’unité qui gère le datawarehouse centralisé de la société Candriam, j’ai participé à divers projets visant à implémenter des nouveaux Datamart ou à améliorer le code et la performance du datawarehouse et des datamarts existants :
• Conception d'un nouveau datamart Datamart (Forecast Reporting)
• Alimentation des datamart (Forecast Reporting, Client Reporting) depuis les fichiers sources (Mass Ingestion, ICS, IQD) vers l’ODS puis le DWH puis le Datamart
• Chiffrage et suivi de l’avancement et du consommé Azure Devops
• Participation au support de production
• Déploiements automatisés des traitements IDQ et SQL via Devops
Dans le cadre de la refonte d’une application gérant les risques liés à des écritures bancaires, aux seins de la cellule informatique globale, j’ai conçu et développé une application utilisée par les 24 pays ou la Société générale est présente.
Projet EMR (Ecritures Manuelles Risquées) :
• Conception d'un DWH et implémentation d'un Datamart.
• Développement de la solution cible (réécriture existant) évolutive, automatisée et robuste avec piste d’audit et logs
• Construction d’un cube SSAS avec une couche de sécurité a la ligne
• Participation à la construction des rapport Power BI
• Déploiement de l’application a plusieurs filiales hors Paris (Russie, Roumanie…) et intégration d’un nouveau périmètre (antifraude)
Continuation et finalisation de la construction du projet de DWH européen pour centraliser et suivre les Operations de Marche des institutions Européennes. Projet commencé avec la banque de France (expérience précédente) et finalisé au sein de la BCE avec les équipes de la BCE, de Deloyette et de DXC.
• Conception d’un DWH hybride (modèle à mi-chemin entre le modèle en Etoile et le modèle Data Vault)
• Implémentation de datamart et proposition et implémentation de solution de haute disponibilité des données (disponibilité des données même pendant les chargements Intra Day)
• Proposition et implémentation d’un package de protection des données (privilèges d’accès ou non à différents niveaux, user, table, colonne et ligne)
• Allégement du volume de données niveau datamart pour améliorer les performances
Dans le cadre de la refonte du système d’information et de la BI de Nespresso, J’ai participé avec les équipes en place au remplacement d’un ETL et d’une modélisation en Etoile devenus très complexes à maintenir et surtout à trouver des solutions à des Datamarts très peu per-formants en restitution
• Participation aux ateliers de refonte des KPI en collaboration avec le Business (CRM, RH, Supply Chain…)
• Modélisation en Datavault (Hub, Liens et Satellites) plus souple et plus facile à main-tenir que le DatawzerHouse (Dims et Faits) en place.
• Conception et développement de l’IDH, ETL ‘home made’, adapté à la modélisation Datavault et basé essentiellement sur les metaData (metadata des bases de données ainsi que les Metadata décrites par les utilisateurs depuis Excel en pseudo SQL.
• Conception et développement d’un Datamart issue des tables datavault, en PLSQL, se basant des tables de paramétrages décrivant les différents contextes de restitution
• Mise en place d’un Loader (scheduller) basé sur des chaines oracles et des Metadata en forme de réseau de neurones (sous formes de tables oracles) reliant les objets LUW (Logical Unit of Work) et définissant les ordres de lancement et les point de reprises en cas d’échec.
• Mise en place d’un environnement de monitoring et de Log.
Dans le cadre d’une migration d’outil (ODI vers Informatica) jumelée à une migration d’application locale (France) vers un environnement global (Europe), il s’agit de réécrire tous les process d’alimentation (reprise de l’historique en plus des nouvelles interfaces) avec l’outil Informatica.
• Comprendre l’existant : traitement sous ODI dans un environnement Local
• Comprendre l’architecture cible (model multidimensionnel avec une architecture en étoile)
• Reprendre l’historique des données avec des interfaces informatica
• Créer les nouvelles alimentations (depuis SAP, CRM, SIEBEL) avec des map-ping informatica
Développement et optimisation des ETL
Trois Data Marts permettant le suivi des contrats d’assurances et des ordres de placements financiers pour le compte du département comptable et du département marketing :
• Définition de la méthodologie d’harmonisation des ETL
• Optimisation des traitements (partitionnement oracle et Informatica, gestion de la mémoire, indexes)
• Organisation de réunions, points projets (évolutions) et suivi des évolutions
• Responsable de deux développeurs (estimation des travaux, suivi des taches, re-montée des informations)
DatawhareHouse permettant le suivi des de la qualité de service du transport courrier de la poste
• Participation à la conception de l’ODS, du DWH et d’un DataMart
• Participation à la rédaction des documents de conception générale et détaillée
• Développement des interfaces Powercenter pour l’alimentation de l’ODS, le DWH et le DM
• Optimisation des traitements (par...
Montée en compétence sur une application qui traite les données comptables afin de s’assurer de la conformité aux normes (IFRS et FENCH) et d’expliquer la nature de variations des soldes (économiques, structurelles, variations de normes..)
• Optimisation des traitements Talend Big Data en minimisant la redondance et le déplacement des données
• Récriture complète de certains traitements Talend Big Data et Talend Standard pour harmoniser le code et mutualiser les fonctions
• Harmonisation du datalake (contextes, Business View et Usage View)
• Modélisation et développement de la sécurité a la ligne sur le cube SSAS afin de garantir un accès sélectif selon les périmètres de travail et les entités.
Participation à la construction d’un projet de DWH européen centralisant les Operations de Marché pour la Banque Centrale Européenne
• Conception d’un DWH hybride (modèle à mi-chemin entre le modèle en Etoile et le modèle DataVault)
• Implémentation de datamart et de solution de haute disponibilité des données (disponibilité des données même pendant les chargements Intra Day)
Participation à la réécriture des traitements Informatica et Oracle dans le cadre d’une migration d’interface source (STOV7 vers MAPS) la plus importante pour le DWH centrale de la Banque De France
• Comprendre l’existant : traitement sous Informatica et PLSQL
• Réécriture du code et optimisations des traitements
• Tests de non régression