Refonte du socle décisionnel historique vers une plateforme orientée Big Data plus agile et plus innovante, au
sein de la BU/Data Factory Marketing du groupe OUI SNCF
• Analyse fonctionnelle et méthodologie
o Passage du Legacy BI (DataStage + Oracle) à une Data Platform hybride BI + Big Data (Kafka +
Spark + Hadoop + Talend Big Data Platform + PostgreSQL)
o Environnement Agile (SCRUM)
o Pair programming + code review
• Accompagnement dans la mise en place de la solution/architecture finale
o Accompagnement du PO dans l'établissement/mise à jour de la feuille de route en vue de
l'implémentation/validation du MVP cible
o Equipe responsable du choix/implémentation/évolution/challenge de la solution
o Estimation des réalisations
o Atelier de travail avec différents intervenants (Gouvernance, Qualité de données, Directeur de
projet, PO, Architecte, DBAs, Ops, Data Engineer, ...)
o Scoring de solutions concurrentes de stockage d’une Zone Gold (Master Data)
o Approche DevOps (CI/CD, …)
o Organisation de l’équipe Delivery
• Réalisation de POC avant MVP
o Installation de Talend Big Data Platform sur un environnement de POC
o Jobs Talend + Kafka, + HBase (Docker)
o Jobs Spark sous Talend + HDFS (format parquet + csv), + Delta Lake (format parquet)
o Veille IT (Snowflake, ...)
• Mise en place de l’architecture/MVP Talend Big Data Platform 7.2.1 sur Linux (On-Premise)
o Dimensionnement des machines hébergeant les modules Talend (cpu, ram, fs)
o Installation de la solution Talend Big Data Platform sur environnements DEV/RE7/PREPROD/PROD
(collaboration avec Architecte + Ops + DBAs)
§ TAC + base de données (redondée)
§ AMC + base de données (redondée)
§ Configuration JobServers en haute disponibilité (physiques + virtuels)
§ Configuration Git + Artifactory + LDAP + SMTP
§ Configuration librairies utilisateurs
§ Utilisateurs et rôles
§ Notifications
§ Licence
o Déploiement des jobs Talend sur les environnements cibles via l’API du metaServlet +
scheduling/plan d'exécution dans la TAC
o Aide à la rédaction du DAT
o Aide à l’industrialisation de l’installation automatique
o Validation de l’architecture par l’éditeur Talend (+ atelier de travail)
o Échange avec le support Talend
• Base de données et modélisation
o Dimensionnement des machines hébergeant les datawarehouses (cpu, ram, fs) + profondeur
d’historique exigée par le RGPD (collaboration avec DBAs)
o Scripts SQL de création des tables (structure, index)
o Étape de staging/ods
o Modélisation + implémentation d'un datawarehouse (3 datamarts en étoile) sous PostgreSQL
• Intégration de données
o Développement des flux Talend ETL/ELT, joblets, routines (sources base de données, HBase,
Delta Lake, json, api, csv)
o Alimentation du datawarehouse depuis la Zone Gold (HBase)
o Stratégie d’alimentation (full/delta/reprise de données)
o Scenarii de chargement de données en masse/mode BULK via l’utilitaire COPY (api java)
o Factorisation + parallélisation, optimisation du code
o Bonnes pratiques
o Aide à l'utilisation de l'outil Talend + accompagnement dans la montée en compétence
• Gestion et supervision de la plateforme Talend + datawarehouse
o Centralisation des logs techniques Talend vers ELK
o Centralisation des logs applicatifs des flux dans l’AMC
o Monitoring (métriques sous Grafana) + alerting
o Données météo des datawarehouses
• Aide à la recette métier + atelier qualité de données
• Documentation (wiki)
• Passage sur le Cloud AWS
o Atelier/workshop (hands-on) avec des experts
o Challenge de l'architecture On-Premise/Lift and shift/IaaS vs. PaaS
o Echange avec l'éditeur Talend sur le passage dans le Cloud
Modernisation d'un système d'information (intégration de données) afin de permettre la vente de nouveaux
produits FLEX
• Analyse :
o Analyse technico-fonctionnelle
o Évolution de modèle de données
• Intégration de données :
o Développement et évolution de tables, scripts, procédures stockées et fonctions SQL
o Développement et évolution de jobs et routines Talend, gestion des logs
o Intégration de différentes sources de données et formats (bases de données, api, fichiers plats
csv/xml)
o Intégration d’api de différents fournisseurs
o Optimisation des traitements Talend et requêtes SQL (parallélisation, index, mémoire)
o Déploiement sur les environnements de recette et production
o Suivi de production
o Analyse de logs sous Splunk
o Maintenance corrective et évolutive, corrections d’anomalies
o Assistance à l'utilisation de l'outil Talend
o Support aux utilisateurs
o Support à la recette
o Tests unitaires
o Tests de non régression
o Documentation technique et rétro-documentation
Modernisation d'un système d'information (intégration de données) afin de permettre la vente de nouveaux
produits FLEX
• Analyse :
o Analyse technico-fonctionnelle
o Évolution de modèle de données
• Intégration de données :
o Développement et évolution de tables, scripts, procédures stockées et fonctions SQL
o Développement et évolution de jobs et routines Talend, gestion des logs
o Intégration de différentes sources de données et formats (bases de données, api, fichiers plats
csv/xml)
o Intégration d’api de différents fournisseurs
o Optimisation des traitements Talend et requêtes SQL (parallélisation, index, mémoire)
o Déploiement sur les environnements de recette et production
o Suivi de production
o Analyse de logs sous Splunk
o Maintenance corrective et évolutive, corrections d’anomalies
o Assistance à l...
Modernisation d’un système d’information comptable et de gestion (+ passage dans le Cloud), dans le cadre de la
digitalisation du groupe, au sein de l’équipe Data de la DSI
• Analyse fonctionnelle
o Environnement multi-projets
o Analyse technico-fonctionnelle
o Évolution de différents modèles de données
o Reverse Engineering
o …
• BUILD
o Estimation/Chiffrage des réalisations
o Accompagnement dans l’ouverture des flux entre les Jobservers 7.1 On-Prem/Remote Engines
7.3 Cloud et les différents systèmes opérants, serveurs de bases de données, serveurs
FTP/SFTP/MFT, …
o Développement des flux Talend ETL/ELT (On-Prem et Cloud), joblets, routines (bases de
données, Excel, JSON, API, CSV, XML, …), gestion des contextes/projet de référence
o Intégration de données depuis/vers les systèmes sources/cibles vers/depuis les systèmes
opérants, Legacy, backoffices et partenaires (bases de données
PostgreSQL/MySQL/Oracle/Snowflake, Excel, CSV, XML, FTP/SFTP/MFT/bucket S3, …)
o Extraction Ad-hoc à la demande des utilisateurs Métier, MOA, Décideurs
o Interfaçage entre les systèmes opérants et le MDM des structures juridiques du groupe
o Interfaçage entre les systèmes opérants et la brique Finance de l’ERP Workday
o Intégration des données comptables des différentes filiales du groupe (Suisse, Belgique,
Allemagne, …) au format Core CSV vers la brique Finance de l’ERP Workday
o Intégration de données des annonces logement vers les buckets AWS S3, à destination des
utilisateurs du Marketing
o Génération d’un listing de parrainage de Gestion Locative, en vue de récompenser financièrement
un interlocuteur qui va parrainer un filleul propriétaire d’un logement (3 à 4 systèmes opérants)
o Génération des annonces Location et Transaction à destination du site ******** (format XML)
o Refonte / retranscription de scripts php d’intégration de données en job Talend (import/export de
de données immobilières depuis/vers un backoffice basé sous RDS/PostgreSQL)
o Refonte / retranscription de différentes applications historiques en job Talend
o Autonomie, adaptation, force de proposition, réactivité aux différents contextes fonctionnels
o Bonnes pratiques
o …
• RUN
o Maintenance Corrective et Evolutive des flux Talend (On-Prem et Cloud)
o Factorisation + parallélisation, optimisation du code
o …
• Aide à la recette Métier
• Accompagnement dans la migration Talend dans le Cloud (Move2Cloud)
o Ateliers Move2Cloud
o Participation aux bascules
o Accompagnement dans la recette Métier
o Formation à l’outil Talend Cloud/Gap Analysis entre la solution On-Prem et Cloud
(différences/nouveautés, TMC vs. TAC & Talend Studio)
o Migration de flux de la Data Fabric 7.1 On-Prem vers la version Cloud 7.3
o Refonte de jobs Talend de la Data Fabric 7.1 On-Prem vers la version Cloud 7.3
o Gestion des contextes (On-Prem vers Cloud)
o Passage de SVN vers GIT
o Tests de non régression
o …