CV/Mission de Développeur hadoop freelance

Exemple de missions de Joel,
Développeur hadoop habitant le Val-d'Oise (95)

Tech Lead Data Engineer
ARVAL BNP PARIBAS –
6/2023 - 12/2024
Objectif : Gestion des environnements ETL et Optimisation des flux etl dans une centaine de projets dans les
thématiques de leasing de véhicules tels que : Assurance, Maintenance, recouvrement de crédit et Titrisation de
contrats dans le Leasing.
Réalisation :
• Conception, développement et optimisation des architectures ETL complexes et robustes
• Participation au cadrage et au design des artefacts nécessaires à la mise en œuvre de programmes
de transition sur la plateforme ;
• Maintien des environnements de production opérationnels ;
• Mise en place des standards de qualité en matière de développement ;
• Gestion des incidents de production en coordonnant l’ensemble des équipes devant intervenir ;
• Mise en place des procédures à appliquer en cas de migration d’une entité externe à la plateforme
• Maintien de la documentation technique des projets à jour ;
• Identification des risques et anticipation des problèmes potentiels avec élaboration de solutions
préventives et curatives ;
• Gestion des jobs, des utilisateurs, des datasets de données.
• Création et gestion de scripts Shell pour l'automatisation des processus, y compris le lancement de
jobs, la gestion des datasets (copie, purge, suppression), et la création de nouveaux projets.
• Mise en place de processus automatisés pour la gestion des datasets, tels que la purge automatique
et le déploiement via des outils comme Jenkins
• Mise à jour des fichiers de conf pour l'optimisation et la gestion des threads/processus.
• Mise en place de scripts de déploiement de packages pour gérer les déploiements via Jenkins.
• Déploiement de patches de correction et mises à jour de versions.
• Mise en place de scripts SQL sur les métadonnées pour réaliser des audits en masse des flux de
données
• Encadrement et gestion d’une équipe de développeurs (onshore et off-shore) ;
• Faciliter le cadre de travail des développeurs en proposant un ensemble d’outils utiles qui simplifiera
les développements ;
• Organisation des séances de formation pour faire progresser les développeurs ;
Kafka, Datastage, Control M, Oracle 19c, Linux rehaut 7.9, MySQL,
Dbeaver, Trino, Salesforce, Jira, SQL Developer, nexus, Git, Jenkins, IBM Cloud.
Contexte de travail : Internationale (Royaume-Uni, Italie, France, Espagne, Inde)

Data Engineer à temps partiel
KWABI Consulting –
5/2022 - 6/2023
Objectif : Analyse des données des prix des matières premières (Café & Cacao) pour créer des tableaux de
bord et évaluer leur impact socio-économique sur le développement des pays producteurs.
Réalisation :
• Analyse et spécification des besoins fonctionnelles et techniques ;
• Rédaction des documents de spécification fonctionnels et techniques ;
• Design du datawarehouse de stockage des données extraites des marchées sur Snowflake ;
• Mise en place des différentes couches de stockage de la donnée notamment :
o Couche de stockage des données brutes
o Couche de stockage des données nettoyées pour les outils de data science
o Couche de stockage des données transformées pour les outils de reporting
• Mise en place des pipelines de traitement des données sur Talend Open Studio et DBT
• Mise en place de Dashboard de visualisation sur power BI et publication sur Power BI service ;
• Suivi des étapes de livraison dans les différents environnements ;
• Mise en place de procédure de tests automatisés et de tests de non régression.
: Snowflake, DBT, VScode, Talend, Jira, Git, Jenkins, Power BI, Power BI
Service.

Chef de Projet Migration
ARVAL BNP PARIBAS -
5/2022 - 6/2023
Objectif : Migration de pipeline ETL, et de données vers un nouvel environnement.
Réalisation :
• Optimisation des architectures ETL complexes existante
• Recrutement des développeurs ;
• Evaluation et chiffrage de ressources nécessaires pour un projet de migration ;
• Planification et coordination des différentes phases de migration ;
• Encadrement et gestion d’équipes de développeurs ;
• Répartition des tâches et suivi de l’avancement des travaux ;
• Organisation et mise en place des procédures de tests de non-régression ;
• Communication efficace avec les parties prenantes techniques et non techniques ;
• Collaboration interfonctionnelle pour assurer la réussite du projet
• Evaluation et Chiffrage du projet ;
• Coordination d’une équipe de 14 développeurs (DBA, Ingénieurs Système, Ingénieurs
d’ordonnancement et Développeurs ETL) ;
• Conception de cahiers de recette des projets migrés ;
• Coordination des actions de gestion des incidents techniques ;
• Pilotage et Suivi de l’évolution des travaux
• Conception de scripts Shell d’automatisation des exports et imports massifs des flux ETL ;
• Répartition des tâches et suivi de l’avancement des travaux ;
• Organisation et mise en place des procédures de tests de non régression ;
• Communication efficace avec les parties prenantes techniques et non techniques
Kafka, Datastage, Control M, Oracle 19c, Linux redhat 7.9, MySQL,
Beaver, Trino, Salesforce, Jira, SQL Developer, MS Project, nexus, Git, Jenkins.
Contexte de travail : Internationale (Royaume-Uni, Italie, France, Espagne, Inde)

Data Engineer
ARVAL BNP PARIBAS –
11/2021 - 5/2022
Objectif : Développement des flux etl dans les thématiques de leasing de véhicules notamment de l’Assurance,
Maintenance, recouvrement de crédit et Titrisation de contrats dans le Leasing de Véhicules.
Réalisation :
• Mise en place de processus ETL
• Conception de scripts SQL
• Conception de scripts Shell
• Ordonnancement des processus ETL
• Conception de cahiers de spécifications techniques et fonctionnelles
• Analyse de besoins métiers ;
• Conception, développement et optimisation des architectures ETL complexes et robustes ;
• Résolution des problèmes complexes et amélioration des performances des architectures ETL
existantes ;
• Mise en place de scripts Shell d’automatisation des traitements ;
• Rédaction de cahiers de spécifications techniques et fonctionnelles ;
• Rédaction des documents de conception technique ;
• Rédaction des cahiers de charges ;
• Mise au point et automatisation de tests unitaires et de tests d’intégration ;
• Déploiement du gestionnaire de charge et monitoring de la console d’opération ;
Datastage, Control M, Oracle 19c, Linux redhat 7.9, MySQL, Dbeaver,
Trino, Salesforce, Jira, SQL Developer, nexus, Git, Jenkins.
Contexte de travail : Internationale (Royaume-Uni, Italie, France, Espagne, Inde)

Consultant ETL
SNCF -
4/2019 - 10/2021
Objectif : Gestion du patrimoine ferroviaire de la SNCF, Suivi des mouvements financiers et opérations
financières de l’Agence Grand Paris (SNCF), Suivi de la planification et de la réalisation des travaux de maintenance
des voies ferrées
Réalisation :
• Mise en place de processus ETL
• Conception de scripts SQL
• Conception de scripts Shell
• Mise en place de tests unitaires et des tests d’intégration
• Ordonnancement des processus ETL
• Conception de cahiers de spécifications techniques et fonctionnelles
: Datastage, Oracle 12c, Linux AIX, VTOM, MySQL, Dbeaver, Jira, SQL
Developer, nexus, Git, Jenkins ;

Formateur Datastage
CY TECH (ex EISTI) -
4/2020 -
Objectif : Conception d’un système décisionnel en environnement BIG DATA
Réalisation :
• Formation des étudiants à l’utilisation de Datastage
• Assister les étudiants dans la pratique de Datastage
• Explication des concepts difficiles
• Conseils sur les bonnes pratiques de développement
Datastage 11.5, Oracle 11, Linux

Développeur Hadoop/Hive
NATIXIS -
9/2018 - 4/2019
Objectif : Conception d’un système décisionnel en environnement BIG DATA
Réalisation :
• Conception de tableaux de bord
• Conception d’un datawarehouse en environnement BIG DATA
• Conception de scripts d’alimentation de données en Hql
• Conception de scripts d’indexation de tables avec Indexima
• Conception de cahiers de spécifications techniques et fonctionnelles
Hive, Hadoop, Yarn, Linux, Indexima

Ingénieur Informaticien
Laboratoire de recherche en informatique -
1/2017 - 8/2018
Objectif : Mise au point d’un système d’analyse de données issues de réseaux de capteurs et stations
météorologiques pour la prévision de phénomènes naturels tels que les inondations
Réalisation :
• Modélisation de l’architecture du système
• Conception d’un module de collecte, d’analyse et de nettoyage des données
• Conception d’un module de correction des prévisions
• Conception d’un module d’extension des prévisions
• Conception de procédures de tests et des protocoles de déploiement du système
: Python, MySQL, Linux