#9679; Développeur confirmé sur Spark
● Développement des applications sous DataIKU, Spark, Scala, Hive
● Automatisation du processus de traitement des données (agrégation, normalisation,
vérification des données)
● Modélisation et développement du modèle entreprise de LBPA (Nouveau DataLake)
● Développement des scripts Bash de déploiement et automatisation des livraisons
● Analyser la faisabilité des demandes
● Réaliser des ateliers avec les fonctionnels et le métier
● Rédiger les spécifications techniques détaillées
● Corrections des incidents et anomalies sur les environnements hors Prod et Prod.
● Assurer du support à l’équipe de DEV
● Animer les daily meeting et la cérémonie de sprint review
● Développeur confirmé sur l'outil Apache Nifi
● Développement des flux Nifi
● Etudes de la migration des flux Tibco vers Nifi
● Analyser la faisabilité des demandes
● Réaliser des ateliers avec les fonctionnels et le métier
● Rédiger les spécifications techniques détaillées
● Mettre en place des processeurs (Process Group) réutilisables
● Assurer du support à l’équipe de DEV
● Développer sous Talend des jobs (ETL & ELT)
● Etudes de performance sur les DEVS en mode ETL et ELT
● Concevoir l'architecture des jobs ETL
● Participer à la réalisation des documents de conception (FSD, STD) des différents jobs
● Participer au chiffrage des projets
● Réaliser des ateliers avec les fonctionnels, le métier
● Analyser la faisabilité des demandes
● Analyser les anomalies de production en collaboration avec les différents acteurs du projet
● Rédiger les spécifications techniques détaillées
● Rédiger le cahier des Tests unitaires
● Gérer la version des livrables avec l’outil TortoiseSVN
● Mettre en place des modules réutilisables
● Assurer le support technique aux membres de l'équipe
● Préparation des livrables
Projet Agile Scrum
● Automatisation de la chaîne Data
● Alimentation du Datalake (HDFS)
● Création et calculs d’indicateurs
● Mise en qualité et préparation des données (Data Cleansing)
● Analyse de données et création de dashboard
● Participer à la réalisation des documents de conception (FSD, STD)
● Réaliser des ateliers avec les fonctionnels, le métier
● Analyser la faisabilité des demandes
● Développement d’une librairie Pyspark de Data Cleansing
● Rédiger et exécuter des tests
● Rédaction de spécifications techniques détaillées
● Assurer le support technique aux membres de l'équipe
Projet Agile Scrum
● Automatisation de la chaîne Data (ETL)
● Alimentation du Datalake (HDFS)
● Création d’indicateur de qualité de données
● Calculs d’indicateurs et règles de gestions
● Mise en qualité et préparation des données (Data Cleansing)
● Réaliser des ateliers avec les fonctionnels, le métier
● Ordonnancement des traitements
● Développement d’une librairie Pyspark de Data Cleansing
● Développement batch pour récupération de données depuis un Serveur FTP
● Rédiger et exécuter des tests
● Comprendre le besoin métier
● Analyse d’un CUBE SQL
● Participer à la réalisation des spécifications techniques
● Développements des jobs Alteryx
mi temps
● Alimentation du Datalake (HDFS)
● Gestion des flux de données (Apache Nifi)
● Développement de scripts de traitements de fichiers/données
● Développements des workflows (Informatica)
● Alimentation des tables HIVE
● Développements de SCRIPT
● Alimentation du Datalake (HDFS)
● Participer à des ateliers avec les fonctionnels