CV/Mission de Concepteur développeur datastage freelance

Exemple de missions de Hassen,
Concepteur développeur datastage habitant le Val-de-Marne (94)

• Data Engineer – Architecte Technique Big Data

  Centre de services NODYA GROUP
  Jan 2020 - Jan 2020

   Prise en main et maitrise des outils Big Data sur Google Cloud
  Plateform (formations en ligne)
   Etude et mise en place d’un environnement de formation Big
  Data
   Rédaction de scénarios de formations sur un environnement Big
  Data : HDFS, Hive, Yarn, Spark, Kafka, Sqoop, Pig, Oozie …
   Etude et proposition d’une architecture commune de l’infrastructure des filiales du groupe Nodya (Aydon, Digglerz, Consultake,
  …)

  Environnement Docker, Docker-compose, Cloudera, GitLab, Word, Excel, PowerPoint, BigQuery, BigTable, DataFlow, Cloud Data Fusion

• SOCIETE GENERALE ASSURANCES (SOGECAP-ASSU)
  Jan 2019 - Jan 2020

  Dans le cadre d’une migration de projets ASSU d’une plateforme IBM BigInsight vers une nouvelle plateforme sous Hortonworks (HDP 2.6) :
   Etude de solutions techniques offertes par la nouvelle plateforme
   Adaptation des anciens traitements (Shell, Hql, Java Spark) aux
  normes de la nouvelle plateforme
   Test et validation des traitements sur l’environnement de développement HDP 2.6
   Développement des Workflows Oozie pour l’ordonnancement des
  traitements sur la nouvelle plateforme
   Livraison des traitements vers les environnements Intégration,
  Homologation et Production
   Tuning et optimisation de traitements Hive et Spark en Production
   Amélioration et stabilisation du plan d’ordonnancement Oozie en
  Production
   Accompagnement des équipes projets et Datascientistes pour la
  prise en main de nouvel environnement
  
  Architecte Technique
  Big Data (Nodya Group)
  Dans le cadre d’un nouveau projet de collecte des données télématiques :
   Etude et cadrage du projet avec les parties prenantes (Datascientistes, Métiers)
   Mise en place de l’architecture du projet plateforme télématique
   Rédaction de spécifications techniques
   Accompagnement d’un data engineer junior pour la réalisation
  des traitements de collecte de données et leur mise à disposition
  aux Datascientistes.

  Environnement Hadoop (Hortonworks), Hive, Spark Java, Hbase, Jira, Git, Maven, Hue, Yarn, Word, Excel, Oozie

• Data Engineer – Techlead Big Data

  Centre de services NODYA GROUP
  Jan 2019 - Jan 2019

   Contribution aux études et réponses aux appels d’offre de services Big Data
   Participation aux soutenances et présentation avant-vente
   Contribution aux projets internes du groupe Nodya
   Autoformation

  Environnement Docker, Hortonworks, GitLab, Word, Excel, Powerpoint

• SOCIETE GENERALE : CCBD (Centre de Compétences Big Data)
  Jan 2016 - Jan 2019

  Au sein d’une équipe Big Data dédié aux projets Cash Management :
   Assurer le rôle du réfèrent technique Talend et Administration
  Hadoop
   Contribution à la mise en place de l’architecture de nouveaux
  projets : Contrôle de conformité et pilotage de l’activité commerciales Cash Management
   Développer des traitements de collecte de données, ingestion de
  données et générations de vues métier
   Accompagner l’équipe projet pour la prise en main des traitements Big Data
  
  Data Engineer – Techlead Big Data
  
  Au sein d’un centre de compétences Big Data :
   Animer des mini-meetup Big Data pour partager les connaissances entre les collaborateurs du CCBD et Hors CCBD.
   Développer des traitements Spark Scala pour un projet de collecte et contrôle des données réglementaires (TOMFIR)
   Assurer le rôle d’administrateur Hadoop sur une plate-forme
  HDP 2.6 en DEV
   Contribuer à des projets d’amélioration et migration des outils
  Big Data au sein des équipes Socle Big Data à la Société Générale.
   Assurer le rôle de pilote sur un projet de mise en place d’un nouvel environnement Talend Big Data
   Assurer le rôle du réfèrent technique pour la plateforme Talend
  Big Data
   Mise en place de bonnes pratiques de développement et déploiement de traitements Talend
   Pilotage de la migration du plateforme Talend Big Data de la
  version 5.6 à la 6.2 puis la 6.4 sur l’ensemble des environnements (DEV, Intégration, Homologation et PROD)
   Réalisation et optimisation de traitements Talend DI et Big Data
  en ETL et ELT (selon les besoins projets)
   Contribution à des projets socle Big Data : migration hadoop, sécurisation et normalisation des environnements de DEV, développement des outils génériques réutilisables par tous les développeurs CCBD
   Accompagner des équipes hors CCBD sur toutes les phases d’un
  projet en interaction avec le datalake CCBD (Architecture, choix
  des outils, développement, industrialisation …)
   Réalisation des POC :
  o Techniques : pour tester la capacité d’un outil à répondre
  à un besoin métier (tester les fonctionnalités Talend
  d’anonymisation de données pour le projet GDPR « general data protection regulation »)
  o Projet : développement d’un mini projet se basant sur un
  échantillon de données pour générer un rapport répondant
  à un besoin métier
   Mise en place d’un playbook ansible pour installer les différents
  composants de la plateforme Talend Big Data (TAC, Jobserver,
  Cmdline, Talend Data Preparation …)
   Contribution à des ateliers pour la mise en place d’une solution
  Data Management pour les données du datalake CCBD
   Aider les nouveaux arrivants du CCBD à bien monter en compétences et à l’application des normes de développement.

  Environnement Hadoop (Hortonworks), Hive, Spark, Hbase, Talend, Kerberos, Jira, Git, Ambari, Hue, Yarn, Word, Excel, Quality Center, Control M

• Ingénieur d’étude et développement Datastage

  SOCIETE GENERALE
  Jan 2012 - Jan 2016

  Dans le cadre de la fin du mode projet et le passage en mode maintenance évolutive de l’application AMD :
   Assurer la stabilité du plan de production AMD
   Assurer la bonne alimentation du datamart AMD
   Pilotage de la migration d’ETL Datastage de la version 8 vers la
  version 9 dans tous les environnements (DEV, VF, Homologation
  et Production)
   Pilotage et réalisation de la refonte des traitements d’extraction
  Datasatge suite à la mise en place du projet Appliance de l’EDC
   Pilotage et réalisation des évolutions suite à des expressions de
  besoins métier.
   Contribution à la migration du progiciel UNICA de la version 8
  vers la version 9
   Assistance pour l’équipe UNICA et proposition des solutions
  aux problèmes techniques rencontrés par l’équipe.
   Livraison et suivi en production de la partie donnée du projet
  AMD.
   Conception et réalisation d’un traitement de tokenisation pour le
  projet DMSA
   Rédaction des fiches d’évolutions.
   Responsable de la mise à jour des modèles BI-Query et MEGA de
  l’application AMD

  Environnement DataStage PX 9, AIX, GIT, Script Shell, Oracle, Teradata, PL/SQL, Word, Excel, Quality Center, Control M, UNICA, BI-Query, MEGA

• Concepteur et développeur Datastage (Intrabases)

  Malakoff Médéric : SI2M
  Jan 2012 - Jan 2012

  Dans le cadre de la maintenance évolutive de l’infocentre BC2I (Base Commune Incrémentale et Itérative) :
   Analyse du modèle décisionnel BC2I
   Conception et développement des jobs d’alimentation des tables
  BC2
   Réécriture des jobs Server en PX
   Livraison des jobs en recette et en production
   Correction des anomalies techniques et fonctionnelles
   Suivi de production

  Environnement DataStage PX 7.5.3, AIX, Script Shell, Sybase, Sql SERVER, Word, Excel, MVS, TWS

• Concepteur et développeur Datastage (Intrabases)

  SOCIETE GENERALE
  Jan 2010 - Jan 2011

  Dans le cadre du projet AMD (Avenir de Marketing Direct), création d’un nouveau datamart pour la mise en place d’un nouvel outil de gestion de campagnes
  marketing (UNICA) :
   Conception de traitements Datastage réalisés par une équipe de
  développeurs externalisés (Réalisation de Dossiers de Conception
  Applicative)
   Vérification et validation de Dossiers de Conception Applicative
  rédigés par les autres membres de l’équipe
   Conception et réalisation de traitements Datastage plus complexes
   Vérification et validation des traitements Datastage livrés par
  l’équipe de développeurs externalisés
   Contribution à la conception et réalisation de l’ordonnancement
  des traitements Datastage AMD via Control M
   Création de scripts de modification des schémas du datamart
  AMD (Création, modification de tables, indexes, contraintes …)
   Prise en charge des corrections d’anomalies sur les traitements
  Datastage détectées lors des phases de recette (Validation Fonctionnelle, Homologation Fonctionnelle et Homologation Bancaire)
   Livraison et suivi en production de la partie donnée du projet
  AMD.
   Optimisation du temps des traitements en production.

  Environnement DataStage PX 7.5.3, AIX, ClearCase, Script Shell, Oracle, PL/SQL, Word, Excel, Quality Center, Control M

• Concepteur et développeur Datastage (Intrabases)

  CNP Assurances
  Jan 2010 - Jan 2010

  Dans le cadre d’un projet au forfait, création et alimentation de la
  base de données ALIX pout les tableaux de bord du COMEX pour
  l’ensemble des assurances individuelles et collectives :
   Rédaction des spécifications fonctionnelles et techniques
  des alimentations et des traitements des données ALIX
   Réalisation des Alimentations de la base ALIX à partir des
  bases ODSREF et de fichiers plats
   Modélisation et création du datamart ALIX.
   Rédaction des dossiers de livraison
   Réalisation en DataStage PX , PL SQL, Shell, C
   Tests Unitaires et d’intégration
   Assistance aux utilisat...