CV/Mission d'Ingénieur d'etude talend freelance

Exemple de missions de Helmi,
Ingénieur d'etude talend habitant les Yvelines (78)

• Rôle : Senior Data EngineerSpark/Scala/Java AWS

  SACEM (Puteaux)
  Jan 2023 - aujourd'hui

  Spark/Scala/Java AWS
  Equipe : 1 PO + 1 Scrum master + 1 Architecte + 4 développeurs
  Méthodologies : Agile Scrum
  Projet 1 : Migration IBM datastage vers Spark : Une application de collecte des droits d’auteurs
  Online (Spotify,Tiktok, facebook, youtube …).
  Réalisation :
  ● Audit de code source Spark
  ● Migration des jobs IBM datastage vers Spark .
  ● Mettre en place l'infrastructure AWS (Fargate, ECS, ECR) à l’aide des scripts Terraform
  ● Mettre en place un module BI de facturation à l’aide de Spark scala S3, AWS Athena et Glue
  ● Créer les machines à état pour orchestrer les jobs spark à l’aide de AWS Lambda
  ● Optimisation du temps d’exécution des jobs spark
  ● Migration de la base de donnée DB2 hébergée sur IBM cloud vers Postgresql RDS sur AWS
  ● Sécuriser l'accès aux buckets S3 à l’aide des rôles IAM de AWS
  ● Créer un module de migration des données historiques de db2 vers les buckets S3 à l’aide de
  Spark et Python
  ● Créer un module d’export des données à l’aide de Java et Athena
  ● Mettre en place un module de parallel run pour comparer les données entre DataStage et Spark
  ● Réalisation d’un POC pour la conception et l’automatisation de pipelines ETL avec Apache
  Airflow en intégrant et chargeant des données dans Snowflake
  ● Amélioration de la qualité du code

  Environnement technique : Spark 3.4 , Hadoop,hdfs, Scala, Java, Python, JUNIT, Mockito, Docker, Terraform, Devops AWS(Fargate, ECS, ECR, Athena, Glue, S3, Lambda), Jenkins, Gitlab, Sonar, Maven, gitlab, Liquibase, DB2, Postgresql, Airflow, Snowflake.

• Rôle : Tech lead Fullstack Java-JEE/Angular

  Manpower (Nanterre)
  Jan 2023 - Jan 2023

  Equipe : 1 Tech Lead + 2 développeurs
  Méthodologies : Agile Scrum
  Projet 1 : Développement d’une application from scratch pour le pilotage des flux du département de
  finance de Manpower.
  L’application apportera une réduction des coûts pour le département de finance (diminuer le nombre
  de licence TMC)
  Réalisation :
  ● Accompagnement : rédaction des spécifications techniques et fonctionnelles, dossier de
  conception détaillé.
  ● Synchronisation avec les architectes ayant réalisé la phase de conception générale.
  ● Analyse et conception détaillée.
  ● Conception et modélisation de l’application.
  ● Définition du planning de réalisation.
  ● Effectuer un reporting de l’état d’avancement de la solution.
  ● Pilotage des développements.
  ● Aider l’équipe de développeur pour réaliser les différents modules (Exécution des flux,
  monitoring des flux, Administration des flux)
  ● Mettre en place le socle du projet (Front end , Backend)
  ● Mettre en place le module d’authentification et d’autorisation à l’aide de SSO Keycloak et spring
  Security

  Environnement technique : Java 17, Angular 15, Keycloak-js, Spring Boot 3.0.5 , Keycloak, Spring Security, Kubernetes, Prometheus, IAM/Oauth2, PostgreSql, Liquibase, JUNIT, Mockito, Jenkins, GITLAB, Tomcat 10

• Rôle : Référent Technique Bigdata Spark, Scala / Développeur fullstack Java-JEE/Angular

  Société Générale (La Défense)
  Jan 2021 - Jan 2022

  Equipe : 7 développeurs + 1 Scrum Master + PO
  Méthodologies : Agile Scrum
  Projet :
  ● Développement d’un système d’analyse de risque de liquidité de la société générale
  ● La plateforme est dédiée aux analystes financiers pour suivre et superviser la capacité de la
  survie d’une banque à court et à long terme
  ● Le but du projet est de développer une plateforme qui gère le risque de liquidité dans le
  groupe SG pour la surveillance et le suivi des indicateurs et des flux comme GAP (écarts de
  liquidité), les ratios de liquidité (LCR, CML…) et bail-in qui a pour but de supporter la
  défaillance de la banque par ses créanciers et ses actionnaires.
  ● Ces indicateurs sont calculés par période (time buckets) pour avoir une visibilité sur la
  capacité de SG à mobiliser de la trésorerie pour payer ses dettes
  ● La plateforme est dédiée aux analystes financiers pour suivre et superviser la capacité de la
  survie d’une banque à court et à long terme
  Réalisation :
  ● Développement des batchs à l'aide de Spark qui permet d'alimenter les bases d'analyse de
  risque de liquidité
  ● Tech Lead / Référent technique sur la partie BigData
  ● Évolution des 2 modules Aggregates et Metrics pour générer des indicateurs aux analystes
  financiers comme LCR liquidity coverage ratio, GAP, CML capital market line, NSFR (ratio de
  liquidité long terme) ...
  ● Développement du module de Bail-in à l'aide du Java/JEE, Apache Spark, Scala
  ● Tests unitaires (JUinit, Mockito, PowerMock)
  ● Gestion des données volumineuses en mode cluster à l'aide Clickhouse et MongoDB
  ● Préparation des infrastructures à l'aide de Terraform, doItNow (SG Cloud Platform), Docker
  ● Amélioration des performances du batchs
  ● Mise en place de l’outil Liquibase pour la gestion des changements du modèle de donnée

  Environnement technique : Spark, Scala , Java 11, Angular 7&8, Scala, SpringCore 4.2, Spring Boot, JUNIT, Mockito, Docker, Terraform, doItNow (SG cloud platform), Jenkins, Sonar, Maven, GIT, Tomcat 8, Liquibase, MongoDB, PosgreSQL, Clikhouse.

• Rôle : Tech Lead / Scrum Master / Développeur fullstack Java-JEE Angular Spark

  SACEM (Neuilly-sur-Seine)
  Jan 2018 - Jan 2021

  Méthodologies : Agile Scrum
  Projet 1 : Développement d’une application de gestion des droits d’auteur pour les
  œuvres audiovisuelles (Films, Séries, Publicités …)
  Equipe : 3 développeurs + 1 Scrum Master + PO
  Réalisation :
  ● Développement d’une application web (Angular 7, Java 8, Spring et Hibernate) qui gère les
  œuvres audiovisuelles contenant les modules de gestion des répartitions, module de gestion
  des œuvres audiovisuelles pour les rectifications et les régularisations des différentes
  répartitions et un module de supervision des batchs
  ● Préparation des livraisons pour les mises en production
  ● Remplacement du Scrum Master sur quelques phases du projet
  ● Amélioration de la qualité du code à l’aide de Sonar
  ● Développement des tests unitaires avec JUNIT, Mockito et PowerMock
  ● Développement des tests fonctionnels avec Cucumber

  Environnement technique : Oracle10g, Java8, Angular 7, Hibernate 4, SpringCore 4.2, Spring Boot, JUNIT, Mockito, PowerMock, Cucumber, Tomcat8, Jenkins, Sonar, Maven, GIT

• Rôle : Ingénieur d’Étude et Développement Java/JEE

  CGI – Forfait pour Société Générale(Bordeaux)
  Jan 2017 - Jan 2018

  Projet : Développement d’un système de gestion des processus métiers d’une banque dans un
  contexte de sécurité et confidentialité élevé.
  Equipe : 7 développeurs + 2 Architectes
  Réalisation :
  ● Développement d’un module de gestion des dossiers du client
  ● Développement d’un module de gestion d...

• aujourd'hui

  Projet 2 : Développement d’un batch pour créditer les ayants droits des œuvres audiovisuelles (Films,
  Séries, Publicités …)
  Equipe : 3 développeurs + 1 Scrum Master + PO
  Réalisation :
  ● Développement d’un batch de collecte et répartition des droits des auteurs, compositeurs et
  éditeurs avec la technologie Apache Spark
  ● Interfaçage du batch avec des applications externes pour alimenter la documentation des
  œuvres audiovisuelles et ses ayants droits
  ● Implémentation d’un batch permettant de gérer des données volumineuses avec la
  technologie Spark
  ● Gestion des évènements pour le traitement des données à l'aide de Kafka
  ● Optimisation de la performance du batch pour gérer des données volumineuses dans une
  durée de temps raisonnable : Gain de performance de 35%
  ● Test de montée en charge avec l’outil JProfiler
  ● Ordonnancer des différentes étapes du batch par DollarU
  ● Préparation des livraisons pour les mises en production
  ● Préparation des procédures d’installation et d’exécution du Batch pour chaque répartition
  (trimestre)
  ● Développement des tests unitaires avec JUNIT, Mockito et PowerMock
  ● Développement des tests fonctionnels avec Cucumber

  Environnement technique : Apache Spark, Apache Kafka, Oracle10g, Java8, DollarU, Hibernate 4, SpringCore 4.2, JUNIT, Mockito, PowerMock, Cucumber, Tomcat8, Jenkins, Sonar

• aujourd'hui

  Projet 3 : Maintenance/Evolution d’une application de gestion des droits d’auteur pour les œuvres
  musicales
  Equipe : 3 développeurs + 1 Scrum Master + PO
  Réalisation :
  ● Maintenance/Evolution des modules de gestion de rectificatifs des ayants droits, gestion des
  régularisations et la gestion des extractions
  ● Maintenance/Evolution des différentes étapes du batch qui permet de créditer les ayants
  droits d’une œuvre musicale
  ● Amélioration de la performance des traitements des données
  ● Préparation des livraisons pour les mises en production

  Environnement technique : Oracle10g, Java8, AngularJs, Hibernate 4, SpringCore 4.2, JUNIT, Mockito, PowerMock, Cucumber, Tomcat8, Jenkins, Sonar, Maven, GIT, H2

• aujourd'hui

  Projet 4 : Développement d’une application de gestion des régularisations volumineuses
  Equipe : 2 développeurs + 1 Scrum Master + PO
  Réalisation :
  ● Développement d’un module de gestion de priorité des régularisations (FIFO, Par poids…)
  ● Traitement des régularisations volumineuses par un batch lancé de manière périodique
  ● Développement d’un module de suivi des différentes étapes de création des régularisations
  lancé par le Batch
  ● Préparation des livraisons pour les mises en production

  Environnement technique : Oracle10g, Java8, Angular 7, Hibernate 4, SpringCore 4.2, JUNIT, Mockito, PowerMock, Cucumber, Tomcat8, Jenkins, Sonar, Maven, GIT