Missions CI/CD : Une multitude d'offres publiées tous les jours

Résumé des missions de Richy,
freelance CI/CD résidant dans la Seine-et-Marne (77)

• Lead data engineer

  BNP PARIBAS
  Jan 2022 - aujourd'hui

  Mission : Co-construction des offres de services Data sur le Cloud privé de BNP Paribas (Cloud IBM),
  support/coaching des applications sur le datahub V1 (Hadoop) et accompagnement vers les solutions de
  migration chez BCEF.
  • Co-construction du datahub V2 (Cloud IBM)
  - Étude du datahub V1 existant, recueil et formalisation des besoins auprès des équipes projets
  - Participation à la conception architecturale du nouveau datahub V2
  - POCS sur l’implémentation, configuration et contrainte des technologies hétérogènes du
  datahub V2 (Starburst, Cos Ibm, Event Stream, Airflow, Iceberg)
  - Fédération de la donnée sur Starburst
  - Participation à la mise en place d’une gouvernance de la donnée dans le datahubV2
  - Tests et challenges des offres de service data
  - Urbanisation du Cos IBM (S3)
  • Réalisation POCS et MVP à des fins de choix technologiques et validation des cas d’usage
  - Configuration et optimisation des catalogues Hive/hadoop, Iceberg, S3, kafka sur Starburst et
  test des différents uses cases du datahub V1
  - Accompagnement technique sur l’accostage des applications candidates pour un MVP dans le
  datahub V2 (Développement workflow Airflow, job Spark, exploitation Starburst)
  • Développement & bonne pratique
  - Mise en place de patterns d’hybridation Spark Starburst sur l’utilisation partagée du format de
  table Iceberg
  - Mise en place d’un pipeline de recette des services du datahubV2 (Starburst, Hive) via Behave
  Python, Jenkins, Docker et Octane
  - Optimisation de la qualité des données Hive/Hdfs
  - Développement d’un module de collecte et de production de données en streaming de Kafka vers
  Teradata
  - Mise en place des workflows sur airflow
  - Migration des données Kafka Confluent vers Ibm EventStream
  - Code review, validation git
  • Accompagnement et conseil techniques des équipes projets
  - Accompagnement des équipes projets sur des solutions techniques et bonne pratique
  - Accompagnement des équipes sur des incidents de production
  - Mise en place de bonnes pratiques applicatives
  Stack technique :
  Langages : JAVA, SHELL, PYTHON
  Big data : Hadoop Cloudera, Hive, Spark Sql, Kafka Confluent, Schema registry, Hue, Oozie,
  Ibm Evenstream, Ibm Cos, Starburst, Iceberg, Airflow, Teradata, Hash-iCorp
  Vault, Kubernetes
  CI/CD : Github, Jenkins, Jfrog, Ansible

• Lead data engineer

  Société Générale
  Jan 2021 - Jan 2022

  Mission : Projet CARMA sur la conformité des données provenant des différentes entités.
  • Développement pipeline data
  - Développement des pipelines de collecte de données en mode batch (spark/scala) et streaming
  (Nifi, Kafka, Elk)
  - Stockage des données sur divers composants répondant à des uses cases spécifiques : Hive,
  PostgreSQL (BI & Analytics), Elasticsearch (Moteur de recherche, supervision), S3 (Palantir)
  - Optimisation des jobs Spark et du workflow Nifi
  • Industrialisation pipeline data
  - Développement de pipelines CI/CD (Git, Cucumber, Jenkins, Ansible)
  - Ordonnancement des flux d’exécution (job spark, HiveQL) sur Oozie
  - Mise en place de solution de monitoring
  • Accompagnement et conseil techniques dans la squad
  - Coordination et suivi techniques des projets data
  - Mise en place de bonnes pratiques applicatives
  - Code review, validation git
  Stack technique :
  Langages : SCALA, SHELL, PYTHON
  Big data : Hadoop Cloudera, Hive, Spark sql, Kafka, Kerberos, Hue, Oozie, Nifi,
  Elasticsearch, Bucket S3 Aws, PostgreSQL
  CI/CD : Github, Jenkins, Nexus, Ansible

• Lead data engineer

  Bouygues Telecom
  Jan 2020 - Jan 2021

  Mission : Collecte, traitement et restitution des données d’équipements réseaux, 2G, 3G et 4G.
  • Développement pipeline data
  - Développement des pipelines de collecte de données en mode streaming (Nifi, Spark Structured
  Streaming, Kafka, Elk)
  - Stockage des données au format de table Deltalake
  - Conception des architectures data
  - Optimisation des jobs Spark et du workflow Nifi
  • Industrialisation pipeline data
  - Développement de pipelines CI/CD (Gitlab, Cucumber, Ansible, Docker)
  - Mise en place de solution de monitoring
  • Accompagnement et conseil techniques dans la squad
  - Coordination et suivi des projets data
  - Mise en place de bonnes pratiques applicatives
  - Code review, validation git
  - Veille technologique
  Stack technique :
  Langages : JAVA, PYTHON, SHELL, JAVASCRIPT
  Big data : Docker, Kubernetes, Hive, Spark sql, Spark Structured streaming, Kafka, Kerberos, Hue, Oozie, Nifi, Git, FileBeat, Logstash, Elasticsearch, Deltalake
  CI/CD : GitLab CI/CD, Docker registry, Nexus

• Data engineer

  Société Générale
  Jan 2018 - Jan 2019

  Mission : Collecte, traitement et restitution des données digital et agence pour le pilotage des activités
  agence, marketing et produit.
  • Développement pipeline data
  - Analyse, modélisation des données et calcul distribué d’indicateurs de performances marketing
  - Collecte des données digital BDDF (Données Online, Parcours client sur le web, etc) en mode
  streaming et batch vers le data lake
  - Conception des architectures data
  - Optimisation des jobs Spark et du workflow Nifi
  - Maintenance et évolution applicative
  • Industrialisation pipeline data
  - Création des fiches control-m pour la mise en place de chaine d’automatisation de traitements
  - Ordonnancement des flux d’exécution (job spark, HiveQL) sur Oozie
  - Mise en place de solution de monitoring
  • Accompagnement et conseil techniques dans la squad
  - Code review, validation git
  - Veille technologique
  Stack technique :
  Langages : SCALA, PYTHON, SHELL, JAVA
  Big data : Hadoop HortonWorks, Hive, Spark sql, Spark streaming, Kafka, Kerberos, Hue,
  Oozie, Pandas, Nifi, Sqoop, Yarn, Sqoop, Control-M, Git
  CI/CD : Github, Jenkins, Nexus, Ansible

• Data engineer

  Ministère des finances
  Jan 2018 - Jan 2018

  Mission : Mise en place du data lake Hadoop, développement des solutions d’intégration, de sauvegarde et
  de traitement des données.
  • Développement pipeline data
  - Collecte de données batch, streaming et intégration dans le data lake
  - Développement d’un module d’authentification de webservice street et exchanges
  - Calcul distribué des métriques, indicateurs et intégration dans Hive, Hbase et Janus
  - Mise en place de producer de messages vers des topics kafka
  - Maintenance et évolution applicative
  • Industrialisation pipeline data
  - Ordonnancement des jobs sur Oozie
  - Mise en place de solution de monitoring
  Stack technique :
  Langages : JAVA, SCALA, SHELL
  Big data : Hadoop Cloudera, GitLab, Kafka, Kerberos, apache storm, Spark sql, Spark
  streaming, Hdfs, impala, Hive, Hbase, Yarn, Oozie
  CI/CD : Github, Jenkins, Nexus, Ansible

• Data engineer

  Veolia eau d’Ile de France
  Jan 2016 - Jan 2017

  Mission : Développer et maintenir des applications permettant la collecte, l’intégration, le stockage, et le
  traitement des données compteurs depuis des points de service.
  • Développement pipeline data
  - Collecte des données compteurs, traitement et intégration dans le data lake
  - Développement d’un module d’authentification de webservice street et exchanges
  - Indexation du contenu (données brutes compteurs) dans elasticsearch et visualisation dans
  kibana
  - Migration des eventframes de PI AF vers SQL SERVER
  - Maintenance et évolution de l’application de visualisation dataviz, du webservice rest
  • Industrialisation pipeline data
  - Test, intégration et déploiement des solutions sur différents environnements (Dev, Recette, PréProduction, Production) via une plateforme d’intégration continue (Bitbucket, Jenkins, Nexus, XL
  Deploy)
  - Gestion des logs avec Log insight
  - Supervision des serveurs et des applications avec Zabbix
  Stack technique :
  Langages : C#, ASP.NET, NODEJS, PYTHON, SHELL, JAVASCRIPT, AJAX, JQUERY, SQL, JSON,
  XML
  Big data : ELASTICSEARCH, PI SYSTEM, KIBANA
  CI/CD : BITBUCKET, JENKINS, NEXUS, XL DEPLOY, GRUNT, BOWER, FOREVER