Freelance Data lake : Les meilleurs consultants identifiés

Aperçu d'expériences d'Ali,
freelance DATA LAKE résidant dans Paris (75)

• Data engineer

  la poste
  Jan 2021 - aujourd'hui

  Projet Exposition des données
  Réalisations
  • Implémentation des API REST
  • Implémentations des évolutions sur l’existant
  • Orchestration des traitements de transformations.
  • Déploiement des traitements sur tous les environnements.
  • Exposition de données via des apis.
  • Migration des traitements CDH et opneshift

  Scala Spark, Python, Kafka, postgresql hdfs, Gitlab, Airflow, jenkins, openshift, Ansible, S3, Akka, Kubernetes

• Data engineer

  BPI France
  Jan 2020 - Jan 2021

  Projet Ingestion, transformation, et exposition des données avec des services AWS
  Réalisations
  • Implémentation des jobs matillion permettant l’extraction des données
  • Implémentations des fonctions lambdas en python permettant l’ingestion des données
  dans datalake.
  • Développements des traitements de transformations.
  • Développements des jobs pour le stagging des données dans redshift.
  • Exposition de données dans AWS Athena.
  • Mise en place de job AWS Glue.
  • Développement des chaines CI/CD avec gitlab pour le packaging et la livraison

  AWS, Spark, Python, Scala, Matillion, postgresql ,mongodb, Athena, Lambda, Gitlab, Postgres,

• ConsultantBig Data/Talend

  Mutuelle Assurance MMA Groupe COVEA
  Jan 2019 - Jan 2020

  Rédaction des spécifications fonctionnelles et techniques
  Conception et design technique des jobs (Standard, Big Data Batch, Big Data Streaming)
  Mise en œuvre de développement autour de Talend (contrôle, nettoyage, transformation, mise en qualité des données, gestion des rejets, gestion des logs ...)
  Test et déploiement sur les environnements de développement, de validation et de production, packaging des livraisons …
  Implémentation des améliorations techniques et fonctionnelles sur des projets existants
  Analyse des incidents et anomalies de production et évaluation des impacts et le temps nécessaire pour la correction
  Suivi des applications dans l’outil de suivi et de gestion (JIRA)

  Scala, Spark, python, Talend, TAC, Java, Hive, Hbase, Hue, Impala, Solr, Oozie, Jenkins, SVN Méthodologie : SCRUM Agile

• Data Engineer

  DGA
  Jan 2019 - aujourd'hui

  Projet Développement des applications pour tester les clusters
  Réalisations
  • Mise en place des bonnes pratiques pour le développement sous spark scala.
  • Mise en place des bonnes pratiques ansible
  • Développement des flux Nifi permettant l’ingestion des données vers plusieurs cibles
  • Développement des jobs spark pour tester l’interaction avec plus de 15 composants.
  • Développement des chaines CI/CD avec gitlab pour le packaging et la livraison
  • Création des playbooks ansible pour la création des clusters ainsi que les installations des composants.
  • Déploiement de tous les services du cluster

  Mesos, HDFS, Hive,, Oozie, Spark ,Kafka, Openstack, Spark, Elasticsearch, Cassandra, Postgres, Redis, Ceph, Nifi, Hbase, Logstash

• Data Engineer/Administrateur Hadoop

  MISSIONS EFF BANQUE DE FRANCE
  Jan 2018 - Jan 2019

  Projet Création, déploiement, et Administration de clusters HDP
  Réalisations
  • Mettre en place des bonnes pratiques pour le développement sous spark scala.
  • Création des clusters, déploiement avec ansible.
  • Administration (création des queues yarn, création des policies ranger (hive, hdfs…) création des topologies knox…).
  • Déploiement de tous les services d’un cluster (Spark, oozie, hive, kereberos, llap, hbase, tez, kafka…)

• Data Engineer

  BNPPARISBAS
  Jan 2017 - Jan 2018

  Projet Participation au développement des nouvelles fonctionnalités.
  Réalisations
  • Développement et automatisation de l’intégration de différents flux dans le Data Lake.
  • Développement et alimentation d’objets et vues métier en restituant et réconciliant les données stockées dans le Data Lake Hive.
  • Développement traitements d’intégration de données : Hive, HDFS.

  Hadoop Hortonworks (HDP 2.4.0), Java SE, YARN, HDFS, Hive, Hue, Oozie, Spark,Kafka,sqoop Méthode SCRUM Agile.

• Lead développeur

  GROUPE EDF
  Jan 2017 - Jan 2018

  • Hadoop Hortonworks :(HDP 2.4.0), Java SE, YARN, HDFS, Hive, Hue, Oozie, Spark,
  Scala
  • Méthode: SCRUM Agile
  Contexte client : je participe avec mon équipe au développement des nouvelles fonctionnalités
  
  q Développement et automatisation de l’intégration de différents flux dans le Data Lake
  q Développement et alimentation d’objets et vues métier en restituant et réconciliant les données stockées dans le Data Lake Hive
  q Développement traitements d'intégration de données : Hive, HDFS

• GROUPE RENAULT
  Jan 2016 - Jan 2017

  • Hadoop Hortonworks :(HDP 2.6.0), Java SE, YARN, HDFS, Hive, Hue, Oozie, Nifi, Spark, Scala
  • Méthode: SCRUMContexte client : au sein d’une équipe, j’ai participé à la définition de l’architecture pour développer un tableau de bord, j’ai contribué à l’alimentation d’objets et vues métier dans Hive en se servant des données stockées dans le data Lake
  Lead développeur :
  q Développement et automatisation de l’intégration de différents flux dans le Data Lake
  q Définition de l’architecture applicative
  q Développement et alimentation d’objets et vues métier en restituant et réconciliant les données stockées dans le Data Lake Hive
  q Développement et automatisation de processus d’alimentation : Spark-Scala, Nifi, Kafka et ElasticSearch
  q Développement traitements d'intégration de données : Hive, HDFS
  CREDIT AGRICOLE
  Période : Janvier 2015-Août 2016
  Environnement technique : Java/EE : JAVA 8 & JEE 6
  Framework : Spring, Hibernate, Spring
  Serveurs d’applications : Tomcat, JBoss
  Framework JavaScript : Bootstrap, RequireJS, ModernizR,
  Angular
  HTML5/CSS3
  CMS : Jahia
  Contexte client : Mettre en place un simulateur (crédit et assurance) en ligne
  Poste occupé : Tech lead
  q Participer à la réalisation et/ou assurer le suivi de la réalisation de ces applications
  q Garantir le bon fonctionnement et le support des solutions du service
  q Garantir la conformité des applications développées
  q Participer à la montée en compétence de l’équipe
  q Participation aux phases ETUDE et CADRAGE des projets
  q Conception des solutions en phase avec le plan d'urbanisation applicatif
  q Réalisation des tests unitaires
  q Conception technique et réalisation des développements applicatifs
  q Contrôle des livrables fournis la MOA, les métiers et les prestataires de service
  q Pilotage des phases d'intégration et de recette technique
  q Accompagnement des recettes utilisateurs
  q Assurer le fonctionnement et le support des solutions du service
  BOUYGUES TELECOM
  Durée de la mission : 1 an.
  Période : Janvier-Décembre 2014
  Contexte client : Maintenance corrective et évolutive de l’application NRM (Network
  Ressources Management) permettant l'attribution de
  Ressources réseau aux clients Bouygues Télécom
  Poste occupé : Concepteur/Développeur
  q Modéliser et concevoir des applications
  q Participer à la réalisation et/ou assurer le suivi de la réalisation de ces applications
  q Correction des anomalies
  q Validation fonctionnelle des différents modules de l'application