Consultant Big Data : Principaux profils dispos et dernières missions déposées

Exemple de missions de Mahmoud,
Consultant Big Data habitant Paris (75)

• Consultant Big Data

  Kadensis
  Jan 2021 - aujourd'hui

  Traitements des articles/catalogues automobile dans le cadre du projet Parts-IO.
  • Développement des jobs de transcodification Spark/Python.
  • Lecture et écriture des données sur Amazon S3.
  • Filtrage et transformation des données.
  • Ingestion des données dans MongoDB.
  • Développement des tests unitaires et d’intégrations.

  Environnement : AWS, Hadoop, Spark, Python, MongoDB, Jenkins, Shell, Git, Scrum.

• Consultant BI

  Talan France
  Jan 2021 - Jan 2021

  Développement de deux projets (Polaris & KPI RH) pour Talan France.
  • Conception d’un modèle en constellation datamart (faits & dimensions).
  • Développement des jobs Talend (ETL) pour alimenter les bases PostgreSQL (Staging, Datawarehouse et
  Datamart).
  • Développement des rapports Power BI.
  • Surveillance des serveurs recette et prod pour une intervention en cas de problème
  • Rédaction des documentations Techniques (Les mesures Power BI, les rapports, le modèle de donnée, les
  jobs Talend etc.)

  Environnement : Talend, Power BI (Cloud & Desktop), PostgreSQL, Windows, Scrum.

• Consultant Big Data

  Carrefour Paris
  Jan 2019 - Jan 2019

  Traitement des transactions financières des marchés Carrefour pour un projet One cash.
  • Routage des données reçues par voie SFTP vers le datalake Carrefour (HDFS).
  • Parsing et normalization des données en utilisant Spark/Scala, le résultat des traitements est sous format
  avro afin de créer des tables externes Hive.
  • Jointure des données pour calculer les cantonnements des transactions carrefour (Spark/scala/Hive).
  • Extraction des données sous format csv.

  Environnement : Hadoop, Spark, Scala, Hive, Jenkins, Oozie, Shell, Git, Scrum.

• Consultant Big Data

  Société Générale (SGIB)
  Jan 2018 - Jan 2019

  Développement d'une application Java/Spark pour le monitoring et le process des données de marché (trader, order,
  commodities etc.).
  • Ingestion, filtrage, et transformation de données de sources depuis le Datalake Société Générale dans la zone
  MAST (nom du projet).
  • Développement de jobs quotidiens en Spark-java pour l'enrichissement et le process des données depuis des
  tables externes Hive (des fichiers parquets).
  • Lancement de Jobs en utilisant les coordinateurs Oozie.
  • Extraction des résultats dans des fichiers CSV et envoi des fichiers par voie SFTP.
  • Tests Unitaires et d’intégration avec mise en place d’un « mini-Cluster » Hortonwroks dédié aux tests.
  • Mise en place d'une chaine d'intégration continue en utilisant Jenkins, Git et maven et développement des
  scripts python pour le déploiement du projet.

  Environnement : Hadoop, Hortonworks, Hue, Java, python Spark, Hive, Oozie, Shell, Spark-testing-base, Git, Scrum.

• Consultant Big Data

  Renault Digital
  Jan 2017 - Jan 2018

  Ingestion, transformation et indexation de sources de données depuis le Data lake Renault pour une plateforme de
  statistiques permettant l'étude du comportement des véhicules vendus.
  • Développement de jobs quotidien en en Spark-Scala pour alimentation d’index ElasticSarch à partir de Hive.
  • Lancement de Jobs en utilisant les coordinateurs Oozie.
  • Transformation et filtrage des données sous Spark.
  • Tests Unitaire et d’intégration avec mise en place d’un « mini-Cluster » Hortonwroks dédié aux tests.

  Environnement : Hadoop, Cloudera, Hue, Spark, Scala, ElasticSearch, Hive, Oozie, Shell, Spark-testing- base, Git, Scrum.

• Consultant Big Data

  ENEDIS Filiale EDF
  Jan 2016 - Jan 2017

  Développement d'une application Java/Spark gérant le volet contrôle du mécanisme de capacité de production
  électrique en France métropolitaine.
  • Acquisition des données en utilisant Java/ SQL.
  • Traitement des données par Spark.
  • Stockage des résultats dans des tables Teradata intermédiaires.
  • Publication des données vers RTE par voie FTP.

  Environnement : Hadoop, Java 7, Spark, Shell, Teradata, Git, Junit, Spark-testing-base

• Ingénieur Big Data

  Lansrod Technologies
  Jan 2016 - Jan 2016

  Formation Big data de 3 mois en Tunisie suivie des différentes missions décrites ci-dessus a Paris.

  Environnement : Cloudera Hortenworks, Ambari, Spark, MapReduce, Hbase, Hive, Oozie, Elasticsearch, Logstash, Java, Python, Kibana, kafka, Shell, REST, Junit, Git.

• Projet de fin d’études

  Centre de mathématiques appliquées Mines Paris-Tech
  Jan 2016 - Jan 2016

  Développer et mettre en place un réseau de capteurs sans fils communiquant sous différents protocoles afin
  d’améliorer l’efficacité énergétique des bâtiments tertiaires.

  Environnement : Objets connectés, Bâtiment intelligent, Protocoles de communication, Python, API REST, InfluxDB, Grafana, Mosquitto.