CV/Mission de Développeur PySpark freelance

Exemple de missions de Mounir,
Développeur PySpark habitant le Puy-de-Dôme (63)

• Azure Data Engineer La société : La STIME (Les Mousquetaires)

  Groupe des Mousquetaires
  Jan 2021 - aujourd'hui

  Les Mousquetaires sont un acteur majeur de la grande distribution en France et en Europe. Créé
  en France en 1969, le Groupement des Mousquetaires est présent au Portugal, en Belgique, en
  Pologne mais aussi en Bosnie et en Serbie à travers plus de 3 500 points de vente.
  Responsabilités occupées :
  Azure Data Engineer.
  Création d’un outil de synthèse permettant au PDV d’avoir la dizaine de KPI’s nécessaires à la
  bonne marche commerciale. Il s’agit d’une aide à la décision.
  COCKPIT PDV (TDB PDV) vient remplacer Cockpit Aval, l’appli
  mobile ‘historique’ déployée pour les Adhérents Inter et Netto en France et en Belgique.
  Le contexte en PDV est le suivant :
  ✓ Données économiques éparpillées sur plusieurs outils.
  ✓ Données différentes en fonction des sources.
  ✓ Consolider sur un seul tableau des indicateurs phares de pilotage d’un PDV, avec une
  version WEB et Mobile, tant pour l’adhérent que le responsable de Magasin.
  ✓ Cette application remplacera la solution mobile actuelle (cockpit aval) qui, en plus d’une
  nouvelle technologique, présentera des dizaines de nouveaux Kpis : Taux rupture ; Taux
  de démarque ; marge, mercalys ; taux scanning, volumes carburants, Chiffres
  d’affaires, … etc
  Détails :
  • Développement des Flux pour chargement de données dans le Datalake avec Microsoft Azure
  Data Factory
  • Développement de Script scala (NoteBook) pour la transformation de données avec Microsoft
  Azure DataBricks.
  • Stockage des données dans le Datawarehouse MS AZURE SQL
  • Rédaction de la documentation technique et fonctionnelle.
  • Développement des Dashboard via Microstrategy.

  Environnement technique : • Environnement Microsoft Azure. • Azure DataBricks (Scala, Pyspark, …etc). • Azure Data Factory • Stockage SQL SERVER Database, Microsoft Azure DataLake Storage.

• Azure Data Engineer

  Groupe Total La societé :
  Jan 2020 - Jan 2020

  TOTAL est une entreprise pétrolière et gazière française privée. Elle fait partie des six « supermajors » : elle est la cinquième des six plus grosses entreprises du secteur à l'échelle mondiale, derrière ExxonMobil, Shell, BP, et Chevron, et avant ConocoPhillips.
  Responsabilités occupées :
  Azure Data Engineer.
  J’ai développé le projet FINOPS qui consiste à mettre en place un outil d’aide à la décision pour la direction total permettant une meilleur visibilité sur la consommation des ressources dans Azure selon différents attributs que j’ai intégré par la phase d’intégration et de transformation de données, par exemple on veut mesurer les cout par application, par personne, par souscription par date, par compagnie, par administrateur…etc ( il existe des dizaines d’attributs à mesurer leurs cout de consommation). L’outil via les rapports Power BI generées permet de prendre des décisions visant à optimiser les couts de consommations dans Azure.
  Détails :
  Développement des Flux pour chargement de données dans le Datalake avec Microsoft Azure DataBricks.
  Développement de Script Pyspark (NoteBook) pour la transformation de données avec Microsoft Azure DataBricks.
  Génération de Rapports avec Power Bi.
  Rédaction de la documentation technique et fonctionnelle.
  Environnement technique :
  Environnement Microsoft Azure DataLake.
  Raw Data Microsoft Azure DataBricks
  Data Processing Microsoft Azure DataBricks.
  Stockage SQL SERVER Database , Microsoft Azure DataLake Storage.
  Rapports Power BI

• Consultant Data.

  Société Lojelis La societé :
  Jan 2019 - aujourd'hui

  LOJELIS est la consolidation de 2 sociétés : Jourdy Ingénierie Conseil, créée en 2005, spécialisée autour de l’ERP Oracle eBusiness Suite et solutions BI ainsi que Staffing IT créée en 2010, spécialisée dans les nouvelles technologies.
  Implantée à Clermont-Ferrand, Paris, Lille et Lyon et disposant d’une filiale à New York, lojelis accompagne les entreprises sur des problématiques technologiques et métiers à travers son équipe de plus de 130 consultants !
  Responsabilités occupées :
  Consultant Data en interne.
  Le projet consiste à construire un DW et intégrer des flux de données à partir de plusieurs applicatifs (l’ERP Sage 100 Cloud, applicatif des RH, …), ensuite faire des rapports avec Power BI pour le service de Comptabilité & Finance.
  Détails :
  Modélisation et implémentation du Data Warehouse.
  Développement de flux d’intégration de données avec Talend.
  Développement des différents rapports avec MS Power BI.
  Environnement technique :
  Environnement Sage 100 Cloud, RMA (Application RH) …etc.
  Base de données SQL Server 2012.
  ETL Talend.
  Rapports Power BI.
  Data Scientist Chez Glisshop
  Le projet consiste à construire au développement d’une solution de Reporting avec Power BI sur l’ERP SAGE ainsi que le développement des predictions sur le meme ERP.
  Détails :
  Développement des script PySpark pour implémenter les algorithmes de prédiction pour les ventes, les commandes, …etc
  Modélisation de la solution de reporting (model de données).
  Développement des différents rapports avec MS Power BI.

  Environnement technique : Environnement ERP Sage. Base de données SQL Server 2012. Data Science Python & Spark (Pyspark) Rapports Power BI.

• Développeur BI/Big Data.

  Groupe Michelin
  Jan 2018 - Jan 2019

  Sujet du projet :
  Michelin est un fabricant de pneumatiques français dont le siège social est à Clermont-Ferrand (Puy-deDôme), en France. Ses produits sont destinés à tous types de véhicules : automobiles, camions, deux
  roues, avions, engins de génie civil et agricoles. Elle est implantée industriellement dans 17 pays et
  emploie 111 700 personnes.
  Lors de Ma mission actuelle au geoupe Michelin, j’ai participé au développement de deux projets :
  Responsabilités occupées :
  Projet 2 : Data Engineer (Microsoft Azure Cloud)
  Dans ce projet, j’ai participé avec l’équipe SCAI (Supply Chain & Artificial Intelligence) à développer des
  flux de données (pipeline) sur de gros volumes de données et ce dans l’environnement Microsoft
  Azure Cloud. Le but final est d’intégrer les flux de données afin de faire les prédictions sur les ventes.
  Détails :
   Développement de pipelines pour l’intégration de données avec Microsoft Azure DataFactory.
   Développement de Script Pyspark (NoteBook) pour la transformation de données avec Microsoft
  Azure DataBricks.
   Réalisation du control et du monitoring des pipelines dans ADLS.
   Intervention sur des sujets d’innovation.
   Rédaction de la documentation technique et fonctionnelle.
  Environnement technique :
   Environnement Microsoft Azure DataLake.
   Pipelines Microsoft Azure DataFactory.
   Script Pyspark Microsoft Azure DataBricks (NoteBook).
   Stockage Microsoft Azure DataLake Storage.
   Reporting Power BI
  Projet 1 : Développeur BI & Big Data.
  Dans ce projet, j’ai participé avec l’équipe QOF (Quality of Forecast) à développer des flux de données et du
  rapport. L’objectif final est de faire des rapports basés sur des KPI afin de comparer les données des prédictions de
  ventes (calculées par les datascientists) avec celles du réalisé de ventes.
  Détails :
   Développement de flux de données avec IBM DataStage.
   Réalisation des analyses et des rapports avec Microstrategy.
   Développement des scripts SQL Oracle.
   Réalisation des tests techniques avec Ride-Robot Framework.
   Réalisation du control et du monitoring.
   Intervention sur des sujets d’innovation.
   Rédaction de la documentation technique et fonctionnelle.

  Environnement technique :  Outils Datastage, Microstrategy.  SGBDR Oracle, SQL, PL/SQL.  Tests Ride Robot Framework.  OS Windows, Linux.

• Développeur MS BI

  Zodiac Poolcare Europe
  Jan 2017 - Jan 2017

  Sujet du projet :
  Zodiac PoolCare Europe est une société spécialisé dans les équipements de piscines, ma mission était de
  développer la solution BI existante afin d’analyser les ventes de l’entreprise.
  Responsabilités occupées :
  Développeur MS BI.
  Détails :
   Développement de flux SSIS avec MS BI.
   Réalisation des analyses et des rapports avec OBIEE.

  Environnement technique :  Outils Microsoft BI, Oracle BIEE.  SGBDR SQL Server, DB2,

• Consultant BI & Big Data.

  SLIB (Filiale Natixis & BNP Parisbas)
  Jan 2017 - Jan 2017

  Sujet du projet :
  
  SLIB est une filiale de NATIXIS ET BNP Paribas, elle est spécialisée dans le domaine de de la bourse. Le projet dans
  lequel j’ai participé consiste à la mise en place d’un Datalake. Il s’agit de basculer de l’ERP AS400 qui contient
  plusieurs Applicatifs et chaque applicatif possède :
  1- Une base de données en DB2.
  2- Un fichier plat « end of Day » qui contient les jobs effectués pendant toute la journée.
  3- Un flux de données JMS en temps réel.
  Ma mission consiste à utiliser la technologie Microsoft BI afin de collecter, transformer et charger dans Hbase, les
  données des applicatifs AS400 (c’est des applications du domaine de la bourse et de la finance) qui proviennent
  de 03 sources de données différentes (voir le détail ci-dessous).
  Ce travail doit être faits sur plusieurs applicatifs qui composent l’ERP AS400.
  Responsabilités occupées :
  Consultant BI & Big Data.
  Détails :
   Rédaction de spécifications fonctionnelles et techniques détaillées.
   Extraction des données à partir des trois sources (Bases de données DB2, Fichiers Plats, flux de
  données JMS en temps réel).
   Transformation des données collectés.
   Chargement des données dans HBASE.
   Analyse des données et rapports.
  Environnement techn...