CV Consultant Big Data : Les nouveaux profils ayant déposé leur CV

Exemple de missions d'Ameur,
Consultant Big Data habitant les Yvelines (78)

• Data Engineer GCP–Metro Cash & Carry

  DataMesh
  Jan 2022 - aujourd'hui

   Récupérer les données de différentes sources de données client
   Extraction des données dans des tables partitionnées et clusterées dans BigQuery
   Développement des pipelines de données en utilisant les DAGs Composer

  Environnement : BigQuery, composer, cloud storage, python, sql

• Data Engineer GCP–Carrefour

  Carrefour Links :
  Jan 2022 - Jan 2022

   Récupérer les données des tickets de caisse
   Créer des tables partitionnées et clusterées dans BigQuery
   Créer des dashboards en utilisant Looker

  o Environnement : BigQuery, dbt, git, Looker

• Lead Technique GCP–L’Oréal

  OPAL : Concevoir et développer une API OPAL :
  Jan 2021 - Jan 2022

   Définir l’architecture de l’application
   Concevoir et définir le schéma de la base de données.
   Concevoir et développer les différentes cloud functions.
   Concevoir et développer les endpoints de l’API
   Définir les paramètres et exposer l’API via Apigee
   Définir les channels HIP de transfert de fichiers.
   Notifier les utilisateurs de l’arrivée de nouvelles données en envoyant des emails SendGrid
   Documenter l’API en utilisant Swagger
   Tester l’API en utilisant Postman
   Mise en production de l’API

  Environnement: BigQuery, Cloud Storage, Cloud Functions, Apigee, SendGrid, git, Python, IAM, HIP, Swagger

• Consultant Big Data

  Renault Digital
  Jan 2021 - aujourd'hui

  A3CT : accélérer l’utilisation des données au sein des unités commerciales des régions aux marchés :
  
  Développer des différents Dags pour automatiser la réception des données de différents sources (BVM, FCS…) en utilisant Composer (Airflow).
  Extraction et chargement des données dans BigQuery et CloudStorage.
  Calculer les scores pour classifier les clients en utlisant DataProc, DataFlow et Spark.
  Développer les abonnements PubSub.
  Industrialiser les différents Use Cases du machine Learning

  Environnement: GCP (BigQuery, Composer, PubSub, CloudStorage, DataFlow, DataProct), python, Spark, scrum, jira, confluence, Github,

• Consultant Big Data–La

  SACEM
  Jan 2019 - aujourd'hui

  Développement d’un API pour gérer la gouvernance des données.
  Développement des scripts Glue pour traiter des fichiers des différents providers (Facebook, Youtube, Deezer.).
  Extraction les IDE12 (identifiant d’œuvre musical entendu ou regardé) dans ces fichiers.
  Construire une vision 360 en regroupant les données provenant des tous les providers dans un table pivot.
  Stockage des données dans S3 et Elasticsearch
  Visualisation des données dans Kibana et Tableau.
  Documentation des différents scripts et processus développés dans Confluence.

  Environnement: AWS (glue, emr, ec2, rds, ecs, ecr, redshift), apache atlas, python, spark, postegres, Kanban, scrum, jira, confluence, Github,ELK

• Consultant Big Data

  EDF LYON
  Jan 2018 - aujourd'hui

  Développer des flux Nifi pour exporter des fichiers excel GPS (gestion des planifications) de zone sécurisée vers HDFS
   Développer des jobs Spark scala en utilisant IntelliJ pour transformer les données stockées dans HDFS en tables HIVE
   Installation et configuration de Tableau Server 10.5
   Développer un job Spark scala en utilisant IntelliJ qui lance plusieurs jobs Spark 1.6.2 en parallèle.

  o Environnement : Hadoop (HORTONWORKS), HDFS, Hive, Scala, Nifi, Kafka, Git, Maven, Kerberos, Ranger, JIRA, KANBAN

• Consultant Big Data

  Alteca (SSII)
  Jan 2016 - Jan 2017

   Déploiement d'une solution basée sur une méthode de système de recommandation afin de permettre à un site internet de voyage d'offrir des destinations personnalisées aux utilisateurs.
   Stockage des données sur Hadoop (HDFS)
   Intégration et manipulation des données sur des bases de données Apache Hive
   Participation à l’intégration de la solution dans une application web service
   Déploiement d'un algorithme Machine Learning sur Python.
   Installation et configuration de HortonWorks sur Azure et découverte de l’écosystème
   Stockage de données dans MongoDB
   Ecriture des scripts Pig interrogeant ces données.
   Développer des jobs Spark Scala.

  Environnement : Hadoop, Python, Pig, Hive, MongoDB, Hbase, HDFS, Spark, Hue, Ambari, Azure, MongoDB, Scala, AWS, YARN, Kibana, ElasticSearch, Jenkins

• Formation Big Data –

  Fitec (centre de formation)
  Jan 2016 - Jan 2016

  • Formation certifiante
   Présentation Big Data : Présentation de l’écosystème Big Data du point de vue technique, économique, ainsi que les différents uses cases et métiers.
   Introduction à Python : Comment utiliser et faire des programmes en python
   Ecosystème Hadoop : Introduction très détaillée aux modules de l’écosystème Hadoop, HDFS, HIVE Ambari, YARN, concept du MapReduce, Pig et Hive.
   Ecosystème Spark : Introduction très détaillée aux modules de l’écosystème SPARK, à scala, au RDD.
   Scraping des données : Crawl et API, Open Data, pour récupérer de la donnée du Web. Parsing de données aux formats JSON et XML.
   Bases de données NoSQL : Apprendre à stocker et requêter des données sur différents types de base de données (Cassandra, Hbase, MongoDB et Elasticsearch).
   Machine Learning: Machine learning distribué avec Spark MLlib
   Data Visualisation : Kibana et Power BI.
   KAFKA : Introduction à Apache Kafka et au principe des systèmes de publish-suscribe-messaging - Installation et configuration d’apache Kafka - L'architecture d’Apache Kafka (brokers, topics, producers, consumers) -Manipulation d’opérations Kafka - Apache Kafka & Spark en vue du traitement en temps réel (Real-timeAnalytics) et le monitoring.
   Projet d’équipe : (e-reputation des candidats présidentiels) Scrapping des données du twitter et Facebook et traitement (analyse des sentiments) en utilisant spark et python et Kibana pour la visualisation des résultats.
   Obtention du certificat avec mention Très bien

  Environnement : Cloudera, CentOS 7, Ubuntu, Python, Scala, MongoDB, Cassandra, Hbase, HDFS, Sqoop, Hive, Pig, Kibana, Power BI, Elasticsearch, Logstach…

• Consultant .Net

  Bouygues Telecom
  Jan 2016 - Jan 2016

  • Projets :
   Refonte de l’application SPEED pour les entreprises clients de Bouygues Telecom
   Développement des procédures stockées et pour la même application en utilisant Oracle

  Environnement : SqlServer 2008 R2, T-SQL, C#, procédures stockées, Visual Studio 2012

• Consultant Big Data–

  Atos (forfait pour un client confidentiel)
  aujourd'hui

   Etude de faisabilité de connecter Ceph avec Nifi
   Installation et configuration de Hadoop sur Mesos
   Ecriture des requêtes Impala et Hive sur l’ensemble des données
   Ecriture des scripts Kafka (Producer & Consumer) en python et en scala pour gérer les sources productrices de données et consommateurs de données.
   Stockage de données dans HDFS et ElasticSearch.
   Installation et configuration de DC/OS

  Environnement : Hadoop, Python, HDFS, Hive, Scala, AWS, ElasticSearch, Mesos, DCOS, Impala, Nifi, Kafka, Ceph, Git, Maven, Ansible