Missions Ingénieur big data : Trouvez votre future mission freelance

Exemple de missions d'Abdelmonem,
Ingénieur big data habitant les Yvelines (78)

• Projet Data Quality : Ingénieur Big Data

  Client Société Générale
  Jan 2020 - aujourd'hui

  Contexte
  Afin d’assurer la conformité et l’intégrité des données, l’application Data Quality permet de
  collecter les différentes anomalies présentes dans les données des différentes sources
  (performances, évaluation, gestion administratives…)
  Le but est de créer des tickets dans l’API Qoda et de notifier les entités responsables de ces
  rejets afin de corriger ces anomalies et de ne pas les reproduire.
  
  Réalisations
  ▪ Développement des vues Hive permettant de collecter les rejets des différentes
  sources
  ▪ Développement d’un job spark permettant de qualifier les rejets avec des tables
  PostgreSQL, et de créer des tickets dans l’API QODA
  ▪ Sauvegarde des rejets dans une table PostgreSQL pour le but d’analyser les rejets
  et leurs statuts
  ▪ Notification des entités concernées par email
  ▪ Automatisation des jobs avec des Coordination/Workflows Oozie
  ▪ Réalisation des tests unitaires
  ▪ Déploiement et intégration continue avec Jenkins, Ansible, Nexus et Maven en
  assistant les équipes MCO
  ▪ Envoie des logs vers ElasticSearch

  Environnement : Spark, Scala, Kafka, HDFS, Hive, Hue, Oozie, PostgreSQL, Jenkins, Ansible

• projet CEM BB : Développeur Big Data

  Client Orange
  Jan 2018 - Jan 2020

  Contexte
  Le cas d’usage CEM Broadband (Customer Experience Management Broad Band)
  s’intéresse à l’instabilité des clients sur le réseau fixe (boxes internet et décodeur TV
  principalement).Il s’agit dans le cadre de ce cas d’usage, de piloter le nombre de clients
  instables par mois. Le but du projet est de voir ce nombre décroître au fil du temps.
  Réalisations
  - Implémentation de deux workflows pour calculer des kpis journaliers et mensuels.
  - Implémentation d’un workflow purge qui permet de nettoyer des données hive qui
  datent de plus que 24 mois.

  Environnement : Ambari , hive, hdfs,HBase, maven 2, yarn, shell, oozie, jenkins, GitLab, jira Méthodologie : Agile Scrum

• Projet ImageSearch : Développeur Big

  Client Ooredoo Tunisie
  Jan 2017 - Jan 2017

  Contexte
  Le projet ImageSearch consiste à développer une plateforme transversale de recherche
  d’images des documents à partir du texte qu’elles contiennent.
  Le but étant de pouvoir faire une recherche par mot clé ou de texte sur un référentiel des
  documents et de pouvoir les restituer par la suite depuis une interface Web.
  L’architecture de l’application repose sur Elasticsearch pour l’indexation de texte, Hbase pour
  le stockage des images au format binaire et deux libraires de reconnaissance optique de
  caractères ROC (leptonica et tesseract).
  Réalisations
  ▪ Développement du module ROC pour l’extraction du texte à partir d’images ou de
  fichiers vectoriels (PDF) ;
  ▪ Développement du job Spark de stockage du texte dans Elasticsearch et de l’image
  dans Hbase utilisant le module ROC et définissant un identifiant unique servant
  comme rowKey Hbase et id dans l’index elasticsearch pour chaque fichier traité ;
  ▪ Développement d’une interface Web pour l’upload puis la recherche et la restitution
  des images.

  Environnement Spark, scala, Hbase, Elasticsearch, Docker, spring boot, Angular 2.

• ARDIA (ACTIA Groupe) : Client PSA – Projet DiagBox
  Jan 2016 - Jan 2017

  Contexte
  Le projet DiagBox est une application desktop qui consiste à développer les chaînes de
  diagnostic des automobiles en des interfaces IHM
  
  Réalisations
  ▪ Implémentation des scripts Perl pour parser des fichiers XML de diagnostic des
  automobiles et transformer les différentes mailles en des composant IHM d’eclipse
  RCP en utilisant le framwork SWT
  ▪ Maintenance de l’application : analyse des incidents

  Environnement Java, Perl, eclipse RCP, SWT, OSGi

• Projet HR Data : Ingénieur Big Data

  aujourd'hui

  Contexte
  Le projet HR Data vise à collecter des données des différents macro-process (Formation,
  Évaluation, Gestion Administrative …) pour le but construire une base standard,
  Réalisations
  - Monitoring et analyse des incidents dans la production
  - Implémentation des nouvelles sources
  - Récupération et transformation du csv en json pour la source EVAL dans le NiFi
  - Dépôt du fichier généré par l’extract dans un S3

  Environnement : S3, kafka ,spark, scala, HDFS, Hive, NiFi, Kafka, ElasticSearch, Kibana