Fares - Data Engineer

Ref : 221020S002

Domicile

94320 THIAIS (Tunisie)
Profil

Data Analyst (28 ans)
Statut

Freelance
Tarif Journalier Moyen
Voir le tarif

Compétences

APACHE SPARK

SCALA

AZURE

Cloudera

APACHE KAFKA

SQL

APACHE HADOOP

Expériences professionnelles

Ingénieur Big Data

Boursorama
Jan 2021 - aujourd'hui
Contexte du projet : Développement des jobs temps réel et des tests unitaires et la
mise en place des scénarios métier ainsi que la Conception et la migration des
scénarios de conformité métier.
Tâches effectuées :
• Benchmarking et application de l’allocation dynamique sur Zeppelin pour
optimiser l’utilisation des ressources.
• Développement d’un job temps réel afin de valoriser des données Kafka dans des
tables Cassandra après traitements.
• Développement des tests unitaires.
• Développement d’un job Spark en Python afin d’appliquer les règles métier et le
déployer sur Jenkins.
• Migration des scénarios de conformité afin d’optimiser la qualité des alertes par
une méthode intelligente Machine Learning.
• Conception des tables et la solution à appliquer (les tables référentiels, tables
agrégations …).
• Compréhension des règles métiers et les sources des données à utiliser.
• Développement d’un job Spark en scala générique configurable pour les 23
scénarios métier.
• Réalisation d’une phase recette avec les métiers.
• Participation à la création d’un process NIFI pour envoyer les alertes générées à
Oxygéné.
• Documentation des règles métier et les choix technique sur Confluence.
• Participation à la création des taches Jira.
Environnement technique : Hadoop, Kafka, Spark, Scala, Pyspark, Hive, Cassandra, Nifi, Intellij (SBT), Jenkins
Ingénieur Big Data – Azure Cloud

Orange
Jan 2019 - Jan 2021
Contexte du projet : Migration d’une base de données oracle ainsi que plus de 30 jobs
et 100 rapports de sending vers une plateforme Big data Azure.
Tâches effectuées :
• Etude et compréhension des différentes problématiques relatives aux différents use
cases, compréhension et mesure des enjeux métier.
• Benchmarking des différentes solutions relatives à chaque use case.
• Développement de jobs (Processor Group) de collection de données par Nifi en
les stockant dans Datalake Storage GEN2.
• Traitements des flux des données en déployant un job Template Spark sur
Databricks (Scala).
• Développement de jobs Spark Scala sur Databricks afin de migrer les différents
rapports de sending à partir de l’ancienne solution.
• Optimisation de code spark afin de garantir des performances optimales.
• Définition du dimensionnement adéquat à chaque job selon les différentes
ressources demandées.
• Développement d’un Job spark scala en temps réel afin de valoriser les données
gestionner via Event Hub dans une base de données Cosmos
• Réalisation d’une phase de recette des différents jobs via des requêtes SQL en
effectuant une étude comparative avec l’ancienne solution afin de vérifier
l’intégrité des données.
• Planification et ordonnancement des services avec Data Factory.
• Pilotage des opérations de maintenance corrective et évolutive et Monitoring
des différents jobs via des alertes et envoi de mails.
Environnement technique : Azure, Spark Databricks, Scala, Cosmos, Data Factory, Nifi, Event Hub,Datalake Storage Gen2.
Ingénieur Data

Sofrecom
Jan 2018 - Jan 2019
Contexte du projet : Mis en place d’un système de prédiction permettant d’anticiper
la saturation d’appels dans un centre de contact et garantir une expérience client
optimale.
Tâches effectuées :
• Animation de workshops avec l’équipe métier pour le recueil des besoins et la
rédaction des spécifications fonctionnelles.
• Recueil du besoin technique et étude des choix technologiques possibles.
• Définition des différents KPIs et indicateurs en se basant sur une étude statistique
unidimensionnelle et bidimensionnelle et validation avec les managers.
• Extraction de la donnée d’une base de données SQL vers l’infrastructure Hadoop
via Sqoop.
• Nettoyage, analyse et exploration des données afin de construire un modèle
optimal
• Réalisation d’études statistiques unidimensionnelles et bidimensionnelles afin de
définir la distribution des datasets
• Benchmarking et évaluation des performances de 3 modèles de régression
(arbre de décision, foret aléatoire, XGBoost)
• Définition des différentes classes de tenant FCC « Clustering ».
• Prédiction du nombre d’appel par service (Régression) afin d’anticiper une
éventuelle saturation et afin de garantir une expérience client optimale
• Développement des différents dashboards sous PowerBI Afin de mettre en valeur
les résultats obtenus.
Environnement technique : VMware (Cloudera), Spark, Pyspark ,HDFS, SQLserver, Sqoop, PowerBI, Clustering (Kmeans), Régression (arbre de décision, foret aléatoire, XGBoost)

Études et formations

Diplôme d'ingénieur en Big Data –

ESC (membre institut mine Télécoms)
2018
Diplôme d’étude universitaire du premier cycle

39/1500 (Diplôme des classes préparatoires).
2015

Autres compétences

Expertise technique
â Big DATA: Hadoop, Spark (Scala & Python), Spark Structured Streaming, Spark
Streaming, Kafka, Nifi, HDFS, Event Hub, Databricks, Hive, Cosmos, Datalake
Storage Gen2, HUE.
â Langages de Programmation : Scala, Python.
â Outils de développement : Intellij(SBT,Maven),Spyder, Jupyter…
â Méthodologies : Méthodes Agiles, Scrum,Jira.
â Base de données : Hbase, SQL,Oracle, Datalake Storage Gen2, Cosmos.