EXPERIENCES PROFESSIONNELLES
EXPERIENCES PROFESSIONNELLES
Lead Data Engineer Octobre 2022 - à ce jour
Zodiac Maritime
● Migration d'énormes volumes de données historiques d'Oracle 10 vers Azure SQL Database.
● Construire un entrepôt de données de classe mondiale dans Azure.
● Travailler avec des analystes commerciaux, le business et le directeur de programme pour créer une feuille de route de migration de notre base de données Oracle sur site vers Azure Cloud.
● Recodage des SQL volumineux et lents dans Oracle pour améliorer le traitement des données
● Construire des modèles de données efficaces, introduire des normes de développement de base de données, gérer l'architecture de données de bout en bout pour l'entrepôt de données afin de permettre une exécution optimale et rapide des pipelines de données de production.
● Approche DevOps préconisée et appliquée pour mettre en œuvre des pipelines d'intégration continue et de livraison continue (CI/CD).
● Intégrer les fonctionnalités techniques, assurer l'accessibilité, l'exactitude et la sécurité des données.
Environnement: Oracle, Azure, Azure Data Factory, Azure DevOps, SQL, Docker, Terraform, JIRA, Git
Lead Data Engineer & Architecte des données Mai 2022– Octobre 2022
Huboo
● Utilisation d'une technologie de pointe sur AWS pour créer un entrepôt de données de classe mondiale dans Snowflake à partir de zéro.
● Travailler côte à côte avec des ingénieurs DevOps, des Data Scientists et des Software Engineers hautement qualifiés pour créer des produits et services de données puissants, améliorant ainsi l'expérience de nos clients.
● Travailler quotidiennement avec une grande base de code Python, trouvant des erreurs courantes et de mauvais modèles de données et les corrigeant.
● Rédaction de tests unitaires, d'intégration et de tests end to end.
● Recodage des tâches Pyspark volumineuses et lentes dans AWS Glue pour améliorer le traitement des données
● Effectuer des modélisations de données et des améliorations architecturales pour permettre une exécution optimale et rapide des pipelines de données de production.
● Approche DevOps préconisée et appliquée pour mettre en œuvre des pipelines d'intégration continue et de livraison continue (CI/CD).
● Gestion de l'architecture de données de bout en bout, depuis la sélection de la plate-forme et des outils, la conception de l'architecture technique et le développement de la solution jusqu'au test final de la solution.
● Développer et mettre en œuvre une stratégie globale de données organisationnelles qui est en ligne avec les processus d’entreprise. Cette stratégie comprend la conception de modèles de données, les normes de développement de bases de données, la mise en oeuvre et la gestion d'entrepôts de données et de systèmes d'analyse de données
● Intégrer les fonctionnalités techniques, assurer l'accessibilité, l'exactitude et la sécurité des données.
Environnement: Python 3, AWS, Snowflake, PostgreSQL, Pyspark, ECS, Fargate, Azure DevOps, Airflow, Docker, Kubernetes, Terraform, JIRA, Git
Lead Data Engineer Octobre 2022 - à ce jour
Zodiac Maritime
● Migration d'énormes volumes de données historiques d'Oracle 10 vers Azure SQL Database.
● Construire un entrepôt de données de classe mondiale dans Azure.
● Travailler avec des analystes commerciaux, le business et le directeur de programme pour créer
une feuille de route de migration de notre base de données Oracle sur site vers Azure Cloud.
● Recodage des SQL volumineux et lents dans Oracle pour améliorer le traitement des données
● Construire des modèles de données efficaces, introduire des normes de développement de base de
données, gérer l'architecture de données de bout en bout pour l'entrepôt de données afin de
permettre une exécution optimale et rapide des pipelines de données de production.
● Approche DevOps préconisée et appliquée pour mettre en œuvre des pipelines d'intégration
continue et de livraison continue (CI/CD).
● Intégrer les fonctionnalités techniques, assurer l'accessibilité, l'exactitude et la sécurité des
données.
Environnement: Oracle, Azure, Azure Data Factory, Azure DevOps, SQL, Docker, Terraform, JIRA,
Git
Lead Data Engineer & Architecte des données Mai 2022– Octobre 2022
Huboo
● Utilisation d'une technologie de pointe sur AWS pour créer un entrepôt de données de classe
mondiale dans Snowflake à partir de zéro.
● Travailler côte à côte avec des ingénieurs DevOps, des Data Scientists et des Software Engineers
hautement qualifiés pour créer des produits et services de données puissants, améliorant ainsi
l'expérience de nos clients.
● Travailler quotidiennement avec une grande base de code Python, trouvant des erreurs courantes
et de mauvais modèles de données et les corrigeant.
● Rédaction de tests unitaires, d'intégration et de tests end to end.
● Recodage des tâches Pyspark volumineuses et lentes dans AWS Glue pour améliorer le traitement
des données
● Effectuer des modélisations de données et des améliorations architecturales pour permettre une
exécution optimale et rapide des pipelines de données de production.
● Approche DevOps préconisée et appliquée pour mettre en œuvre des pipelines d'intégration
continue et de livraison continue (CI/CD).
● Gestion de l'architecture de données de bout en bout, depuis la sélection de la plate-forme et des
outils, la conception de l'architecture technique et le développement de la solution jusqu'au test final
de la solution.
● Développer et mettre en œuvre une stratégie globale de données organisationnelles qui est en
ligne avec les processus d’entreprise. Cette stratégie comprend la conception de modèles de
données, les normes de développement de bases de données, la mise en oeuvre et la gestion
d'entrepôts de données et de systèmes d'analyse de données
● Intégrer les fonctionnalités techniques, assurer l'accessibilité, l'exactitude et la sécurité des
données.
Environnement: Python 3, AWS, Snowflake, PostgreSQL, Pyspark, ECS, Fargate, Azure DevOps,
Airflow, Docker, Kubernetes, Terraform, JIRA, Git
Sénior Data Engineer Juin 2021 – Mai 2022
HSBC
● Utiliser des technologies de pointe sur GCP pour créer des pipelines de données de classe
mondiale (en batch & en temps réel) et des services de données
● Construire et maintenir une plate-forme en libre-service pour aider les équipes de modélisation de
données à être aussi autonomes que possible sans avoir à se soucier de l'infrastructure et du
déploiement
● Travaillez côte à côte avec des ingénieurs DevOps, des ingénieurs ML, des Data Scientist et des
Software Engineers hautement qualifiés pour créer des produits et services de données puissants
(y compris MLOps) qui amélioreraient vraiment l'expérience de nos clients.
● Amélioration des services d'API backend.
● Travailler quotidiennement avec une grande base de code Python et Pyspark, trouvant des erreurs
courantes et de mauvais modèles de données et les corrigeant.
● Fournir une architecture de solution dans GCP pour des projets à grande échelle utilisant à la fois le
des processus de streaming et de batch (axé sur DataProc / Spark)
● Rédaction de tests unitaires, d'intégration et de tests de bout en bout.
● Extraire et ingérer des données à partir d'une grande variété d'API afin d'enrichir et de soutenir
l'analyse interne.
● Effectuer des modélisations de données et des améliorations architecturales pour permettre une
exécution optimale et rapide du pipeline de données de production afin de soutenir tous les
aspects, de la stratégie d'entreprise à l'acquisition d'utilisateurs.
● Travailler avec les parties prenantes de l'entreprise en interne, y compris au plus haut niveau, pour
planifier une feuille de route et conseiller sur la meilleure stratégie de solution cloud qui soit rentable
et efficace.
● Suivre la méthodologie Agile Scrum pour travailler en étroite collaboration avec différentes équipes
afin de réaliser des sprints dans une approche incrémentale et itérative.
● Approche DevOps préconisée et appliquée pour mettre en œuvre des pipelines d'intégration
continue et de livraison continue (CI/CD).
Environnement: Python 3, SwaggerUI, Google Cloud Platform, BigQuery, Pyspark, PostgreSQL, GCP
Datastore, Airflow, Docker, Kubernetes, Terraform, Ansible, JIRA, Git
Sénior Data Engineer Octobre 2020 - Juin 2021
Epidemic Sound
● Travailler avec les parties prenantes de l'entreprise en interne et concevoir des modèles de
données pour soutenir quantitativement tout ce qui va de la stratégie d'entreprise à l'acquisition
d'utilisateurs.
● Modélisation des entrepôts de données et des marts de données et amélioration de l'architecture
des données pour permettre une exécution optimale et rapide du pipeline de données de
production.
● Construire et concevoir des sources de données robustes et efficaces pour permettre une
extraction rapide et efficace des données pour l'analyse, les rapports et les tableaux de bord
● Configurer et créer des outils d'analyse, à la fois via des logiciels développés en interne et sur
Google Cloud Platform.
● Agir en tant que partie prenante et collaborer avec les équipes d'ingénieurs pour mettre en place
l'infrastructure et le suivi nécessaires.
● Collaborer avec des Data Scientists, des analystes et des ingénieurs ML pour produire des
solutions qui mettre à jour le business.
● Maintenir des normes élevées de qualité logicielle et SRE au sein de l'équipe en établissant de
bonnes pratiques et habitudes.
Environnement: Python 3, PostgreSQL, Google Cloud Platform, BigQuery, Dataflow, Airflow, Docker,
Kubernetes, Terraform, Data Studio, JIRA, Co...