Freelance Google Cloud Platform : Repérez les talents qui vous manquent

Résumé des emplois de Mohammed,
freelance GOOGLE CLOUD PLATFORM habitant le Val-d'Oise (95)

• Lead Data Engineer

  Zodiac Maritime
  Jan 2022 - aujourd'hui

  Migration d'énormes volumes de données historiques d'Oracle 10 vers Azure SQL Database.
  ● Construire un entrepôt de données de classe mondiale dans Azure.
  ● Travailler avec des analystes commerciaux, le business et le directeur de programme pour créer
  une feuille de route de migration de notre base de données Oracle sur site vers Azure Cloud.
  ● Recodage des SQL volumineux et lents dans Oracle pour améliorer le traitement des données
  ● Construire des modèles de données efficaces, introduire des normes de développement de base de
  données, gérer l'architecture de données de bout en bout pour l'entrepôt de données afin de
  permettre une exécution optimale et rapide des pipelines de données de production.
  ● Approche DevOps préconisée et appliquée pour mettre en œuvre des pipelines d'intégration
  continue et de livraison continue (CI/CD).
  ● Intégrer les fonctionnalités techniques, assurer l'accessibilité, l'exactitude et la sécurité des
  données.

  Environnement: Oracle, Azure, Azure Data Factory, Azure DevOps, SQL, Docker, Terraform, JIRA, Git

• Lead Data Engineer & Architecte des données

  Huboo
  Jan 2022 - Jan 2022

  Utilisation d'une technologie de pointe sur AWS pour créer un entrepôt de données de classe
  mondiale dans Snowflake à partir de zéro.
  ● Travailler côte à côte avec des ingénieurs DevOps, des Data Scientists et des Software Engineers
  hautement qualifiés pour créer des produits et services de données puissants, améliorant ainsi
  l'expérience de nos clients.
  ● Travailler quotidiennement avec une grande base de code Python, trouvant des erreurs courantes
  et de mauvais modèles de données et les corrigeant.
  ● Rédaction de tests unitaires, d'intégration et de tests end to end.
  ● Recodage des tâches Pyspark volumineuses et lentes dans AWS Glue pour améliorer le traitement
  des données
  ● Effectuer des modélisations de données et des améliorations architecturales pour permettre une
  exécution optimale et rapide des pipelines de données de production.
  ● Approche DevOps préconisée et appliquée pour mettre en œuvre des pipelines d'intégration
  continue et de livraison continue (CI/CD).
  ● Gestion de l'architecture de données de bout en bout, depuis la sélection de la plate-forme et des
  outils, la conception de l'architecture technique et le développement de la solution jusqu'au test final
  de la solution.
  ● Développer et mettre en œuvre une stratégie globale de données organisationnelles qui est en
  ligne avec les processus d’entreprise. Cette stratégie comprend la conception de modèles de
  données, les normes de développement de bases de données, la mise en oeuvre et la gestion
  d'entrepôts de données et de systèmes d'analyse de données
  ● Intégrer les fonctionnalités techniques, assurer l'accessibilité, l'exactitude et la sécurité des
  données.

  Environnement: Python 3, AWS, Snowflake, PostgreSQL, Pyspark, ECS, Fargate, Azure DevOps, Airflow, Docker, Kubernetes, Terraform, JIRA, Git

• Sénior Data Engineer

  HSBC
  Jan 2021 - Jan 2022

  Utiliser des technologies de pointe sur GCP pour créer des pipelines de données de classe
  mondiale (en batch & en temps réel) et des services de données
  ● Construire et maintenir une plate-forme en libre-service pour aider les équipes de modélisation de
  données à être aussi autonomes que possible sans avoir à se soucier de l'infrastructure et du
  déploiement
  ● Travaillez côte à côte avec des ingénieurs DevOps, des ingénieurs ML, des Data Scientist et des
  Software Engineers hautement qualifiés pour créer des produits et services de données puissants
  (y compris MLOps) qui amélioreraient vraiment l'expérience de nos clients.
  ● Amélioration des services d'API backend.
  ● Travailler quotidiennement avec une grande base de code Python et Pyspark, trouvant des erreurs
  courantes et de mauvais modèles de données et les corrigeant.
  ● Fournir une architecture de solution dans GCP pour des projets à grande échelle utilisant à la fois le
  des processus de streaming et de batch (axé sur DataProc / Spark)
  ● Rédaction de tests unitaires, d'intégration et de tests de bout en bout.
  ● Extraire et ingérer des données à partir d'une grande variété d'API afin d'enrichir et de soutenir
  l'analyse interne.
  ● Effectuer des modélisations de données et des améliorations architecturales pour permettre une
  exécution optimale et rapide du pipeline de données de production afin de soutenir tous les
  aspects, de la stratégie d'entreprise à l'acquisition d'utilisateurs.
  ● Travailler avec les parties prenantes de l'entreprise en interne, y compris au plus haut niveau, pour
  planifier une feuille de route et conseiller sur la meilleure stratégie de solution cloud qui soit rentable
  et efficace.
  ● Suivre la méthodologie Agile Scrum pour travailler en étroite collaboration avec différentes équipes
  afin de réaliser des sprints dans une approche incrémentale et itérative.
  ● Approche DevOps préconisée et appliquée pour mettre en œuvre des pipelines d'intégration
  continue et de livraison continue (CI/CD).

  Environnement: Python 3, SwaggerUI, Google Cloud Platform, BigQuery, Pyspark, PostgreSQL, GCP Datastore, Airflow, Docker, Kubernetes, Terraform, Ansible, JIRA, Git

• Sénior Data Engineer

  Epidemic Sound
  Jan 2020 - Jan 2021

  ● Travailler avec les parties prenantes de l'entreprise en interne et concevoir des modèles de
  données pour soutenir quantitativement tout ce qui va de la stratégie d'entreprise à l'acquisition
  d'utilisateurs.
  ● Modélisation des entrepôts de données et des marts de données et amélioration de l'architecture
  des données pour permettre une exécution optimale et rapide du pipeline de données de
  production.
  ● Construire et concevoir des sources de données robustes et efficaces pour permettre une
  extraction rapide et efficace des données pour l'analyse, les rapports et les tableaux de bord
  ● Configurer et créer des outils d'analyse, à la fois via des logiciels développés en interne et sur
  Google Cloud Platform.
  ● Agir en tant que partie prenante et collaborer avec les équipes d'ingénieurs pour mettre en place
  l'infrastructure et le suivi nécessaires.
  ● Collaborer avec des Data Scientists, des analystes et des ingénieurs ML pour produire des
  solutions qui mettre à jour le business.
  ● Maintenir des normes élevées de qualité logicielle et SRE au sein de l'équipe en établissant de
  bonnes pratiques et habitudes.

  Environnement: Python 3, PostgreSQL, Google Cloud Platform, BigQuery, Dataflow, Airflow, Docker, Kubernetes, Terraform, Data Studio, JIRA, Confluence, Git

• Sénior Data Engineer

  IKEA
  Jan 2020 - Jan 2020

  Assurer la liaison avec la communauté des commerciales et technologique pour recueillir les
  exigences fonctionnelles et non fonctionnelles
  ● Effectuer la modélisation des données et les améliorations architecturales pour permettre une
  exécution optimale et rapide du pipeline de données de production.
  ● Construire et concevoir des sources de données robustes et efficaces pour permettre une
  extraction rapide et efficace des données pour l'analyse, les rapports et les tableaux de bord
  ● Créer des ensembles de données riches qui constituent la base des rapports en libre-service
  ● Création de pipelines ETL avec parallélisme et dépendances à l'aide d'Apache Airflow.
  ● Coordination avec les analystes commerciaux, les architectes de données et les principaux
  utilisateurs commerciaux et décideurs C-level pour créer des solutions sur mesure.
  ● Organiser et animer des sessions de renforcement des capacités pour améliorer les compétences
  des parties prenantes.
  ● Mise en oeuvre de solutions de support et de suivi fondées sur les meilleures pratiques.

  Environnement: SQL, Python 3, Google Cloud Platform, BigQuery, Dataflow, Terraform, Tableau, Airflow, JIRA, Confluence, Git

• Sénior Data Engineer

  Inmarsat Plc
  Jan 2019 - Jan 2020

  ● Migrer les données client, de facturation et satellite sensibles d'Oracle 9 vers Google Cloud
  Platform et faire évoluer l'organisation vers un statut Cloud-First.
  ● Création de pipelines ETL avec parallélisme et dépendances à l'aide d'Apache Airflow.
  ● Exécution de tâches Pyspark pour consommer et traiter une grande quantité de données en
  Terabytes.
  ● Identification des endroits permettant de réduire les coûts de stockage BigQuery et
  Cloud Composer dans le cadre du projet, ce qui permettra de réaliser des économies annuelles
  estimées à £36 000.
  ● Coordination avec les chefs de projet, lespProduct pwners, les architectes de données et les
  principaux utilisateurs commerciaux et décideurs C-level pour créer des solutions sur mesure.
  ● Effectuer des améliorations architecturales pour permettre une exécution optimale et rapide du
  pipeline de données de production.
  ● Organiser et animer des sessions de renforcement des capacités pour améliorer les compétences
  des parties prenantes.
  ● Diriger et soutenir l'équipe de développement et l'équipe QA, composées de 6 membres.
  ● Mise en oeuvre de solutions de support et de suivi fondées sur les meilleures pratiques.
  ● Maintenir une compréhension approfondie des technologies courantes et émergentes qui aideront
  l'équipe à fournir des solutions de qualité.
  ● Travailler au sein d’équipes agiles interfonctionnelles avec la responsabilité de bout en bout du
  développement de produits

  Environnement: Oracle, Python 3, Google Cloud Platform, BigQuery, Pyspark, Dataflow, Data Studio, Tableau, Airflow, Docker, Terraform, JIRA, Confluence, Git

• Sénior Data Engineer

  Mango Business Solutions
  Jan 2018 - Jan 2019

  ● Data Engineer ...