Responsabilités occupées Google Cloud Data Engineer
Devoteam G Cloud
5/2024 - 12/2024
Sujet du projet
Plan d’Action Commerciale
Contexte général
Chez Devoteam GCloud, j’ai travaillé sur des projets stratégiques centrés sur
l’écosystème Google Cloud Platform (GCP). Mon rôle a principalement consisté à
explorer des solutions innovantes, à concevoir et à mettre en œuvre des POCs pour
démontrer la valeur des services de GCP dans des cas concrets, notamment des
migrations de données et des optimisations de workflows cloud..
Tâches réalisées
Réalisation de POCs migration sur Google Cloud Platform pour un client
 Conception et mise en œuvre de solutions de migration de données vers GCP, utilisant des
services tels que BigQuery, Cloud Storage.
 Création de pipelines de données pour intégrer des systèmes existants avec les outils GCP.
Automatisation et optimisation des processus sur GCP
 Optimisation des workflows pour réduire les coûts et améliorer la performance sur GCP.
Analyse et documentation des solutions Google Cloud
 Analyse des architectures existantes pour identifier les opportunités de migration vers GCP.
 Production de rapports techniques détaillés et recommandations basées sur les résultats des
POC.
Formation et veille technologique
 Participation à des ateliers sur les services GCP (BigQuery, Compute Engine, IAM).
 Veille sur les dernières innovations Google Cloud pour anticiper les évolutions technologiques.
Environnement
technique
Logiciels Gitlab CI/CD, PostgreSQL
Langages SQL
Technologies Google Cloud, BigQuery, Composer Airflow, Google Cloud
SQL, Compute Engine, IAM
Méthodes Agile SCRUM
Responsabilités occupées Analytics Engineer
Groupe Renault
10/2022 - 2/2024
Sujet du projet
Plan d’Action Commerciale
Contexte général
Dans le cadre de sa stratégie globale, la Direction Marketing de Renault a souhaité
développer un outil centralisé permettant aux équipes des différentes filiales à travers le
monde d’utiliser des données (gammes de véhicules, volumes de ventes prévisionnels,
commandes, prix de vente, coûts de revient, offres commerciales, offres de financement,
etc.) pour simuler différents scénarios de gestion commerciale et optimiser leurs
stratégies.
l’objectif de l'application était de fournir aux utilisateurs finaux une interface pour
manipuler, ajuster et simuler les données commerciales à partir d’un environnement
unifié. Ces données, une fois agrégées et structurées étaient stockées dans Cloud SQL
pour être utilisées par cette application de simulation.
Tâches réalisées
Gestion et structuration des données pour l’application de simulation
 Collecte et agrégation des données commerciales existantes provenant de plusieurs sources
internes (gammes de véhicules, volumes de ventes prévisionnels, prix de vente, coûts, etc.) en
collaboration avec les équipes métier.
 Conception d’une base de données relationnelle dans BigQuery pour stocker et organiser ces
données, permettant ainsi leur utilisation fluide dans l'application de simulation.
Mise en place de pipelines automatisés pour l'intégration des données
 Utilisation d’Airflow pour automatiser l’envoi et la mise à jour des données dans BigQuery à
partir des systèmes internes existants (par exemple, des systèmes de gestion des ventes, de
pricing et des commandes).
 Transfert des données vers Cloud SQL.
Suivi et amélioration continue du système de simulation
 Suivi des performances de l’application de simulation après son déploiement, en tenant compte
des retours des utilisateurs pour améliorer la réactivité et la précision des scénarios simulés.
 Mise à jour régulière des processus d’intégration et de traitement des données pour intégrer de
nouvelles fonctionnalités ou répondre aux besoins évolutifs des filiales commerciales.
Environnement
technique
Logiciels Gitlab CI/CD, PostgreSQL
Langages SQL, Python
Technologies Google Cloud, BigQuery, Composer Airflow, Google Cloud SQL
Méthodes Agile SCRUM, Kanban
Responsabilités occupées Analytics Engineer
Groupe Renault
7/2020 - 10/2022
Sujet du projet
Supply Chain – R3
Contexte général
Renault a entrepris de moderniser ses outils de gestion et d’analyse des données de la
Supply Chain. L'objectif était de mettre en place une solution capable de traiter à la fois
les données prévisionnelles et réelles de la production mondiale pour améliorer la prise
de décision. Cela impliquait de créer des tableaux de bord à destination des équipes
métiers, afin d'optimiser la gestion des stocks, des délais de livraison, et de la production.
Cette mission comprenait également une migration stratégique des données d’un Data
Warehouse basé sur Hadoop (~80 To) vers Google Cloud, avec BigQuery comme
solution de stockage et d’analyse des données dans le cloud. Ce projet s'inscrivait dans
le cadre de la transition de Renault vers une infrastructure cloud plus flexible, scalable et
performante.
Tâches réalisées
Mise en place d’un outil de traitement des données Supply Chain
 Collaboration avec les équipes métiers de la Supply Chain pour comprendre les besoins fonctionnels
et définir les indicateurs clés de performance (KPI) à surveiller.
 Conception et mise en place d’un pipeline de traitement des données issues des systèmes de gestion
de production et des prévisions de ventes.
 Transformation et enrichissement des données pour permettre des analyses complexes sur les
performances de production et la gestion des stocks à l’échelle mondiale.
Migration des données vers Google Cloud
 Planification et exécution de la migration du Data Warehouse Hadoop vers Google Cloud, en suivant
les meilleures pratiques de migration.
 Mise en place de pipelines d'Extraction, Transformation et Loading via DataLake Loader (ETL utilisé
chez Renault basé sur des fichiers de configuration json) pour transférer et transformer les données
tout en assurant leur intégrité et qualité.
 Utilisation de Composer Airflow pour l'ordonnancement des tâches de traitement des données.
 Monitoring et ajustement des performances après migration pour assurer que le système cloud
réponde aux besoins opérationnels en termes de scalabilité et de coûts.
Création de tableaux de bord pour la Supply Chain
 Développement de dashboards dynamiques à destination des équipes métiers (logistique,
approvisionnement, production) en utilisant l'outil Spotfire puis Looker (après migration).
 Intégration des données prévisionnelles et réelles (planification de la production, stocks, taux de
service) dans ces tableaux de bord pour fournir une vue d’ensemble précise et en temps réel des
opérations.
Elaboration d’une solution de parallélisation des jobs de traitement de données pour gain de temps
 Optimisation des requêtes SQL pour tirer parti des fonctionnalités avancées de BigQuery, notamment
pour les analyses en temps réel sur de grandes quantités de données.
 Optimisation des traitements pipelines pour une meilleure utilisation des ressources et de
l'infrastructure.
Mise en place et optimisé des pipelines CI/CD
 Création d'images Docker pour les applications et les scripts de traitement de données
 Tests et validation des déploiements dans des environnements isolés
Environnement
technique
Logiciels Looker Studio, Gitlab, TIBCO Spotfire
Langages SQL, Python
Technologies Google Cloud, BigQuery, Composer Airflow, Google Cloud SQL
Méthodes Agile SCRUM
Responsabilités occupées Data Analyst
Groupe Renault
1/2019 - 6/2020
Sujet du projet
Car Data Usage (Connected cars)
Contexte général
Renault, en tant que leader mondial dans l'industrie automobile, a développé une
stratégie axée sur l'exploitation des données des véhicules connectés. Ces véhicules,
équipés de capteurs et de dispositifs génèrent des volumes massifs de données en
temps réel. Ces données incluent des informations sur le comportement de conduite,
l'état du véhicule, les conditions environnementales, et bien d'autres indicateurs
techniques et opérationnels.
Ma mission principale était de récolter, traiter et analyser ces données dans le but
d'optimiser la maintenance prédictive, d'améliorer l'expérience utilisateur, et de contribuer
au développement de futurs véhicules autonomes et intelligents.
L'écosystème Hadoop permettant de traiter de larges volumes de données distribuées,
était au cœur de cette mission
Tâches réalisées
Récolte et Ingestion de données
 Collecte des données brutes issues des capteurs installés sur les véhicules connectés.
 Implémentation des workflows de collecte et de traitement des données en utilisant Oozie, un moteur
de workflows pour orchestrer les jobs Hadoop.
Transformation, traitement et analyse des données
 Utilisation de Hive pour effectuer des requêtes SQL afin d’analyser les grandes quantités de données
stockées dans HDFS (Hadoop Distributed File System)
 Nettoyage et transformation des données pour les rendre exploitables dans des analyses ultérieures
(identification des valeurs aberrantes, gestion des données manquantes).
 Analyse des données collectées pour détecter des schémas de conduite, des comportements
inhabituels, ou des pannes potentielles.
 Création de rapports d’analyse descriptive et prédictive à destination des équipes techniques et
métiers
Automatisation des processus
 Automatisation des workflows de traitement de données via Oozie pour garantir une collecte et une
analyse en temps réel ou à intervalles réguliers des données des véhicules.
 Optimisation des processus d’ingestion et de traitement pour minimiser les temps de traitement des
données massives.
Documentation et Repor...