Mission : Import et export de donnéesdans uneDataplatform sur GCP
Rôle et responsabilité :
- Développement Dataform (sqlx) :
o Flux d’ingestion et de transformation de données
o Préparation, dédoublonnage, gestion des rejets…
- Proposer des axes d’amélioration techniques et méthodologiques (Scrum Master)
- Assister l’équipe de recette fonctionnelle.
- Participer auxdifférents meeting Scrum (Daily,planning, review, demo…)
- Poste de transverse
Mission : POC Migration Matillion vers Dataiku
Rôle et responsabilité :
- Identifier le coût d'une migration des Uses Cases de Matillion vers la solution Dataïku
- Identifier les limitations fonctionnelles de Dataïkupar rapport à l'usage actuel de Matillion.
- Comprendre :
o L'usage de Matillion et les pratiques de dataprep dans l'équipe Ecosystème Data
o L’architecture globale, de l'acheminement des données dans le DataLake AWS jusqu'à leur consommation
o Le fonctionnellement du UC identifié pour la migration
- Effectuer la migration dans Dataïku
- Remised’un livrable de bilan, accompagné d'une estimation des coûts/risques de migration de tous les UC dans Dataïku, ainsi qu'un diagnostic des éventuelles limitations de Dataïku vs Matillion pour l'usage qui en est fait actuellement chez MH
Mission : Apport d’expertiseautour des sujets API Managment, Devops et Elasticsearch.
Rôle et responsabilité :
● Création et paramétrage de ressources Azure (API Management, DevOps , Pipeline CI/CD, Azure fonction, Python) et Paramétrage Databricks pourl’utilisation de Git
● ELK ElasticSearch (configuration FileBeat, création de pipelines d’ingestion et parsing de données)
Mission : Intégration et modélisation de données pour la construction d’un RCU. (Déduplication, Merge, Master Data Management, etc.)
Rôle et responsabilité :
● Participation à la réponse de l'appel d'offre
● Préconisation et validation des composants Azure nécessaire au projet
● Conception de l’architecture technique/data en collaboration avec l’AT et le DP :
• Evaluation, conception et optimisation de l’architecture (Stockage, Traitement, Visualisation)
• Rédaction de DAT
● Tech Lead : conception technique, encadrement, formation, suivi, …
● Développement Matillion, Snowflake, PostegreSql, Python, Git.
● Azure Cloud,Devops, CI/CD, Agile Scrum
● Exploitation en Production
● RGPD et anonymisation des données
● Rédaction de documents techniques et d'exploitation
Mission : Intégration et modélisation de données pour la construction d’un RCU
Rôle et responsabilité :
● Intégration de données Salesforce pour la construction d’un Datalake
● Préconisation ou validation des composants GCP nécessaires au projet
● Conception de l’architecture technique/data en collaboration avec l’AT :
• Evaluation, conception et optimisation de l’architecture (Stockage, Traitement, Visualisation)
• Rédaction de DAT
● Développement GCP (Big Query, Cloud Function, Cloud Storage, Python)
Mission : Construction d'une base historique permettant d'avoir la vision fichier brut (un genre de datalake) de tout l'entrant individu dans une base client (RBC), et un outil utilisé quotidiennement dans son exploitation.
Rôle et responsabilité :
● Développement Talend, SQLserver, Shell, Confluence
Mission : Construction d'un DATALAKE et d'un Référentiel Client Unique (RCU) à partir des données clients, ventes et magasins.
Rôle et responsabilité :
● Optimisation et accompagnement de la croissance du cluster Hadoop existant, dans le cadre des projets menés en relation avec les métiers et Maitrises d’Ouvrage concernés
● Validation de l’implémentation des composants et du dimensionnement de l’infrastructure, en relation avec les équipes Système et Exploitation
● Conception et développement des scripts en Hive, Spark, Talend et autres langages (Java, Python)
● Assurer l’exploitabilité des développements
● Maintenance du dictionnaire de données
● Reporting de l’avancement des travaux
● Proposition d’améliorations sur la mise en œuvre et l’utilisation de Hadoop
Mission : Construction d'un DATALAKE et d'un RCU à partir des données clients, trains et voyages. Rôle et responsabilité :
● Intégration de données Hdfs et Hbase en base de données Hive après analyse, typage et qualification des données
● Intégration de données (format plat, csv et json)
● Développement (spark, scala, unix, hive, hadoop)
● Calcul d’indicateurs pour des compagnes de fidélisation et de promotions pour les clients.
● Construction du RCU
Mission : Support technique de production niveau 3
● Oracle 11g, PL/SQL, Forms/report builder, Toad, windows.Mission : Support technique de production niveau 3 et gestion du référentiel de données internationales.
● AIX 5.3, RedHat 5.7, Oracle 9i/11gR2, PL SQL, KSH, Unix, windows. clearCase, ControlM, MQSeries.