Data Engineer AWS

La mission consiste à intégrer une équipe projet dans la mise en œuvre d’applicatifs métier dans la nouvelle architecture de type Big Data et la réalisation de nouvelles applications ou la migration d’applications existantes vers cette nouvelle architecture.

• Conseil, Audit et Maitrise d’œuvre
• Études d’opportunité, cadrage de projet d’intégration de données et aide au choix de solution
• Accompagnement à la mise en place de Data Lake / Big Data.
• Accompagnement de profil junior.
• Conception et développement de flux d’intégration des données (ETL, ELT, streaming , API ...)
• Conception et mise en œuvre de plateformes On Premise ou Cloud de stockage des données dans un Data Lake (Big Data)
• Mise en place de platefome Cloud (OVH, AWS, Azure, GCP, OutScale etc.)
• Migration des données
• Move to Cloud
• Qualités requises pour réussir dans ce rôle
• Langages : python, Spark, Pyspark SQL
• Travaux en mode projet « Agile »
• Bonne qualité rédactionnelle
• Rigoureux
• Capacité à s’intégrer rapidement dans une équipe
• Capacité à travailler dans un contexte projet exigeant avec un planning de réalisation « tendu »
• Autres informations sur l’environnement technique (compétences souhaitées) :
• Framework de transformation : Hadoop, Spark
• Langage : scala
• Stockage objet (S3 / Minio)
• Traitement distribué (Spark, Dremio) sur cluster OpenShift
• DataViz : DigDash
• Autres : DBT, Airflow, Nifi, Keycloack, …
• Contexte technique des sources de données :
• Bases de données Oracle et PostgreSQL
• Cluster Hadoop : HDFS, Hive, Kerberos
• BDD OpenSearch