Expert Hadoop

Nous recherchons un Expert Hadoop pour une mission de 6 mois renouvelables sur PARIS.

          ◼ Démarrage : 02/01/2025

          ◼ Lieu : PARIS 

Description de la mission

L'équipe DBA & socles souhaite se renforcer et recherche une prestation d'expertise sur l'environnement Hadoop / Big data de technologie Cloudera avec des compétences en scripting autour des langages propres au domaine BigData, tels que Python, Spark, Hive, impala.

Des besoins nouveaux et des usages différents du système décisionnel à travers le « Big Data » sont en train de s’amplifier en termes d’exigences. De ce fait plusieurs évolutions techniques et fonctionnelles sont envisagées ce qui nécessite le renforcement de l’équipe technique « Big Data.

Objectifs de la prestation

Description du besoin :

- Pilotage et mise en oeuvre opérationnelle des travaux de fiabilisation des socles Hadoop pour répondre aux exigences de performance attendues par les cas d'usages fonctionnels.

- Evolution des architectures techniques :

   - Mise en place des principes directeurs sur l’utilisation du cluster Cloudera

   - Vérification de la bonne application des normes et des standards

   - Force de proposition, étude, analyse et mise en oeuvre de solutions pour améliorer : l'outillage utilisateurs, optimiser les performances et la résilience du cluster

   - Etude d'impact et réalisation opérationnelle des montées de version Cloudera et outils Hadoop

   - Prise en compte de l'écosysteme DSI : ordonnanceur IWS, sauvegarde HDPS, supervision Prometheus / Grafana, ...

- Expertise Hadoop de niveau 3 :

   - Configuration du cluster Cloudera en fonction des besoins identifiés

   - Optimisation des traitements

- Support :

   - Accompagnement des équipes de développement

   - Assistance auprès des équipes : Optimisation des traitements, Prise en main de l’outillage mis à disposition, Chargement des données

   - Transmission du savoir-faire via la rédaction de documentations et transfert de connaissances

Environnement technique

Nécessaire

- Distribution Hadoop Cloudera CDP (version 7.1.*, ) : HDFS, YARN, Cloudera Manager, Hive, Hue, Impala, Spark, Zeppelin, Ranger, Knox, Zookeeper, ... (Cloudera CDP privilégié)

- Langages/scripting : Shell, Python, Spark

- Moteurs de requêtage : SQL, Hive, Impala, ...

- OS : Linux

Complémentaire

- Outils décisionnels : ETL Datastage , PowerBI, SAS,

- Base de données : Teradata, PostgreSQL

Compétences clés demandées par le client

- Distribution Hadoop : HDFS, YARN, Cloudera Manager, Hive, Hue, Impala, Spark, Zeppelin, Ranger, Knox, Zookeeper, … - Niveau 4 : Expertise / Initie, influence

- Shell, Python, Spark - Niveau 4 : Expertise / Initie, influence

- Moteur de requetage : SQL, Hive, Impala - Niveau 4 : Expertise / Initie, influence

- Pilotage et organisation d'activités projet - Niveau 4 : Expertise / Initie, influence

- Capacités rédactionnelles : doc technique, cahier des charges... - Niveau 4 : Expertise / Initie, influence

Savoir-être

- Autonomie pour la prise en charge des sujets

- Capacité à communiquer et s'adapter en fonction des différents interlocuteurs : sens de l'écoute et du dialogue, conduite de réunion, négociation