Expert Hadoop

Nous recherchons un Expert Hadoop pour une mission de 6 mois renouvelables sur GRADIGNAN.

          ◼ Démarrage : 02/01/2025

          ◼ Lieu : GRADIGNAN

Description de la mission

L'équipe DBA & socles souhaite se renforcer et recherche une prestation d'expertise sur l'environnement Hadoop / Big data de technologie Cloudera avec des compétences en scripting autour des langages propres au domaine BigData, tels que Python, Spark, Hive, Impala.

Des besoins nouveaux et des usages différents du système décisionnel à travers le « Big Data » sont en train de s’amplifier en termes d’exigences. De ce fait plusieurs évolutions techniques et fonctionnelles sont envisagées ce qui nécessite le renforcement de l’équipe technique « Big Data.

Objectifs de la prestation

- MCO des socles Hadoop Cloudera Hors-Prod et Prod

- Pilotage et mise en oeuvre opérationnelle des travaux de fiabilisation et de stabilisation des socles Hadoop pour limiter les incidents récurrents t accroître la disponibilité pour les utilisateurs

- Mise en place et rédaction de procédures d'administration et d'exploitation

- Intégration avec l'outillage de l'écosysteme DSI : ordonnanceur IWS, sauvegarde HDPS, supervision Prometheus / Grafana, ...

- Capacity planning et performance :

   - Suivre le consommé des ressources infra : stockage, cpu...

   - Mise en place de l'outillage et des procédures nécessaires pour assurer le suivi

- Evolution des architectures techniques :

   - Mise en place opérationnelle des principes de sécurité : outillage, procédures, reporting

   - Vérification de la bonne application des normes et des standards

   - Force de proposition, étude et analyse des solutions d’évolutions : outillage utilisateurs, optimisation des performances, résilience du luster, ...

- Support et Expertise administration Hadoop de niveau 3 :

   - Configuration du cluster Cloudera en fonction des besoins identifiés

   - Optimisation des chargements de données

   - Maintien de la sécurité

- Accompagnement des équipes administrations niveau 2 et exploitation :

    - Assistance auprès des équipes : Optimisation des traitements, Prise en main de l’outillage mis à disposition, Chargement des données

    - Transmission du savoir-faire via la rédaction de documentations et transfert de connaissances

- Coordination et pilotage des chantiers en collaboration avec les différents services DSI

Environnement technique

Nécessaire

- Distribution Hadoop Cloudera CDP (version 7.1.*, ) : HDFS, YARN, Cloudera Manager, Hive, Hue, Impala, Spark, Zeppelin, Ranger, Knox, Zookeeper, ... (Cloudera CDP privilégié)

- Langages/scripting : Shell, Python, Spark

- Moteurs de requêtage : SQL, Hive, Impala, ...

- OS : Linux

Complémentaire

- Outils décisionnels : ETL Datastage , PowerBI, SAS,

- Base de données : Teradata, PostgreSQL

Compétences clés demandées par le client

- Distribution Hadoop : HDFS, YARN, Cloudera Manager, Hive, Hue, Impala, Spark, Zeppelin, Ranger, Knox, Zookeeper, … - Niveau 4 : Expertise /Initie, influence

- Shell, Python, Spark - Niveau 4 : Expertise / Initie, influence

- Moteur de requêtage : SQL, Hive, Impala - Niveau 4 : Expertise / Initie, influence

- Pilotage et organisation d’activités projet - Niveau 4 : Expertise / Initie, influence

- Capacités rédactionnelles : doc technique, cahier des charges - Niveau 4 : Expertise / Initie, influence

Savoir-être :

- Autonomie pour la prise en charge des sujets

- Capacité à communiquer et s'adapter en fonction des différents interlocuteurs : sens de l'écoute et du dialogue, conduite de réunion, négociation