Architecte Technique Hadoop

Directement intégré au sein de l’équipe DBAs et Socles, vous intervenez en tant qu’Architecte Technique Big Data / Hadoop pour accompagner les équipes dans la définition d'architecture Techniques, la conception des modèles de données, à administrer les bases et les moteurs de bases de données et à construire les socles SGBD, décisionnel et Big Data.

Depuis décembre 2018 une première plate-forme Big Data s’appuyant sur la technologie Hadoop a été mise en place pour répondre à des cas d’usage non couverts par le Système Décisionnel et nécessitant plus d’agilité pour explorer, croiser les données et manipuler de gros volumes de données. Cette plate-forme s’inscrit dans le SI de la Retraite Complémentaire, avec comme sources d’alimentation le SI de Gestion. A moyen termes le nombre de sources d’alimentation pourra évoluer et sera à prendre.

Vos missions :

1/ Pilotage et mise en œuvre opérationnelle des travaux de fiabilisation des socles Hadoop pour répondre aux exigences de performance attendues par les cas d'usages fonctionnels.

2/ Evolution des architectures techniques :

• Mise en place des principes directeurs sur l’utilisation du cluster Cloudera

• Vérification de la bonne application des normes et des standards

• Force de proposition, étude, analyse et mise en oeuvre de solutions pour améliorer : l'outillage utilisateurs, optimiser les performances et la résilience du cluster

• Etude d'impact et réalisation opérationnelle des montées de version Cloudera et outils Hadoop

• Prise en compte de l'écosysteme DSI de notre client : ordonnanceur IWS, sauvegarde HDPS, supervision Prometheus / Grafana

3/ Expertise Hadoop de niveau 3 :

• Configuration du cluster Cloudera en fonction des besoins identifiés

• Optimisation des traitements

4/ Support :

• Accompagnement des équipes de développement;

• Assistance auprès des équipes : Optimisation des traitements, Prise en main de l’outillage mis à disposition, Chargement des données;

• Transmission du savoir-faire via la rédaction de documentations et transfert de connaissances

Compétences techniques attendues :

• Distribution Hadoop : HDFS, YARN, Cloudera Manager, Hive, Hue, Impala, Spark, Zeppelin, Ranger, Knox, SQL, Zookeeper : Niveau 4 (Expert)

• Langages de scripting et de développement : Shell, Python, Spark : Niveau 4 (Expert)

• Moteur de requêtage : SQL, Hive, Impala : Niveau 4 (Expert)

• Système d'exploitation Linux : Niveau 3 (Maîtrise)

Savoir être attendu :

• Pilotage et organisation d'activités projet (Coordination et pilotage des chantiers en collaboration avec les différents services DSI) : Niveau 4 (Expert)

• Capacités rédactionnelles : documentation technique, cahier des charges, communication et compte-rendu : Niveau 4 (Expert)

• Capacités relationnelles, écrites et orales (sens de l’écoute et du dialogue, conduite de réunion, négociation, capacité à s'adapter en fonction des différents interlocuteurs) Autonomie pour la pris

Localisation : Paris 12ème

Démarrage : Janvier 2025