◦ Contexte : Au sein d’une équipe développant un outil interne (Basyliq) calculant
plusieurs métriques financières, j’intègre une équipe socle de développeur dans le but
de migrer celle-ci dans un datalake interne de la Société Générale.
◦ Développement d’un ordonnanceur customisé : Dans le but de répondre aux différentes problématiques d’ordonnancement de Basyliq, nous avons implémenté un
ordonnanceur codé en Java Spring Boot. Les principales fonctionnalités sont en autres
le déclenchement automatiques de différents traitements en fonction de diverses
dépendances, la gestion de ressources, la copie et la compaction des données vers le
lake et la coordination entre l’environnement datalake et l’environnement Legacy.
◦ Calcul de métriques : Calculer des métriques via Spark et le mettre à disposition sur
Rafale, un outil de restitution interne de la Société Générale.
◦ Chaine de CI/CD commune : Chaque métrique suive un même schéma CI/CD. La
chaine d’intégration se fait via Jenkins et le déploiement via Ansible.
◦ Environnement technique : Stack Hortonworks (HDP 2.6 kerberisé), Kafka, Nifi,
Spring Boot, Openshift, Amazon S3, langages (Java, Scala, Python)
◦ Contexte : Dans l’équipe Datalake composée d’une vingtaine de personnes, j’interviens sur des sujets Build et Run dans le domaine Big Data, équipe transverse aux
différentes direction du groupe Renault – Nissan.
◦ Ingestion : Ingestion de données d’après-ventes de pièces détachées et d’usines dans
le cadre de la détection de pièces obsolètes.
◦ Activité en développement : Recueil des besoins métiers, aide à l’optimisation de
l’ETL Datalake loader, monitoring via Ambari, Grafana, Yarn, installation d’outils
(JupyterHub, Knowledge Repository, etc.)
◦ Support N-2 : Recueil des besoins et traitement de tickets Jira, résolution de problème
techniques utilisateurs (équipes de développement ou utilisateurs finaux notamment
sur Hive, Spark, Oozie, Yarn), audit et gestion des accès, accompagnement à la
1/2
migration de données, documentation Confluence en anglais.
◦ Synthèse : Développer deux solutions dans le cadre de deux proof of concepts qui
sont d’optimiser les transports de palettes et de visualiser un transport de flux.
◦ Tâches : Développement effectuée en Python 3, visualisation effectuée en R avec le
librairie Shiny, installation d’un shiny server sur un serveur distants.
◦ Synthèse : Faciliter un plan de migration d’offre clientes par le biais d’un framework
de simulation.
◦ Tâches : Développement de la simulation en R, viusualisation via R Shiny, déploiement de la visualisation sur Shiny Server, ordonnencement via la librairie Python
Airflow.
◦ Synthèse : Etude sur le "matching flou" et mise en places d’un moteur de recommandation sur des produits cosmétiques
◦ Tâche : Rédaction d’un mémoire de recherche sur le croisement de données probabilistes à partir d’articles de recherches, développement Spark d’un système de
recommandation basé sur du filtrage collabaratif.