Projet : Blue Data
L’objectif dans ce projet est de construire des Banque de données Partagés (BDP) pour les utilisateurs. Les
données sont ingérées depuis les SI sources puis agrégées dans Hadoop. Les BDP sont développées par
la suite puis exposées sur PostgreSQL pour les utilisateurs. Pour finir les indicateurs de qualité sont
effectués selon les besoins métiers puis visualisés dans Grafana.
Activités Principales :
● Développement des banques de données partagés en Spark
● Développement des scripts de chargement vers PostgreSQL
● Optimisations des traitements
● Créer des tableaux de bord Grafana et des alertes
● Support des incidents sur les applications Spark
● Automatisation de la création des schémas, rôles et permissions dans PostgreSQL
Projet : Le projet consiste à implémenter des chaînes de traitement en collectant les données de livraisons
de LaPoste depuis des topics Kafka et des appels webservices.Ces données sont stockées dans un cluster
Cloudera. Puis enrichies via des règles de gestion puis calculer les KPIs métier.Par la suite des modèles ML
vont être construits afin de réaliser des prévisions sur le trafic des livraisons à venir.
Activités Principales :
● Étude technique de l’architecture du projet, des provenances des différentes sources des
données
● Construire des pipelines de traitement de données :
● Développement des jobs Spark Scala pour la collecte des données e
● Développement Spark Scala et préparation des données qui proviennent des différentes
sources afin qu’elles puissent être agréées.
● Développement et transformation des règles métiers en des Job Scala Spark : Agrégation,
Nettoyage, Transformation
● Développement des Job Spark Scala pour l’injection Des données dans des tables externe
Hive
● Développement et des évolution et correction des bugs sur des pipelines existants
● Ingestion des données depuis des topics Kafka en Spark Streaming
● Calcul des KPIs selon les besoins métiers en Spark Scala
● Réalisation des tests
● Gestion du versioning sous GIT
● Monitoring des application Yarn associées aux jobs Spark développées.
● Intégration et Livraison en CI/CD
● Traitement des incidents de production
● Participation aux cérémonies agiles
Projet : Proof of concept
Mise en place d’un RPA (Robotic Process Automation) bancaire guidé par l’Intelligence Artificielle. Cas de la
banque XYZ. Monter en compétence et perfectionnement sur les technologies Big Data
Activités Principales :
● Utilisation du NLP (Natural Language Processing) pour développer un agent conversationnel
afin de traiter les besoins des clients.
● Création de robots logiciels avec UIPath qui assistent les banquiers dans certaines tâches
fastidieuses et répétitives
● Création de robots logiciels pour automatiser des tâches sur la plateforme SAP.
● Etude de faisabilité d’automatisation et proposé une alternative au cas échéant
● Rédaction des documents fonctionnels (PDD) et techniques (SDD)
● Développement de robots logiciels avec UiPath et Katalon afin d’assister les collaborateurs
dans les tâches de vérification matinale sur les applications Web
● Correction des demandes d’anomalies et des incidents de productions
● Reporting sur les états de services des applications
● Déploiement et support des robots en production
● Monitoring des robots développés
● Développer des cas d'utilisations d'applications Spark à des fins de monter en compétence
● Chargement des données vers MySQL avec Sqoop
● Mettre en place une chaine CI/CD afin d’automatiser le build et le déploiement sur le edge
● Optimisations des différentes applications Spark