Architecture et expertise Hortonworks-Cloudera
Gestion de plateforme HDP/HDF (Recommandation d’administration, d’usage et de suivi, assistance sur l’upgrade, préconisation des meilleures pratiques).
Gouvernance des données et qualité des données à l’aide des composants HDP et de l’intégration.
Ingestion de données dans la plate-forme de données Hortonworks existante en utilisant HDF et d’autres composants HDP (Kafka, Spark, HBase, Hive, gestion des flux,...)
Assurer l’expertise en architecture écosystème Hadoop et l’interaction avec le Cloud.
Travailler avec les équipes fonctionnelles du Client pour les meilleures pratiques de conception Big Data
Conduire et implémenter des Proof-Of-Concepts CDP.
Développement et optimisation de jobs Spark.
Accompagner les équipes de développement projets.
Challenger les solutions techniques. Revue de code, de sa qualité.
Mise en place de différents flux NiFi pour transférer des indicateurs entre Hive, Kafka et Elastic.
Accompagner l’équipe de production pour l’analyse des incidents liés aux jobs et l’amélioration des performances.
Mise en place d’un programme de transformation Big Data au sein du cash management pour gérer la montée en puissance et en volumétrie des flux et évènements transactionnels liés au traitement des paiements.
Analyser les besoins Business en relation avec le Produit, étudier les architectures existantes.
Architecture Data (Ingestion, transformation, enrichissement, indexation, stockage, analyse et visualisation).
Présenter et argumenter des scénarios d’architecture Big Data.
Définir les orientations et les choix technologiques pour l’écosystème Hadoop en fonction des besoins.
Propositions et expérimentations pour valider les choix.
Conduire et implémenter des Proof-Of-Concepts visant à confirmer la faisabilité technique.
Assurer la conception technique du Data Lake.
Réaliser l’architecture des traitements de données autour de Spark.
Optimisation des traitements parallèles et distribués mode cluster, batch ou en temps réel (streaming).
Intégration Spark Kafka (Ingestion, collecte en temps réel, débit très important).
Ingestion de données en rapide augmentation avec des formats hétérogènes dans Hadoop et NoSQL.
Reporter régulièrement au donneur d’ordre l’avancement des travaux et les risques potentiels identifiés.
Assister le Product Owner dans la rédaction des user stories pour intégrer les spécifications techniques.
Accompagner les équipes de développement à Singapour.
Challenger les solutions techniques. Revue de code, de sa qualité et des documents techniques.
Garantir la bonne intégration du Data Lake: Ingestion via Control-M, intégration à ELK…
Fournir les approches et les designs techniques.
Etre force de proposition sur l’amélioration de la Stack Big Data, exploitation des différentes solutions.
Mise en place d’une plateforme data science dédiée à l’extraction, l’ingestion, le traitement et l’exploitation des données ainsi qu’à leur analyse via des calculs, des algorithmes et simulations scientifiques dans le cadre de la recherche et l’innovation technologique dans le domaine de l’énergie.
Refonte et amélioration de l’existant, architecture logicielle et création de solutions innovantes.
Mise en place du moteur de workflow pour optimiser algorithmes, calculs et simulations.
Amélioration de la performance des modules et des durées des traitements.
Réduire les latences des flux temps réel.
PROJET/MISSION: Développement et maintenance du système de Calcul et Monitoring du risque de contrepartie. Développement des évolutions d’une application dédiée au traitement du P&L dans le but de produire le résultat économique et distribuer le résultat officiel aux systèmes avals.
Réalisations:
• Diagnostic de la performance, profiling, tuning et optimisation de la gestion mémoire.
• Conception des extensions fonctionnelles et des améliorations techniques des applications.
• Développement, J2EE, SWING, Java Core et base de donnés relationnelles (Oracle) PL/SQL.
• Tests unitaires, tests d’intégration, tests de non régression, tests de charge.
• Intégration continue avec Hudson, packaging.
• Développement des évolutions critiques et support niveau 2.
• Revue de code des équipes à Bangalore et proposition de corrections et design de qualité.
• Diagnostic des incidents en production et proposition de solutions rapides.
PROJET/MISSION: Développement d’une plateforme électronique de trading international. Coordination avec les différents sites géographiques (Londres, New York, Paris, Hong Kong)
Réalisations:
• Développement du référentiel selon le middleware utilisé par HUB (Tibco Rdv, MQSeries, bus ION)
• Intégration de SmartTrade (middleware externe) en tant que marché interne.
• Développement du serveur de Push des market data en temps réel vers le client.
• Orchestrer le développement des différents modules de la plateforme (streaming des prix, demande de prix, passage et exécution d’ordres, gestion des deals, post trade, référentiel).
• Développement de maquettes en Flex côté client.
• Coordination avec les équipes basées à Londres, à New York, à Paris et à Hong Kong.
Dérivés sur actions et indices
PROJET/MISSION: Développement d’une application Front-Office pour le workflow de communication au sein de la salle de marché dans le but de permettre une collaboration entre sales, traders et middle.
Réalisations:
• Développement des évolutions requises par le projet.
• Contribution aux spécifications détaillées techniques et fonctionnelles.
• Tests des fonctionnalités.
• Organiser des démonstrations aux utilisateurs et aux équipes informatiques.
• Travailler en coordination avec les autres développeurs ainsi que la maîtrise d’ouvrage.
• Suivi de la production (internationale)
PROJET/MISSION: Développement d’une application Front-Office pour le service énergie et matières premières, en travaillant avec la librairie de recherche des Quants dans le but d’intégrer les fonctions de pricing dans un système de grid computing.
Réalisations:
• Développement des services de pricing via la grille de calcul
• Multithreading pour simuler les stress scénarios (résultats récupérés en mode asynchrone).
• Développement java space en utilisant Gigaspace Cache
• Appel du Python côté recherche par l’interface JavaPy
• Développer le calcul du risque
• Développer le référentiel des données du marché qui serviront dans le pricing
PROJET/MISSION: Développement et maintenance d’une application J2EE de type Front-Office pour la gestion des ordres de change (FOREX) au fil de l’eau, qui génère le reporting client du change exécuté, le netting de positions ainsi que les écritures comptables.
Réalisations:
• Automatiser le pricing et la saisie des deals dans Kondor+ (middleware externe) via MQseries
• Développement de l’interface REUTERS communiquant avec le Pricer
• Calculer les marges de la trésorerie ainsi que le bénéfice et la perte
• Couche persistance: Développement des procédures stockées
• Analyse, développement, recette, mise en production, support en relation directe avec les traders