Définition de l’architecture Big Data de OCI pour le BI de l’entité Revenu Assurance. La solution doit pouvoir intégrer des flux provenant de différentes applications, bases de données, Terradata et équipements réseau. Un croisement est effectué par la suite en appliquant des règles métiers en utilisant Drools.
Aspect management gestion de projet
Élaboration/suivi du planning
Participation à l’écriture du document d’architecture technique
Proposition d’une architecture lambda
Aspects techniques
Proposition architecture Big Data auto-scalables
Partant de zéro mettre en place une cellule Big Data pour le leader mondial du Outdoor Advertizing. Avec plus de 400 000 dispositifs publicitaires dans le monde entier, JCDecaux détient une mine de Data. Dans un premier temps mon travail a consisté à vulgariser l’approche Big Data en particulier la notion de Datalake, au près du métier. Nous avons commencé par un POC pour rendre near realtime un mécanisme d’agrégation de données de différentes sources, qui prenait 24 heures avant.
Après le POC j’ai défini la stratégie et les architectures Big Data à mettre en place afin de répondre aux différents use cases. Ces architectures reposent essentiellement sur le cloud et l’écosystème Hadoop. L’architecture était basée sur Spark/Kafka pour sa rapidité avec stockage sur HDFS, S3, HBase et ElasticSearch. En termes de charge, nous devons gérer 600 millions de transactions/jour. Nous avons mis en place différents mécanismes de monitoring/alerting du cluster hadoop se basant sur Ambari. Les clusters mis en place sont auto-scalables suivant la charge. Nous avons branché différents outils de BI au cluster : Kibana, Tableau, Excel et Business Object. Nous avons également participé au choix de la distribution Hadoop à mettre en œuvre, Hortonworks, suite à une étude comparative avec Cloudera et AWS
Aspect management gestion de projet
Élaboration/suivi du planning
Formation et support ELK (ElasticSearch Logstash et Kibana)
Participation à l’écriture du document d’architecture technique
Proposition de plusieurs architectures et choix de celle à implémenter
Aspect Méthodologiques
Mise en place d'une méthodologie agile avec Scrum
Coordination d’une équipe de 3 architectes
Aspects techniques
Proposition d’architectures Big Data auto-scalables
Pig, Hive, HBase, Zookeeper, Kafka/Confluent, Spark (Core, SQL, Streaming), ElasicSearch, Kibana
Avro, Cloudbreak, AWS, NodeJS, Ambari, Hortonworks
Suivi et analyse de la production avec Logstash, ElasticSearch et Kibana
Dans l’entité architecture et suivi de production de la BU Client et Services, j’avais pour mission d’être le référant technique d’une vingtaine de projets. Nous travaillions directement pour la SNCF et pour d’autres clients tels que Thalys. Notre BU avait en charge tout ce qui est programme de fidélisation et d’abonnement de la SNCF mais également des informations voyageur. Mon rôle était d’être garant de l’architecture applicative, de la qualité et de la bonne exploitation des applications. Nous travaillions avec des centres services. De ce fait j’intervenais dès la phase d’étude pour la définition de l’architecture cible. Nous avions mis en place un sas d’intégration avec Jenkins, Sonar et Sqale afin de pouvoir mesurer la qualité des livrables. Je mettais en œuvre les tests d’architecture avant les mises en production. Je participais également à la définition de l’architecture technique.
J’ai également défini et aidé en la mise en place de la solution globale d’authentification centralisé sur ******** à base de OpenAM
Enfin je mettais en œuvre les éléments nécessaires pour une bonne exploitation de l’application en termes de healthcheck et log. Nous utilisions une centralisation des logs à base de Flume, Hadoop et ElasticSearch. J’ai fait une étude afin d’avoir les métriques de prod en temps réel en se basant sur statd, logstash, Elastic Search, Kibana et Graphit.
Aspect management gestion de projet
Élaboration/suivi du planning
Formation à JBoss Rules aka Drools
Formation et support ELK (ElasticSearch Logstash et Kibana)
Participation à l’écriture du document d’architecture technique
Proposition de plusieurs architectures et choix de celle à implémenter
Aspect Méthodologiques
Mise en place d'une méthodologie agile avec KANBAN
Coordination d’une équipe de 3 architectes
Aspect techniques
Proposition d’architectures orientées web et mobile hautement disponibles
Mise en place d’un politique de logging avec log4j et logback
Mise en place d’une base documentaire avec Nuxeo
Gestion de base de données NoSql avec MongoDB
Authentification avec OpenAM (aka OpenSSO)
Centralisation des logs avec Hadoop, Flume, Syslog
Suivi et analyse de la production avec Logstash, ElasticSearch et Kibana
Gestion des règles avec JBoss Rules AKA Drools
Jenkins, Sonar, SQale
J’avais pour mission de proposer une architecture orientée service suite à une fusion de deux sociétés : Châteaux Hôtels Collections (CHC) et Exclusive Hotels (EH). Les deux systèmes proposent une centrale de réservation d’hôtels et de salles de séminaire en France et en Europe. Comme client, nous avions des tours operators, des GDS (via Pegasus), des IDS (comme ********, ********). Le SI CHC utilisait une solution propriétaire complétement infogérée. Le SI EH était développé en interne et se base sur des techno Java et PHP. Voici les sujets que j’ai eu à mener lors de cette mission :
Proposition d’architecture cible orientée service en prenant en compte les problèmes de performances existant :
Utilisation de cache (MongoDB) pour servir les hôtels et les tarifs.
Passage à une architecture N-Tiers avoir une couche de service et d’accès aux données entre les applications de présentation et la base de données.
Spécialisation des applications par domaine fonctionnel
Identification et spécification des services exposés et consommés
Mise en place d’un ESB pour la communication des services et des partenaires externes.
Spécification d’un outil de monitoring de la production en temps réel se basant sur Hadoop+MongoDB
Mise en place de SCRUM formation de l’équipe à la méthodologie.
Mise en place de bonne pratique logicielle :
Bonne pratique GIT
Mise en place d’un environnement d’intégration continue (Jenkins, Sonar, Nexus)
Mise en place d’un process et d’environnement de staging (Dev, Integ, Recette, Pré-prod)
Préconisation de l’infra de prod pour le futur SI
Proposition d’une solution optimisée pour le moteur de recherche d’hôtel du frontal WEB
Dans un groupe d’architectes, j’avais pour mission de gérer, de la phase d’étude au suivi de production, la réalisation de nouvelles versions des sites (premier site d’e-commerce en France) ******** et ********. A partir des spécifications fonctionnelles, je devais valider la faisabilité et proposer des architectures en prenant en compte l’existant. Un chiffrage et un document de cadrage technique étaient les livrables. J’avais aussi comme responsabilité la validation de documents de conception détaillée et assister les équipes de dev. Au fur et à mesure des développements, je devais valider la qualité logicielle par une usine logicielle et relecture de code. Voici quelques problématiques sur lesquels nous avions travaillées :
Utilisation d’un ESB à la place d’EJB pour l’intégration et l’orchestration de services partenaires
Utilisation de JMS pour l’envoie de mail asynchrone afin d’améliorer les performances
Intégration de paiement Paypal dans le site ********
Mise en production par ferme de serveurs (160 instances)
Gestion de règles de XSell complexes par un moteur de règles (JBoss Rules aka Drools)
Expositions de webservices multi-versionnés (CXF)
Analyse de log de production
Mise en place d’une politique de revue de code pour améliorer la qualité logicielle
J’avais pour mission de concevoir une plateforme mutualisée de moteur de règles dans un milieu hétérogène (.Net, Java) au sein du SI globale de la caisse d’épargne. Cette plateforme prend en compte l’édition, la propagation et l’exécution des règles. Dans un premier temps j’ai apporté mes conseils quant au choix du produit. Ensuite j’ai formé les équipes projet à l’approche par règles métier. J’ai proposé également la mise en place de bonnes pratiques java en mettant en place une usine logicielle et la méthodologie agile SCRUM. J’ai fini par la réalisation de la première ve...
Baamtu est société d’ingénierie logicielle proposant des services et des produits digitaux. Nous accompagnons des entreprises, partout dans le monde. J’interviens au niveau commercial mais également technique. J’ai une longue expérience de l’architecture SI et de la valorisation des données. Je pilote la mise en place de stratégie digitale et gouvernance de données de nos clients.