CV/Mission de Développeur APACHE STORM freelance

Exemple de missions de Jean Pierre,
Développeur APACHE STORM habitant la Seine-et-Marne (77)

• LEAD AUTOMATION MIGRATION APPLICATIONS IASS, SAAS VERS KAAS (CLOUD IBM)

  BNP PARIBAS (PARIS
  Jan 2022 - aujourd'hui

  CONTEXTE :
  AU SEIN DE L'ENTITE EN CHARGE DES OUTILS DE CONTROLES COMPTABLES, MISSION DE TECH LEAD DANS LE CADRE DES 2 PROJETS DE MIGRATION SUR LE NOUVEAU SOCLE TECHNIQUE CLOUD MZR ET ACCOMPAGNEMENT DE L'INTEGRATION SUR LES PROCESS DEVOPS AVEC LES NOUVEAUX OUTILS ASSOCIES AUX NOUVELLES SOLUTIONS CLOUD MIS EN OEUVRE AU SEIN DE LA BNPP.
  EQUIPE :
  1 PRODUCT OWNER, 1 RESPONSABLE APPLICATIF, 2 DEVELOPPEURS, 1 ARCHITECTE PROJET TRANSVERSE, 1 RESPONSABLE INTEGRATEUR PROD
  
  ACTIVITES :
  • Participation aux ateliers de travail avec les différents acteurs du projet
  • Prendre en compte l’expression des besoins.
  • Designer l'évolution de l'architecture des applications.
  • Lead les adaptations du code pour mise en conformité à la nouvelle architecture cloud
  • Être le référent t des évolutions techniques et fonctionnels.
  • Accompagnement de l'intégration sur le process DevOps avec les différents acteurs
  • Faire du développement CI CD du process DevOps avec GIITLAB.
  • Designer l’architecture de la solution Data Intégration.
  • Faire du développement des jobs ETL avec Spring batch, Spring intégration.
  • Faire du développement avec IBM S3 Amazone SDK.
  • Faire du développement de la gestion de la rotation des secrets Vault.
  • Faire du développement de la gestion de la migration auto de BDD avec FLYWAY.
  • Rédaction dossier d’exploitation (DEX).
  • Transfert de connaissances et de compétences à l’équipe en interne.

  ENVIRONNEMENT TECHNIQUE: Ecosystem Cloud IBM, BNPP DEVOPS PORTAL, GitLab, Jenkins, Eclipse, Nexus, JFrog Artifactory, Sonar, Vault as service for trusted key storage & token generating, IBM S3 Amazone SDK, Kubernetes, Docker, Spring Boot, Spring Integration, Cloud IBM, CFT Api service for K8s, S3 , Java, Junit, Cucumber, C, Ksh Shell Scripts, Angular JS 6 +, Oracle, PostgresSql as a service, WebSSO, Terraform(Helm), Windows , Linux.

• INGÉNIEUR AUTOMATION IASS SAAS, CAAS (CLOUD OPENSTACK)

  MINISTERE DE L’INTERIEUR (PARIS 12)
  Jan 2021 - aujourd'hui

  Contexte : Participer à des projets de migration cloud : dimensionner et procéder au transfert d’hébergement des SI des clients vers la solution cloud appropriée.
  Etude et développement des playbooks Ansible basés sur une logique de déploiements scriptables, immuables et reproductibles à destination de l’équipe d’hébergement cloud PROD
  Travailler au sein de la DNUM (direction numérique) Venir en renfort de la CDH (cellule déploiement IASS & d’hébergement SAAS) composée d’équipe de 5 personnes (expert Intégrateur Cloud Computing, Ingénieur en intégraton systèmes et réseaux)
  et d’un directeur de projet.
  
  Rôle :
  1. Accompagner les projets de migrations applicatifs dans le cloud Openstack.
  2. Prendre en compte les besoins en liaison avec le CDP de projet MOE.
  3. Etude et Développement des scripts pour agir avec les composants développés en interne afin d’automatiser la création de l’IASS, SAAS ou CAAS pour initier, le tenant, créer l’infra et réseaux, préparer les volumes state-full et state-less, déployer ensuite le cluster des machines composé d’un cluster skyDNS, RPX (reverse proxy), d’un proxy IO pour administrer et pour monitorer l’environnement déployé (couches : app, base de données, log, sup), checkmk, Elastisearch, Kibana docker
  4. Automatiser la migration des dumps de l’application cible (CMS, Joomla, WordPress, Apache /PHP) et base de données (MySQL, MariaDB) dans le cluster Openstack qui vient d’être crée.
  5. Développement en python d’un wrapper pour orchestrer automatiquement de A à Z les taches de création du cluster sur Openstack (option synchrone et ou asynchrone, et reprise en cas de non succès d’une des étapes)
  6. Documenter le dossier d’exploitation à destination de l’équipe CDH PROD.
  7. Faires du support N2, N3 auprès des développeurs CMS en cas de demandes

  Environnement technique : Ecosystem Cloud Openstack, Linux Debian 10.x, ssh , shell bash scripting, Terminal Terminator, Screen, GitLab, Pycharm Intellij IDEA, Python 2.7, Python 3.6 , Ansible Playbook ,Dockers CMS Joomla, WordPress, checkmk, Elastisearch, Kibana, MySQL; MariaDB, Oracle VM VirtualBox Linux Debian

• INGÉNIEUR DEVOPS, DATAOPS

  ENEDIS (NANTERRE)
  Jan 2020 - Jan 2021

  Contexte : Venir en renfort d’une équipe d’ingénierie BIG DATA en environnement de Prod. Travailler au sein d'une équipe DevOps composé de 12 PERSONNES DSI – SD.
  Etudes & Développements Gamme Big Data, secteur « Décisionnel & Big Data. Migration des solutions d’intégration, d’agrégation et de restitution données métiers et données consommateurs EDF de HDP 2.7.3 vers CDP 7.1.6. Les solutions sont composées de Web Services API et des Jobs Spark développés en Kotlin. Les données en sortie proviennent de la base Teradata et sont ingérées dans Hbase. Les données restituées aux utilisateurs métiers au format CSV sont stockées et historisées dans Hadoop/Hdfs. L’accès aux données BIG DATA granulées en mode exploration ou export en environnement local se fait via un Web Service API SFTP.
  
  Rôle :
  8. Rédiger les analyses des impacts et les actions à faire par rapport aux objectifs de livrables
  9. Etudier, adapter et configurer les versions Hadoop, Hbase, Spark, Scala, Hbase client et test utility, etc. des Pom.xml des API et des jobs Spark pour les rendre Iso fonctionnel sur CDP
  10. Etudier, configurer les applications servant à paramétrer l’environnement logiciel (Client SSL, Spark Launcher, Proxy Host, Spring, Keycloak, Free IPa, Teradata, hadoop, Hbase, Hdfs, Edge Node, Logs paths, Kerberos, Core site xml, Hbase site, Hdfs site, Docker File etc..
  11. Assiste le développeur CI CD pour l’industrialisation des programmes en environnement Swarm Docker adaptation JenkinsFile, création des jobs mode multi branch, ordonnancer les jobs etc
  12. Assiste le responsable de projet technique pour les test de recettes via PostMan , verification edes jobs sparks
  13. Faire la maintenance corrective en mode agile et instantanée lorsqu’il y a des retours des erreurs lors de la recette en env PRE PROD ou PROD cycle correction, push gitlab, lancement CICD, déploiement Swarm)
  14. Prendre en compte la liste des rapports d'audit sur l'amélioration de la sécurisation de Hadoop.
  15. Extraire de cette liste chaque composant Hadoop à sécuriser en priorité 3 puis rédiger le dossier des bonnes pratiques au format markdown/github, et pour chaque synthèse, détailler les préconisations sous la forme des actions à faire en incluant des exemples.
  16. Pour information, voici quelques types de recommandations :
  17. Composant hdfs
  18. Des règles ACLs sont positionnées au niveau HDFS, sans contrôle au niveau Ranger, et s’appliquent à l’insu de Ranger. Désactiver la bascule vers le système d’ACLs natif.Ne positionner aucun droit hormis aux propriétaires des fichiers. Donner accès aux tables HIVE plutôt qu’à HDFS
  19. Mettre en place toutes les règles requises dans Ranger notamment les règles Deny par défaut pour tracer les tentatives d’accès. Positionner umask à 077 en lieu et place de 022 afin de garantir que tout fichier ou répertoire, etc...
  20. Composant Yarn
  21. Les ACLs devraient configurées sur les queues d’exécution des projets métiers.
  22. Composant HBase
  23. Les ACLs HBase devraient être configurées pour limiter la surface possible d’interactions
  24. Composant Ranger
  25. Le mécanisme fallback devrait être désactivé sur chaque composant possédant une solution ACL native pour restreindre systématiquement les accès des couches basses et n’autoriser que les accès au niveau de Hive ou HBase
  26. Développer des scripts en python en complément selon les cas d’usages.
  27. Traitement des demandes de ressources (environnements, comptes, etc…)
  28. Traitement des incidents Niv 2 et Niv 3
  29. Etude, déploiement et industrialisation de nouveaux composants (aide ou prise en charge totale)

  Environnement technique : Java JEE 1.8, Spring Boot 2.x, Kotlin .4.x, Hadoop 3.1.x, Spark 2.4.x, Scala 2.1.x, Hbase, Hbase Client, Hbase test utility, Teradata 16.00.x, Ecosystem HDP 7.1.6, Free Ipa, Metric Idatha Kafka, Nexus Articfatory, GitLab, Jenkins Sonar.Ecosystem Ambari 2.7.x, HDP 3.0.x, HDF 3.1.x, Java JEE 1.8, Python 2.7, GitHub, OpenProject, Redmine, MobaXterm, FileZilla, Pycharm Intellij IDEA

• BIG DATA INGENIEUR DEVOPS

  SOCIETE GENERALE (PARIS) (2 ans)
  Jan 2020 - Jan 2020

  Projet :
  Développement des solutions d’industrialisation de déploiement des clusters Big Data.
  
  Contexte :
  Joindre une équipe DEVOPS SCRUM AGILE Big Data As A Service de 9 personnes.
  Travailler au sein de l'entité RESG/GTS/PAS/BDT/VDF faisant partie du domaine PAAS (PlateForm as a Service).
  Déployer des clusters Big Data en environnement Cloud On prémisses à destination des Data Scientistes, Data Engineer et Expert.
  
  Activités :
  
  ⦁ Faire la maintenance évolutive et correction technique de l'API (python) servant à automatiser l'installation des clusters Big Data dans le SG CLOUD
  ⦁ Faire la conception technique des développements des playbooks ansible (python) et maintenance évolutive du blueprint Hortonwork servant à customizer le deploiement sur mesure de l’Eco system big data sur ces clusters
  ⦁ Faire du support et de l'assistance technique de niveau 3 auprès des utilisateurs liés au Post Install et du run
  ⦁ Résoudre les problèmes techniques du system hadoop dues l'ajout des composants externes et intégration solutions tiers rencontrés par les utilisateurs finaux
  ⦁ Réalisation de bout en bout des POC de data engineering à destination du product owner pour les besoins des demos stratégiques par exemple lors des TECHWEEK (Londres, Paris)
  ⦁ Faire des présentations des solutions de data processing et de restitution auprès de l'équipe ( Hive,LLAP, HUE, kibana, jupyterbook, notebook etc..)
  ⦁ Rédiger de la documentation technique et manuel d'utilisation en relation avec les taches jira qui m'ont été assignées

  Environnement technologique : Cluster HDP 2.x, 3.x, HDP Search, HDP data flow, RedHat 7.x, Centos 7.x, SG Private Cloud, OpenStack, Ansible Tower, Ansible Playbook, Airflow, Gunicorn, Celery, Redis, Linux VM, Cluster PostgresQL10, Kibana, Dockers, Kubernetes, Python, Go, IBM BIG DATA DB2, PRESTO, DRUID, NIFI, OLAP KYLIN, KYVOS, SPARK2, HIVE LLAP, METRON, etc…

• CONSULTANT ENGINEERING LOGICIELLE JAVA JEE

  DATA ARCHITECTE, SOLUTION ARCHITECTE LDC GROUPE (MAINE ET LOIRE) ( )
  Jan 2020 - Jan 2020

  Projet :
  Maintenance évolutive et corrective d’une solution de gestion et d’intégration référentiels produits, articles, coût achat, coût de stockage, coût de production, coût de stockage des produits finis, etc. et d’une solution de calcul des prix de revient et d’intégration des référentiels coût de distribution, frais divers et autres charges,
  
  Contexte :
  Venir en renfort d’une équipe d’ingénierie logicielles de gestion à destination des utilisateurs métiers.
  Travailler au sein du département Etudes et Développement Informatiques composé de 12 personnes
  Activités :
  
  ⦁ Rédiger les actions à faire par rapport aux expressions de besoins de chaque Mantis
  ⦁ Maintenance évolutive et correction technique des applications métiers sous ma responsabilité.
  ⦁ Etude et adaptation des architectures SI (Logicielles, SGBD) existantes
  ⦁ Correction et amélioration des modèles de données existantes.
  ⦁ Etude et recommandation des solutions de transformation du SI concerné vers une architecture Entreprise Data Driven - Data Plane pour une meilleure capture de la valeur des données à des fins de BI et de Vision 360° par rapport aux taux de pénétration et engagement consommateurs sur les produits vendus.
  ⦁ Etude et recommandation des solutions de refonte du SI (front end/back end) vers une architecture applicative basée sur l’agencement de couches technologiques de pointes par exemple (présentation, visualisation avec ext.js, sencha touch, etc.) - (operations et transactions front end/back end avec design pattern, séparation of concerns, IOC, SOA etc.) - (ingestion, transformation, stockage, OLTP,OLAP, et Data Science avec Pentaho Data Integration , Talend community, StreamSets Data Collector, confluent , databrick, mesos, hadoop, spark, Spark ML, HDP, Hive, Presto, Base NoSql, Apache Iceberg, Apache Arrow, Delta Lake, cloud on premises Object Storage, architecture Lambda, Kappa) - (monitoring applicatifs : ( ELK, Nagios etc.)
  ⦁ Etude et recommandation des solutions Devops (traitement CI/CD, Git repository, Jenkins, Sonar, Jira Rancher, Kubernetes, Microservice, Promotheus,Grafana)
  ⦁ Etude et recommandation d’adaptation des méthodologies de gestion de projet en V vers une approche Agile/DevOps
  ⦁ Rédaction de la documentation technico fonctionnelle et de présentation à destination des responsables hiérarchiques en interne

  Environnement technologique : Java JEE version 8, Struts 2, Spring, Hibernate 3, Java Servelet, JSP, Java script, Jquery, Ajax, JDBC, HSQL, SQL Pass-Through, Oracle 11g, Windows 10