CV/Mission de Développeur big data Jupyter freelance

Exemple de missions d'Olivier,
Développeur big data Jupyter habitant les Bouches-du-Rhône (13)

• Architecte Cloudera

  Cloudera pour MAIF – Niort
  Jan 2022 - Jan 2023

  Support niveau 3 sur le datalake
  - Analyse des risques de sécurité, identification des impacts associés et proposition des plans d’action adaptés
  - Scripting Ansible pour automatisation des tâches récurrentes d’administration des clusters
  - Administration récurrente de 2 clusters HDP 100 nodes
  - Lien avec les consultants Cloudera sur les améliorations des clusters Hadoop
  - Déménagement des clusters sur un autre site physique
  - Mise en application des recommandations et exigences des Plans de Sécurité des Systèmes d’Information dans des environnements hybrides : contrôle des flux, Identity Access Management (IAM), vulnérabilités, durcissement

  Environnement : Cloudera, Ambari, Redhat, Ansible

• Architecte Azure/Aws Sécurité

  pour DANONE – Paris
  Jan 2019 - Jan 2022

  - Déploiement composants Aws, Azure, membre équipe architecture. Réalisation schémas
  d’architecture, documentation, DAT
  - Modélisation des datawarehouses avec Data Vault (hubs, links, sats)
  - Automatisation de gestion de l’infrastructure via scripts bash, terraform, aws cli (VPC,
  Resource Groups, subnets, NSG, Transit Gateways, Public Adresses…Etc)
  - Déploiement chaîne CI/CD : Jenkins server, Github, Terraform
  - Déploiement infrastructure full stack AWS avec Terraform (réseau complet, EC2 instances)
  - Automatisation de gestion des instances Ec2 via scripts bash, python
  - Mise en place monitoring cloudwatch , backups, SSM, gestion billing
  - POC : CDP Cloudera, Databricks, EKS/ECS, Fargate, Snowflake Dwh, Redshift clusters
  - Scripting bash pour gérer les règles de sécurité AWS, Azure
  - Création des AMI Windows/Linux automatisé avec aws cli/scripts shells
  - Migration onprem Hive / cloud databricks avec Wandisco
  - Création des blueprints (ARM, CloudFormation, ) clé en main pour les principaux use cases.
  - AWS : Sécurité , gestion IAM, SG, KMS, clés, certificats, analyse de logs, encryption des disques
  - Gestion de la sécurité IAM, kms, encryption aes, création des rôles et policies
  - Cybersécurité: Azure Security Center, vulnerability scans, Azure Sentinel, KeyVault(rotation des clés, secrets, certificats, RBAC)
  - Cybersécurité: Gestion des accès (Azure AD), Azure Disk Encryption, Azure Firewall, ASG, NSG, PIM , MFA
  - Cybersécurité : DDoS protection, Azure Bastion, WAF sur Azure Application Gateway

  Environnement : AWS, Azure, RH7, Databricks, Terraform, Ansible, Github, Jenkins, Data Vault

• Mission comme Architecte BigData Clouds

  pour Danone – Paris
  Jan 2019 - Jan 2020

  - Déploiement composants Aws, Azure, membre équipe architecture. Réalisation schémas
  d’architecture, documentation, DAT
  - Automatisation de gestion de l’infrastructure via scripts bash, terraform, aws cli (VPC,
  Resource Groups, subnets, NSG, Transit Gateways, Public Adresses…Etc)
  - Déploiement chaîne CI/CD : Jenkins server, Github, Terraform
  - Déploiement infrastructure full stack AWS avec Terraform (réseau complet, EC2 instances)
  - Automatisation de gestion des instances Ec2 via scripts bash, python
  - Mise en place monitoring cloudwatch, backups, SSM
  - POC : CDP Cloudera, Databricks, Eks, Fargate, Snowflake Dwh, Redshift clusters
  - Scripting bash pour gérer les règles de sécurité AWS
  - Création des AMI Windows/Linux automatisé avec aws cli/scripts shells
  - Migration onprem Hive / cloud databricks avec Wandisco
  - Gestion de la sécurité IAM, kms, encryption aes, création des rôles et policies
  - Configuration AD pour SSO, SAML Azure/AWS

  Environnement : AWS, Azure, RH7, Databricks, Terraform, Ansible, Github, Jenkins

• Architecte BigData Hadoop/AWS/Azure

  AXA Tech – Paris (Assurances)
  Jan 2018 - Jan 2019

  MCO et Support niveau 3 de plateformes multi tenants (Volumétrie : 1.2Po)
  5 clusters de 30 nœuds sous Cloudera Manager, Prod, Preprod, integration
  Mise en place monitoring avec Zabbix Server.
  Activation et mise sous controle Azure cloud, peuplement du DataLake
  Industrialisation des déploiements des VMs Terraform/Azure
  Azure Datalake : définition des zones, landing, curated, discovery, integration
  Montée de version Cloudera à chaud de la production
  Etude architectures nouveaux composants, airflow, Dr Elephant
  Scripting Bash, Ansible pour déploiement des composants du cluster Hadoop.
  POC sur AWS : implémentation Kubernetes, minikube, pods, replicasets , graphana, kibana, prometheus
  Migration datalake vers AWS : Etude et mise en place Kinesis, Redshit spectrum , Snowball Edge, S3

  Environnement : Linux Red Hat 6/7, Hadoop Cloudera 5.8, Zabbix 3.4, Chef, Ansible, Terraformn LDAP, AWS, Azure, Kubernetes 1.15, Docker 18, ELK, Graphana

• Mission comme Architecte BigData Hadoop / MongoDB

  Banque de France Eurosystèmes – Noisiel (Administration bancaire)
  Jan 2016 - Jan 2018

  Intégration de l’offre à la BdF / Architecture MongoDB : sharding, replicaset, backups/restores
  Déploiement et configuration Ops Manager V3.4, SSL
  Support niveau 3 MongoDB, troubleshooting, tuning slow queries…, recommandations best practises MongoDB
  Ingestion dataflow avec Kafka 0.10/MongoDB 3.4, Nifi 1.1.2 (processeurs : PublishKafka_0_10, ConsumerKafka_0_10, GetFile, PutMongo, PutFile, GetFile, GenerateFlowFile, ExtractText…)
  Déploiement cluster HortonWorks 2.5 (10 nodes), Ambari, HDFS, Nifi,YARN, ELK 5
  Ajout de noeuds, Upgrade de la stack HDP, activation de la High Availability (HDFS, YARN, HBase)
  MCO cluster Hortonworks de production/dev/recette pour projet MUSES statistiques
  Mise en place et définition du datalake avec les équipes Hortonworks France
  Définition et analyse des besoins clients, analyse coût projet
  Architecture en fonction des choix technologiques Hadoop HDP (outils infrastructure web)
  Evaluation des risques et impacts techniques des solutions préconisées
  Dimensionnement des serveurs et gestion des relations avec l’hébergeur, blueprints Ambari
  Conception et mutualisation des socles technologiques MongoDB Enterprise/Community
  Animation des réunions hebdomadaires Comité de Suivi MongoDB/Hadoop
  Définition des normes, de l’offre de services MongoDB pour les métiers

  Environnement: Linux Red Hat 6/7, Hadoop Hortonworks 2.4, MongoDB 3x, Ops Manager 2, ELK 5

• Audit Cassandra BigData pour Carrefour – Massy (Grande distribution)
  Jan 2016 - aujourd'hui

  Tests de charge avec outil Cassandra-stress sur plusieurs millions de lignes
  Définition modèle de donnés, audit logs
  Tuning JVM memory, Replication factor à 1, disque séparé pour les données et les commit logs (préconisation de disques SSD pour les données)
  Architecture cluster 3 nœuds, 1To de data.

  Environnement : Linux Red Hat 6/7, Hadoop Cloudera 5, Cassandra 2x, Ops Center

• BNPP– Montreuil (milieu bancaire , 200 000 employés, CA 44 Milliards)
  2016 - aujourd'hui

  Administration : system Hadoop IBM BigInsights, hdfs, webhdfs management, acl, knox, ambari, oozie, flume, spark, splunk
  Management clusters dev, prod, installation, configuration, tests

  Environment : Linux Centos, Hadoop IBM BigInsights 4.1, splunk, spark, flinck, kafka, flume, spotify, spyder, oozie, ambari, knox, kerberos/ldaps, jupyter

• MSSQL/MySQL/Oracle/

  Mission 6 mois comme DBA ProductionGreenPlum pour Vente– Saint Denis (2eme site E-Commerce Français, 2000 employés, CA 1.7 Milliards)
  Jan 2015 - aujourd'hui

  Français, 2000 employés, CA 1.7 Milliards)
  - Etude puis migration GreenPlum 4.3 (Plate-forme Big Data Analytics d’EMC basée sur PostgreSQL 8.2 en MPP), 2 bases 10To de données. 2 masters, 8 segments. Backup/Restore, tables partitionnées, purges, création schémas, tables externes, monitoring, Ddboost, gpload, gpfdist, command center.
  - Mise en place du backup Greenplum sur DataDomain (VP bloqué depuis 2 ans sur le sujet)
  - Tuning et performances principalement SQL Server 2008R2 (OLTP, réplication), Oracle EE 11G Diagnostic Pack, AWR, analyse des logs, et résolutions des incidents, Dataguard physique
  - Optimisation des performances / Modèle de données, procédures stockées
  - Scripting shell bash , automatisation backups/purges
  - Test indexation 1000 documents sous Elasticsearch 2.0, création cluster Found, Kibana, Shield
  - Mise à jour des documentations GreenPlum, wiki

  Environnement : Linux Red Hat, GreenPlum 4.3, TFS, MSSQL 2008R2, Oracle 11G EE, EMC DATADOMAIN, SCOM, Zabbix, Elasticsearch 2.0

• MSSQL/MySQL/PostgreSQL/Hadoop/Cassandra

  DBA Production
  Jan 2015 - aujourd'hui

  pour Lagardère Active - Paris/Munich ( Comparateur prix, 120 employés pour la partie ********/********, CA 500M)
  - Architecture, implémentation, maintenance et support des bases de données des plates-formes ********/********. 15 Bases MSSQL, 150 Bases MySQL, 20 bases PostgreSQL, 3 base Hbase 0.94.2-cdh4.2.1 / Hadoop 2.0.0-cdh4.2.1
  - Transfert des compétences métiers entre le DBA Munich et Paris en cdi.
  - Implémentation cluster 3 nœuds, DataStax Cassandra 2.1 sur Centos, création keyspace, ccm
  - Gestion de l’intégrité des bases de données ainsi que leur facilité d’utilisation
  - Tuning et performances SQL Server 2008 (OLTP, mirroring Mssql avec témoin, réplication MySQL master/slave, service broker)
  - Optimisation des performances / Modèle de données, procédures stockées
  - Montée en compétence sur Hadoop/Hbase, Apache Cloudera 4.7 , installation cluster 5 nœuds CDH4

  Environnement : Linux Centos, Cassandra 2 .1, MSSQL 2008, MySQL 5, Hadoop, Hbase, PostGresql 8-9, Git, Jira, Agile Scrum

• Production Oracle

  Mission 2 semaines comme DBA pour la Française des Jeux – Vitrolles (Transfert compétences 2j puis 10j en autonomie pour finir le projet avec le chef de projet)
  Jan 2014 - aujourd'hui

  - Migration base critique Oracle 10G vers 11G avec Datapump
  - Analyse des logs, vérifications, tests, tuning base
  - Suivi avec ingénieur applicatif du bon déroulement sur les 2 semaines
  ...