CV/Mission de Consultant Hadoop freelance

Exemple de missions de Karim,
Consultant Hadoop habitant les Hauts-de-Seine (92)

• Admin BigData DevOps

  BNP Parribas
  Jan 2020 - aujourd'hui

  Contexte : Build & automatisation de la plateforme hadoop HDP/CDP
  ❏ Evaluer la pertinence de l’utilisation de certaines technologies dans le contexte du client
  ❏ Réaliser des POCs (Proof Of Concept) permettant de :
  Valider la faisabilité, l’intégration et les performances de briques applicatives de(s)
  solutions(s) envisagée(s) par l’architecture technique pour répondre aux besoins
  spécifiques client
  ❏ Etudier et tester des nouvelles briques technologiques afin de valider leurs applications
  dans le contexte Big Data
  ❏ Être le référent technique pour une équipe de production
  ❏ Participer à la validation et à l’évolution de l’architecture technique de la plateforme
  ❏ Participer à la qualité des livraisons ainsi qu’à leur déploiement sur les environnements de
  production.
  ❏ Installation des nouveaux clusters Hadoop (HDP ou CDP)
  ❏ Automatisation d’installation via ansible
  ❏ Développement des scripts d’exploitation (shell, python)

• Consultant admin hadoop BigData/DevOps

  Bouygues Construction
  Jan 2019 - aujourd'hui

  Contexte : Administration & exploitation de la plateforme hadoop Build/Run
  • BUILD :
  ❏ Architecture :
  - Contribution à l’élaboration des dossiers d’architecture
  ❏ Accompagnement des nouveaux clients sur la plateforme:
  - Respect des exigences de sécurité via des politiques dans RANGER & openldap
  - Respect des règles de la data gouvernance via ATLAS
  - Accompagnement dans le partage des ressources cluster via YARN
  ❏ Optimisation des ressources :
  - Définition et dimensionnement des queues YARN
  - Fine tuning du service Zeppelin
  ❏ Intégration :
  - Nouveaux composants dans la plateforme Big Data (Injection, Librairie python, etc.)
  - Formalisation de l’expression de besoin lié à la sécurité et à la gouvernance
  - Étude et validation de nouvelles fonctionnalités DevOps (Docker, DEV, PREPROD)
  - Préparation des mises en production (validation pré production, rédaction du mode
  opératoire)
  ❏ Supervision :
  - Identification des métriques les plus pertinents (Hortonworks, Kafka, Elasticsearch, Azure
  Virtual Machine, Azure Data Lake Store,Définition des seuils)
  - Intégration des métriques dans l’outil Centreon de la DSI
  ❏ Industrialisation :
  - Automatisation des sauvegardes : shell et crontab
  - Gestion des logs : rotate (log4j), purge (cron)
  - DevOps : déploiement des applications métiers : git, Ansible
  ❏ Agile :
  - Contribution à l’alimentation du backlog sous JIRA
  - Planification des users stories à embarquer dans chaque Sprint
  - Définition et estimation des users stories
  ● RUN :
  ❏ Support de production et 3 de Kafka, ELK , Hadoop et Azure
  ❏ Accompagnement des nouveaux utilisateurs : usage des outils, bonne pratique
  ❏ Réalisation des mises en production (communication, implémentation, compte rendu)
  ❏ Suivi de la consommation des ressources (anticipation de la scalabilité horizontal et
  vertical)
  ❏ Compte rendu mensuel : KPI, faits marquants, nouvelles fonctionnalités, nouveaux
  clients
  ❏ Rédaction des fiches de consigne
  ❏ Rédaction des gestes de MCO

• Intégrateur référent Big Data

  Société Générale
  Jan 2018 - Jan 2019

  Contexte : Migration projet SG/ASSU IBM BigInsight vers HDP 2.6
  • Migration de la plateforme ASSU (BigInsight) vers HDP (Transfert de données, Bases Hive,
  Jobs de traitement batch & temp réel)
  • Déploiement des nouveaux projets (Création Arbo HDFS, Table Hive, Jobs Spark)
  • Développement des solutions automatisées pour remplacer les actes récurrents
  • Administration et monitoring du cluster (HDFS, Queues YARN)
  • Déploiement et paramétrage des composants métiers
  • Assurer la disponibilité et la performance des plateformes de production.
  • Mise en place de système de surveillance sur Nagios.
  • Industrialisation, optimisation des processus & documentation (DEVOPS)
  • Interventions sur les demandes de support techniques complexes N3
  • Définition des architectures dans le cadre des nouveaux projets

• Formation Consultant Big Data

  Fitec
  Jan 2018 - Jan 2018

  Contexte : Réalisation d’une plate forme d’aide à la décision pour les promoteurs immobilier
  • Conception d’une plateforme basée sur des technologies Big Data (Hadoop, HDFS, NoSQL,
  Spark, Kafka …)
  • Installation et déploiement d’un cluster HortonWorks 2.6 sur AWS
  • Administration du cluster via Ambari
  • Installation d’un cluster MongoDB avec sharding et replica Set
  • Collecte et stockage de données (Scraping) dans un Datalake
  • Intégration des données (Talend)
  • Analyse, traitement de données (Spark) et visualisation (Tableau)

• Chef de projet Applicatif

  Ekino
  Jan 2015 - Jan 2017

  Contexte : Support N2, N3 sur l'ensemble des applications Front, Back et Mobile du Groupe
  Renault (30 pays).
  • Gestion de projets liés aux besoins clients en production (Analyse, investigation et résolution
  des incidents).
  • Gestion des évolutions, rédaction des devis et suivi des correctifs.
  • Rédaction des spécifications fonctionnelles.
  • Rédaction du cahier de recette et exécution des de test de non régression.
  • Organisation et suivi du déploiement des releases en collaboration avec les équipes DEV.
  • Administration du backoffice (paramétrage, CMS, flux de données, WebServices).
  • Contrôle et suivi du projet (communication, reporting, remontée des alertes…).
  • Organisation des réunions hebdomadaire et présentation des KPI.
  • Organisation du plan de charge.
  • Formations des équipes support N1.
  • Mise à jour et validation de la documentation utilisateurs.

• Consultant support IT

  Europcar International
  Jan 2014 - Jan 2015

  Contexte : Gestion d’un parc informatique de 600 utilisateurs.
  • Gestion des postes de travail (Windows, Mac, Linux).
  • Déploiement d’applications via GPO.
  • Traitement des incidents N2 (Windows, Mac OS, Office et Applications internes).
  • Gestion de l’Active Directory (Création de comptes, Modification, Droits d’accès).
  • Gestion de la messagerie & Google Apps (Gmail, Agenda, Drive).
  • Gestion des terminaux mobiles (Android, IOS).
  • Gestion des accès VPN via SafeNet.
  • Support utilisateurs VIP.

• Ingénieur support applicatif

  Ingeniway
  Jan 2011 - Jan 2014

  Contexte : Intégration d’une application ERP pour nos clients.
  • Déploiement des produits ERP chez le client et suivi de mises à jour.
  • Traitement des incidents N2.
  • Formation client et garantir la bonne utilisation des outils.
  • Plans d'action destinés à améliorer la stabilité des solutions.
  • Test et validation des release avant la mise en production.
  • Reporting feedback clients et suivi de correction de bugs.
  • Rédaction des procédures interne.