Développeur big data freelance : Principaux experts dispos et missions récentes déposées

Exemple de missions de Mry,
Développeur big data habitant la Seine-Saint-Denis (93)

• Administrateur BIG DATA sur les clusters CLOUDERA

  RTE
  Jan 2018 - aujourd'hui

  Contexte Projet : Ce projet porte sur la conception, l’installation et la configuration des clusters MapR. Et assurer le support technique pour les clients (utilisateurs des clusters).
  • Administrer et consolider le cluster Hadoop Cloudera pour les tests d’ingénierie.
  • Proposer un mode d’industrialisation permettant aux développeurs d’avoir une installation clé en main (VM, intégration DevOps des développements, supervision des jobs …)
  • Apporter son expertise pour contribuer à définir l’architecture cible du paysage complet des clusters Hadoop.
  • Collaborer avec l’équipe d’exploitation sur les questions de performances, d’organisation de l’administration et de supervision des clusters.
  • Contribuer aux travaux d’ingénierie (kerberos, authentification, edge node, …)
  • Contribuer aux travaux d’analyse et de suivi des performances des clusters (Cloudera Manager, Cloudera navigator, formats parquet/avro …)
  • Contribuer activement aux installations de maquettes, analyse, rex et production de la documentation pour passage sur instances de Recette/Dev puis PRA/Production.
  • Faire monter en compétence les équipes RTE sur la distribution Cloudera et les bonnes pratiques d’administration et de développement.

  Environnement technique: CDH5.15 , HDFS, Hive, Pig, Spark, Notebook, Sentry, Kerberos, Oozie, Zookeeper, Yarn, Hbase, Dataiku, Qlick

• Administrateur BIG DATA sur les clusters HORTONWORKS

  BPCEIT
  Jan 2017 - Jan 2018

  Contexte Projet : Ce projet porte sur la conception, l’installation et la configuration des clusters MapR. Et assurer le support technique pour les clients (utilisateurs des clusters).
  • Atelier sur les best practice HORTONWORKS
  • Participation à la mise en place des serveurs principaux du « cœur hadoop » de production
  • Mise en place de la Haute Disponibilité
  • Participation aux travaux de mise en place de la sécurité (kerberos, ranger, knox)
  • Participation aux travaux de mise en place de tableaux de bord pour la supervision et le capacity planning
  • Définition et mise en place des dispositifs de sauvegardes
  • Accompagnement des équipes d’exploitation
  • Prise en compte des demandes de support N2 et N3, en liaison avec Hortonworks le cas échéant

  Technologies: HDP-6.3.0, Ambari-5.3.2, Ambari-6.2.0 et tous les services de l’écosystème

• Administrateur BIG DATA sur les clusters MapR

  SILCA-CREDIT AGRICOLE
  Jan 2016 - Jan 2017

  Contexte Projet : Ce projet porte sur la conception, l’installation et la configuration des clusters MapR. Et assurer le support technique pour les clients (utilisateurs des clusters).
  • Atelier sur les best practise MapR
  • Création des volumes MapR
  • Sécurisation de données sur MapR
  • Mise en place de MaprClient, NFS loopback
  • Automatisation des tâches avec Ansible
  • Utilisation de Git pour la gestion version
  • Jenkins pour le déploiement des configurations
  • Management des users et data
  • Management des clusters
  • Monitoring des clusters
  • Gestion des ressources des clusters
  • Installation et configuration des clusters
  • Installation et configuration des service big data
  • Conception de topologie des clusters
  • Support technique sur les clusters big data
  • Monitoring des services
  • Développement sur les outils: hive, maprDb, drill, spark

  _MapR 5.2, MapR-FS, MaR-DB, HBase, MapRLogin, Drill Java, Jenkins, Git, Ansible, YAM, OpenStack_

• Développeur Big Data

  Ministère des Finance
  Jan 2015 - Jan 2016

  Mise en œuvre d’indexe Géo spatial dans un contexte Big Data
  Contexte Projet : Ce projet porte sur l’analyse et gestion des données Géo spatial sur Hadoop
  • Recueil et analyse des besoins métiers
  • Elaboration et Rédaction des maquettes de conception et de macro conception
  • Mise en place d’un référentiel pour la gestion des données géo spatial
  • Analyse et intégration des données géographiques dans Hive
  • Manipulation des requêtes sur Hive et Hbase
  • Rédiger le guide d’installation et le manuel d’exploitation
  • Adapter et qualifier le code à la distribution Cloudera.
  • Tests unitaires et Tests d’intégration.

  Technologies: Cloudera CDH 5.x, Hive, HQL, Oozie, XML, Java, Hue, Cloudera Manager, Linux, MySQL, Shell Unix

• Développeur Big Data

  WANGARDEN
  Jan 2014 - aujourd'hui

  Mise en place d’un outil d’exploration de données (logs)
  Contexte Projet : Ce projet porte sur un outil d’analyse des logs
  • Rédaction des spécifications fonctionnelles
  • Développement de l’outil d’analyse sur Logstash
  • Extraction de connaissance à partir des données brutes (logs)
  • Création d’un écosystème d’accès aux données
  • Création des sous-systèmes de visualisation
  • Déploiement de l’outil de reporting avec Kibana
  • Rédaction des guides utilisateurs
  • Rédaction des documentations techniques

  Technologies: Elastic search, Logstash, Kibana, Linux, Shell Unix