Freelance LOGSTASH : Sélectionnez facilement les CV qui vous intéressent

Aperçu des emplois de Mouloud,
freelance LOGSTASH résidant dans la Seine-Saint-Denis (93)

• Mise en place d'une solution de contrôles des données inter applications dans environnement Hadoop

  Société Generale
  Jan 2018 - aujourd'hui

  Réalisations :
  Collecte de données depuis Kafka avec Spark Streaming
  Optimisation des temps de traitement Spark Streaming et hive
  Conception et création de vues exploratoires et métiers sur les données
  Industrialisation et automatisation de la chaîne de collecte de bout en bout
  Synchronisation inter-traitements
  Mise en place du monitoring et de l’alerting des traitements
  Optimisation de la robustesse des traitements
  Qualification et traitement des anomalies
  Alimentation temps réel d’une base mongo DB avec nifi

  Environnement technique : Unix, Hadoop (Cloudera), Hive, Spark, SQL, HQL,Kafka, Nifi, Jira Méthodologie projet : Scrum (Agile)

• Participation au projet Océan « Implémentation d’un data warehouse dans un environnement Hadoop »

  groupama
  Jan 2016 - Jan 2018

  Réalisations :
  Audit des scripts Pig et améliorer leur performance
  Conception et réalisation d’un prototype Spark sur l’alimentation des tables de fait et de dimension
  Mise en œuvre du prototype en mode production
  Traitement des données Hive avec Spark-sql
  Développement de requêtes SQL

  Environnement technique : Unix, Hadoop (Cloudera), Hive, Pig, Spark, SQL, HQL, Oracle

• Participation au projet « Comportement des investisseurs »

  CaCEIS
  Jan 2016 - Jan 2016

  Réalisations :
  Développement de règles métier sur une base de données orientée colonne (vertica)
  Conception et création de la table de fait
  Développement de requêtes SQL

  Environnement technique : Unix, HP Vertica

• Mise en place d’un système de récupération des logs applicatifs et proposition d’une interface de supervision en temps réel

  MGEN
  Jan 2015 - Jan 2015

  Projet Centralisation, indexation et stockage des Logs sur un cluster ElasticSearch.
  
  Réalisations :
  
  Etude et conception d’architecture de bout en bout.
  
  Rédaction des spécifications fonctionnelles
  Collecte en quasi temps réel avec logstash shipper
  Centralisation et gestion de flux avec KAFKA (Broker redondant)
  Indexation avec logstash Indexer et stockage sur elasticsearch (réplication sur plusieurs nœuds)
  Tolérance aux pannes et gestion de charge (Load Balancing).

  Environnement technique : Unix, Elasticsearch, Logstash, Kafka, Kibana

• Récupération des données d'un système de badge depuis un web service et calcul du temps de travail des employés Projet Optimisation de flux

  NESPRESSO
  Jan 2015 - aujourd'hui

  Réalisations :
  
  Collecte d’information sur un système de badge
  Recommandation sur les horaires d’arrivée, départ et pause déjeuner
  Développement de packages Microsoft SSIS
  Rédaction de la documentation technique

  Environnement technique : Microsoft SQL Server (Integration Services), Windows Server

• COYOTE SYSTÈME
  Jan 2015 - Jan 2015

  Projet
  Traitement des données géospatiales avec des données d’une cartographie dans un environnement Hadoop afin d’enrichir les données
  
  Réalisations :
  
  Traitement massif des données géospatiales dans environnement Hadoop Hortonworks
  Calcul de trajets de boitiers GPS sur un historique de deux ans (36 milliards de coordonnées)
  Optimisation de la plateforme Hadoop afin de d’obtenir les meilleures performances sur le cluster

  Environnement technique : Apache Hadoop (Hortonworks 2.2), Pig, Unix

• Mise en place d’un système de récupération de logs machine et supervision des états de ces équipements

  EDF
  Jan 2014 - Jan 2015

  Projet Analyse en temps réel du fonctionnement des équipements
  
  Réalisations :
  
  Etude et conception d’architecture de bout en bout.
  
  Collecte en quasi temps réel avec logstash
  Développement de scripts de parsing des logs
  Création et administration d’un cluster elasticsearch sur 3 machines
  Suivi en temps réel (kibana)
  Rédaction des spécifications fonctionnelles et techniques

  Environnement technique : ElasticSearch, Logstash, Kibana, Unix

• Réalisation d’un POC sur la voiture connectée chez PSA, qui propose le suivi des voitures sur des maps et permet d’envoyer de l’information entre elles Projet SmartCity

  PSA
  Jan 2014 - Jan 2014

  Réalisations :
  
  Preuves de Concept Métier (PoC)
  Proposition d'une solution permettant de gérer la charge et réduire le temps de latence et de traitement.
  Conception d'une architecture distribuée permettant la connectivité et l'interopérabilité de plusieurs produits (IBM Streams Server et studio, Websphere MQ, SPSS et BigInsights)
  Preuve de concept technique (PoT)
  Installation, administration et test de plateforme Hadoop sur un cluster de 5 machines OVH (IBM BigInsights)
  Développement de modèles de Machine Learning sous SPSS
  Intégration et interconnexion de briques applicatives sous plateforme Hadoop
  Stockage de données dans HDFS.

  Environnement technique : IBM BigInsights for Apache Hadoop, Unix

• Coyoye système
  Jan 2013 - Jan 2014

  Projet : Participation au développement du système décisionnel
  
  Réalisations :
  
  Améliorer l’existant (Amélioration des performances du DWH)
  Extraction des données Excel via des cubes OLAP
  Construire de nouveaux indicateurs (nouveau schéma)
  Développement des jobs d’alimentation et des rapports
  Définition des indicateurs pour les tableaux de bords
  Documentation des rapports et les règles de gestion
  Rédaction des spécifications techniques et des documents fonctionnels (cahiers des charges)

  Environnement technique : Oracle, MySQL, Jaspersoft, Talend, Microsoft SQL Server (Integration Services, Analysis Services, Reporting Services)

• Centre R&D Migration/Installation/Tests
  aujourd'hui

  Projet : Collaboration avec l’équipe R&D afin de tester les solutions Hadoop
  
  Réalisations:
  
  Installation administration et test de plateformes Hadoop (Hortonworks, Cloudera et Mapr)
  Tests et connexion des différentes briques proposées par ces solutions
  Installation et configuration de Kerberos
  Migration d’un entrepôt de données de Microsoft SQL Server vers Hadoop/Hive (Sqoop)
  Indexation automatique d’une base textuelle avec elasticsearch et visualisation dans kibana
  Rédaction des rapports d’activités sur les technologies testés

  Environnement technique : Hadoop, Hive, Pig, Impala, Flume, Kafka, Sqoop, MongoDB, Talend, Unix,