Automatisation du déploiement des composants Big Data pour les équipes du Centre de Compétences BigData
Projets
Déploiement de la chaîne CICD pour l’ETL Talend
Continuous Deployment de Workflow NiFi
Monitoring applicatif de NiFi
Contenu
Redhat 7, Jenkins, Groovy, Jira, Github, SonarQube, Maven, Ansible, Ansible Tower, AWX, Administration Système, Hue, Ranger, Kerberos, NiFi, Talend 6.4.1, Talend 7.3.1
Mission(s)
Rédaction de dossiers d’architectures
Création de pipeline Jenkins pour le déploiement des Applications Big Data
Mise en place d’environnement Worker Jenkins de type « container (docker) »
Développement de pipeline Jenkins scriptés pour le déploiement de composants et d’applications Big Data
Développement de rôles et playbooks génériques Ansible
Création et configuration d’environnement sous Ansible Tower et AWX
Documentations
Évangélisation DevOps
Formation DevOps pour les équipes projets
Projet Evangélisation DevOps et Intégration de la chaîne CI-CD dans le déploiement des applications Big Data
Contenu CentOS 7.4, Jenkins, Jira, Github, SonarQube, Maven, Ansible, Ansible Tower, Administration Système, Hue, Ranger, Kerberos
Mission(s)
Création de pipeline Jenkins pour le déploiement des Applications Big Data
Participation au développement de fonctions génériques pour les jenkinsfile
Développement de rôles génériques Ansible
Développement de playbooks
Création et Configuration de projets et templates sur Ansible Tower
Présentation et évangélisation DevOps
Formation DevOps pour les développeurs
Projet Administration et supervision d’un Lac de données (équipe de 2 personnes)
Contenu RedHat 7.3, Ubuntu Zesty Zapus 170.4, Cluster MongoDB, Cluster Elasticsearch, Kibana, MySQL Galera, Talend, OpenLink Virtuoso, Active MQ, Nexus, Nagios, Centreon, Log4j, Filebeat, SSSD, Chef
Mission(s)
Rédaction du Document Architecture Technique pour l’élaboration des sondes Nagios
Supervision des différents Composants du Lac de Données à partir de sondes Nagios développées sous python : ActiveMQ, Elasticsearch
Rédaction des documents d’installation et d’exploitation des Sondes développées
Développement de scripts d’automatisation sous CHEF : Sondes de supervision, Composants applicatifs et système
Administration des Bases de données : MySQL, MariaDB, PostgreSQL
Création de backups automatiques sous Rundeck
Configuration et gestion des logs (logs système, logs applicatifs)
Projet Développement d’une solution d’orchestration Cloud de TIBCO SPOTFIRE.
OS cible: Windows Server.
Outil de déploiement d’application sur le Cloud : Alien4Cloud.
Orchestrateur Cloud : Cloudify.
IaaS pour le déploiement : Amazon Web Services (aws).
Mission(s) et réalisations
Rédiger un dossier d’architecture de la solution à développer
Développer des scripts d’installation automatique des Produits TIBCO SPOTFIRE en Batch / Powershell
Créer des instances de serveur Virtuels et d’images de machines sur aws
Créer et configurer le CLI Cloudify et bootstraper le Manager Cloudify
Créer les topologies de l’applications basées sur la norme TOSCA
Développer le composant d’orchestration de TIBCO SPOTFIRE sur le Cloud via Alien 4 Cloud
Administrer Alien 4 Cloud
Administrer la plateforme EC2 d’Amazon Web Services
Projet Installation de bout en bout d’une plateforme d’intégration continue sur des environnements Docker
OS cible = RedHat 7.3
Version Docker = 17.3
Contenu Gitlab 9.11-ee, Gitlab Runner 9.11, Ansible 2.2.0.0 Artifactory 5.3.1, Docker Notary, Docker Compose 1.12.
Mission(s) et réalisations
Participation à la rédaction du dossier d’architecture de la solution à développer
Création des VM sous KVM/QEMU
Configuration Réseau des VM
Installation et configuration d’Artifactory 5.3.1 pour le Docker Registry et dépôt et la synchronisation des paquets :
Centos
Rhel
Ubuntu
Pip
CRAN
Alpine
….
Configuration de dépots RedHat sur une machine RedHat à synchroniser sur Artifactory
Installation et configuration d’Ansible (docker)
Création de scripts Ansible pour automatiser l’installation et la configuration des environnements sous docker
Installation et configuration de Gitlab (docker)
Installation et configuration de Gitlab Runner (docker)
Installation et configuration de Docker Notary (docker)
Configuration des accès LDAP sous Artifactory et Gitlab
Installation et configuration des Certificats sur toutes les VM
Test à l’aide de projet réalisés et cas concrets sur chacun des environnements installés
Rédaction des documents d’installations de chacun des composants installés
Environnement RedHat 7.3, Docker 1.12, Alpine 3.4, Ubuntu Trusty 14.4, Ubuntu Xenial 16.04
Valtech, Apache Pig & Hive , Formation
Editeur Hadoop Hortonworks 2.5
Contenu
Introduction à l’environnement Hadoop
Le File System distribué d’Hadoop
Le Framework MapReduce et Yarn
Programmation Avancée en Pig
Programmation Avancée en Hive
Introduction à Spark
Environnement Amazon Web Services EC2, Ubuntu.
Atos, Administration Hadoop, Formation
Editeur Hadoop MapR 5.2
Contenu
Introduction à la Plateforme de convergence de données MapR
Présentation des Composants de la Plateforme de convergence de données MapR
Installation d’un Cluster MapR
Configuration d’un Cluster MapR
Accès aux données et Protection
Maintenance du Cluster