A distance, Corbeil-Esses
Projet « CaaS » Cluster as a Service :
Réalisation d’un projet « (Big) Data Cluster Delivery »
o Solutions implémentées avec 3 produits au choix ou mix (CDP PVC, CDP PVC Plus, Hadoop Core)
o Mise en œuvre et livraison d'un SI Big Data incluant un cluster Hadoop de base (BASE Cluster)
o Adjonction de n centres de calcul (COMPUTE clusters), selon l'Expression des Besoins (réalisable au moment de la livraison ou à posteriori)
o Licence unique pour l'ensemble du cluster BASE + les COMPUTE (scénario CDP PVC/PVC+)
o Architectures Lambda, Kappa, Datalake, Datawarehouse, Datamart, Datalakehouse, Multi-tenant/canal, Hybride et Bare Metal.
o Équipements réseau (routeur, switch) préconfigurés et adaptables à l'environnement et au réseau cibles
Environnement : 2 serveurs BDD PostgreSQL (actif/standby), Gestion des Accès et des Identités dédiée ou intégrée à l'existant (avec domaines et sous-domaines LDAP/DNS/Kerberos opérés par FreeIPA (Utilisateurs, Services, Nœuds, divers services associés dont PKI intégrée dans l'offre (gestion de certificats utilisateurs, serveurs et services).
Compétences : Cloudera Data Platform PVC/PVC+ · Hadoop Core · Ranger Admin · Apache Knox · CentOS Stream 8 · Documentation technique · Architecture en couches · Kerberos · Security by design · ETL · Architecture technique/Infra/SI · Big data · Administration Hadoop · Ansible · Gestion des identités et des accès (IAM) · PostgreSQL· Linux
Hybride, Paris/Toulous.
o Rédaction du plan d’action global
o Étude/Conception/Implémentation d’Architectures Hadoop
o Documentation technique (DAT, Schémas d’Archi Technique, KB & sécurité, Docs Exploita°)
o Optimisation de configurations Hadoop complexes
o HA YARN RM, HDFS, Oozie, Ranger, Knox
o Formations à l’équipe, Présentations techniques
o Mise en place d’un Plan d’Action Global cadrant
o Accompagnement migration HDP/CDP (cross-trust Kerberos, policies Ranger via API CM/Ranger et scripting, dévt script distcp pour copie des données
Environnement : CDP 7.1.7, HDP 3.1.5, Ambari 2.7, RHEL7/8, Ansible 2.9, PostgreSQL 9, Kerberos, Red Hat IDM, Informatica 10, Tableau, Conda, Python, Jupyter Hub
Compétences Techniques : Cloudera Data Platform · Hadoop · Ranger Admin · Apache Kafka · Apache Knox · RHEL · Cloudera · Documentation technique · Architecture en couches · Kerberos · Systèmes de gestion de la sécurité · ETL · Architecture technique · Big data · Administration Hadoop · Ansible · Gestion des identités et des accès (IAM) · PostgreSQL · Ambari · Linux
Solutions Data apportées : Sur base d’exigences métiers pilotées par l’indice DICT, la maintenabilité, l’observabilité et l’exploitabilité, Implémentation Ranger Admin (Security by design, RBAC/HBAC, Data Masking), HUE (Exploitabilité, UX, Reporting, Co-working), Oozie (Traçabilité, Workflow), Kafka (SOA/ESB), Atlas (Gouvernance des données), Vulgarisation des API/endpoints Hadoop/CDP (Exploitabilité, MCO)
Implémentation industrialisée d’architectures mixtes
Automatisation des déploiements de clusters CDP
Automatisation de la Migration de clusters HDP → CDP
Support N2, DevOps Build/Run en agile/stretch
Mise en place d’un important DRP/PRA inter-sites
Clustering Haute-Dispo sur les composants Hadoop
Assistance Migration HDP vers CDP puis Administration de la nouvelle plateforme
Sécurité et stabilisation des environnements clustérisés
Introduction de LLAP, Optimisation des ACLs, ACIDification
Projet Apache Drill, MongoDB
Cadrage, Définition et Implémentation d’une nouvelle Architecture Hortonworks pour la migration de la plateforme Big Data IOP 4.1.0 vers HDP 2.6.2, Déploiement via Ansible/Blueprint, Sécurité (Authentification, Habilitation/Autorisation, Services, ACL), Use case & POC, Provisioning)
Gestion de la Production, Architecture Technique & Documentation
- MCO, RUN, Gestion d’Incidents N2/N3, Exploitation/Administration
Assistance/Administration Hadoop
- Incidents BigSQL/Hive, Migration/Déploiement, Projets YARNisation jobs Datastage, ...
Assistance/Administration Datastage
Assistance/Administration Système
(Dans le cadre de nombreux projets dont la formation dans le domaine de la production)
Cadrage, Expression du besoin, Définition/Implémentation d’Architectures Techniques
- POCs, usecases, Accompagnements projets, ingénierie de formation sur la production opérationnelle
Expertise Systèmes Linux et Open Source
- Industrialisation/Automatisation via Ansible, Deep Troubleshooting and RCA
Expertise MiddleWare, ETL (Déploiement, Stabilisation, ROI)
- TALEND, TIBCO, JBoss, ELKB
Administration Système et Hadoop, Architectures Logiques et Applicatives
- HDP : Installation/Déploiement via Blueprint/Ansible et Ambari, Migration, Déploiement, mise en HA | Cloudera : via Cloudera Manager | IOP : via Ambari
Définition/Implémentation d’Architectures, Build/Run sur 5 environnements Talend , 2 architectures distinctes / 3 environnements Hadoop)
OPS Technical Lead & Architect : TALEND for Big Data
- Définition d’Architectures HA & rédaction du DAT, DEX et DIES
- Relations avec l’éditeur, support N2/N3, gestion des licences
- Implémentation et Installation technique par Ansible
- Administration du socle HDP & Talend for Big Data (+DI/DP)
- Accompagnement des projets et métiers sur les MEP
- MCO, Troubleshooting, Task-Forces, Workshops, STEERCO, Dailys
→ Garant du RUN Talend (50 projets, 150 jobs, 400 tâches, 2 DSI)
→ Environnement : RHEL 7.x, Talend 6.4.1, Stack HDP 2.6
Administrateur SOCLE Big Data
- Accompagnement des projets et métiers sur les MEP
- MCO, Troubleshooting, Task-Forces, Workshops, STEERCO, Dailys
→ Garant du RUN Talend (50 projets, 150 jobs, 400 tâches, 2 DSI)
→ Environnement : RHEL 7.x, Talend 6.4.1, Stack HDP 2.6
(Expertise Open Source, Hadoop IHM/CLI/tools, Continuous Delivery)
Environnement:
Distribution Hadoop HDP 2.4/2.6, RHEL6/7, Nagios, Ansible, PostgreSQL, HIVE, Oozie, HUE, Kafka, Ambari, Spark....
Activité: Banque & Finance
*
Contexte et poste occupé:
Big Data, Middleware, Open Source, Talend for Hadoop, IBM Sterling Connect:Express,
SQL/NoSQL, Architectures et SI Hadoop, Cloud, Cérémonies agiles, DevOps, Intégration de projets, BUILD&RUN
* Mission et rôle:Garant de la production et de l’exploitation
* Gestion de Projets et Implémentation d’Architectures:
Accompagnement des architectes – Contribution aux phases d’étude et de réalisation (respect des normes, connais
-sance globale de l’environnement) – Mise en place de schémas logiques/techniques – Intégration des nouveaux besoins
au sein de l’infrastructure existante – Déploiement de ces besoin sur de nouveaux environnements (migrations, évolu-tions d’architectures, mise en Haute Disponibilité des grappes de serveurs (custom ou éditeur)...
* Gestion du RUN, et Intégration de solutions :
Déploiement, Supervision, Suivi de solutions – Expertise sur l’analyse et la gestion des incidents – Ordonnancement, mo-nitoring – Processus ce changements, mise en œuvre de task forces pour la résolution de projets à étapes bloquantes
(Expertise Red Hat, Spécialiste TIBCO & Red Hat GFS2 Clustering)
Environnement:
RHEL5/6, AIX 6/7, Nagios/Centreon, Puppet, Kickstart, RHQ/Jopr, Lamp, Oracle, MySQL, PostgreSQL...
Activité: Courses & Paris Hippiques, Paris Sportifs, Jeux
* Contexte et poste occupé: Middleware, Open Source, SOA, Mainframe, SQL/NoSQL, Datacenter, Architectures com-plexes et urbanisées, LAN/SAN/MAN/MPLS/VPN, VMware, 3x8, HO/HNO, Astreintes
(Spécialiste LAMP, Novell, Mac: eDirectory & Open Directory)
Environnement:
Linux SLES, CentOS, Fedora, Mac OS X, Novell NetWare 6.5, Spacewalk, Lamp, Oracle, MySQL, PostgreSQL...
Activité: Hébergement Web, Publicité-Marketing, Communication institutionnelle
* Contexte et poste occupé:
Open Source, SAP, SUMMIT, SQL, Web, Datacenter, Citrix, SAN/WAN/VPN, , VMware, 2x8