1. Leadership technique :
o Orientations architecturales : Fournir des orientations expertes sur les meilleures pratiques architecturales et aider à concevoir des solutions conformes aux principes d'AWS.
o Évangélisation technologique : Rester à jour avec les services et technologies d'AWS et plaider en faveur de leur adoption pour atteindre les objectifs commerciaux.
2. Engagement client :
o Consultation : Travailler en étroite collaboration avec les clients pour comprendre leurs besoins commerciaux, leurs exigences techniques et leurs contraintes. Fournir des recommandations et des solutions pour relever leurs défis.
o Communication : Communiquer efficacement des concepts techniques complexes aux parties prenantes techniques et non techniques, y compris aux dirigeants.
3. Conception de solutions :
o Développement architectural : Diriger la conception et le développement de solutions évolutives, sécurisées et rentables sur la plateforme AWS.
o Meilleures pratiques : Veiller à ce que les solutions respectent les meilleures pratiques d'AWS en matière de sécurité, de performance, de fiabilité et d'efficacité financière.
4. Collaboration en équipe :
o Collaboration avec les équipes : Travailler en étroite collaboration avec des équipes interfonctionnelles, y compris les ventes, le marketing et la gestion de produits, pour assurer l'alignement entre les besoins des clients et les solutions techniques.
o Mentorat : Fournir du mentorat et des conseils aux architectes juniors et à d'autres membres de l'équipe.
5. Innovation :
o Apprentissage continu : Rester informé des tendances de l'industrie, des nouveaux services AWS et des technologies émergentes. Appliquer ces connaissances pour innover et améliorer les solutions existantes.
o Proofs of concepts : Diriger le développement de preuves de concept pour démontrer la faisabilité et la valeur des solutions proposées.
6. Résolution de problèmes :
o Résolution de problèmes complexes : Aider à résoudre des problèmes techniques complexes, en travaillant en étroite collaboration avec le support client et les équipes de services AWS.
7. Input stratégique :
o Planification stratégique : Fournir des contributions à la planification stratégique et aux feuilles de route, aidant à façonner la direction des services et solutions AWS.
8. Documentation :
o Documentation et Partage des Connaissances : Créer et maintenir une documentation sur les architectures, les meilleures pratiques et les leçons apprises. Partager les connaissances avec la communauté élargie.
9. Assurance qualité :
o Révision et Audit : Effectuer des révisions des conceptions architecturales et des mises en œuvre pour garantir qu'elles respectent les normes de qualité et les meilleures pratiques.
10. Plaidoyer Client :
o Succès Client : Plaider en faveur du succès client en comprenant leurs objectifs commerciaux et en veillant à ce que les solutions techniques contribuent à leurs objectifs globaux.
Mise en place de la plateforme modern data, migration des données vers GCP, construction du modèle datavault et des rapports powerbi
• Mise en place de l’architecture de migration des rapports EDW Oracle/MicroStrat vers BigQuery et PowerBI
• Mise en place de l’hiérarchie projet (folders et projects)
• Choix des composants techniques GCP permettant d’implémentation des flux :
o EDW Oracle vers BigQuery en utilisant cloud datafusion
o Amazon S3 vers GCS avec du cloud RUN
o Microsoft Sharepoint vers GCS à l’aide de cloud RUN
• Mise en place des bonnes pratiques bigquery
• Mise en place de la chaine CICD en utilisant Gitlab, Jenkins et cloud build
• Mise en Place d’un ETL dans BigQuery pour créer les tables de faits/vues pour être les sources des rapports powerBI
• Benchmarking des outils GCP pour faire le choix en se basant sur les besoins clients
• Faire le choix de stratégie (réseau, facturation, sécurité, serverless vs infra…)
• Rédaction du DAT
• Piloter le développement de la chaine DATA et s’assurer de la maintenabilité, scalabilité et flexibilité du code.
• Concevoir, créer, opérationnaliser, sécuriser et surveiller les systèmes de traitement des données dans Google Cloud Platform.
• Exploiter, déployer et entraîner en continu des modèles de machine learning préexistants.
• Identifier, concevoir et mettre en œuvre des améliorations de processus internes.
• Automatisez les processus manuels pour optimiser la livraison des données.
Architecte des systèmes distribués et des datawarehouse.
• Aggréger les sources de données et créer des pipelines fiables.
• Collaborer avec les équipes de science des données et les principales parties prenantes pour atteindre les objectifs commerciaux.
• Propostion des choix techniques appropriés e se basant sur les besoins métier (type des données, nature des traitements…)
• Créer Des clusters Dataproc en suivant les best practices de GCP
• Utiliser les orchestrateurs GCP (Cloud Composer)
• Création du tenant GCP et définition de l’architecture et l’organisation selon les besoins du client
• Faire le choix d’interconnexion réseau intra GCP et entre GCP et l’extérieur
• S’assurer de la mise en place des best practices sécuritéau sein des projets GCP
• Déploiment des algorithmes ML dans !gcp en utilsant les diffrentes techniques disponibles (BQML, AutoML, pretrained models …)
• Mise en place des flux de tranfert de données depuis/vers les bases de données GCP
• Installation of Kafka connect connectors (hdfs, jdbc, elastic and mongodb)
• Development of flink pipelines
• Benchmark of the different kafka connect topologies (number of pods, number of tasks and number of connectors per pod) to select the best offer
• Troubleshoot issues related to kafka connect bugs
• Support of Métis teams in setting up kafka connect clusters
o Déploiement d’un cluster cloudera 5.13 dans le cloud GCP
Création des templates d’instances compute engine VM à utiliser pour les machines du cluster
Provisionning des compute engine VMs pour déployer les serveurs
Provisionning des ressources de stockage (SSD vs HDD) et de processing au niveau des compute engine VM
Définition de l’architecture et des ressources du cluster en fonction des besoins du client et des workloads à mettre en place
Setup du repository yum en local
Installation cloudera manager et cloudera management services
Installation et configuration de zookeeper
Installation et configuration des services HDFS/YARN(MRV2)
Définir la stratégie de scheduling yarn et création des yarnn queues correspondantes à chaque projet
Installation et configuration des database enines Hive et impala
Installation et configuration des composants de l’écosystéme hadoop (Hue, pig, oozie)
Configuration de la HDFS et yarn High availability
Sécuristaion du cluster : Configuration des ACLs HDFS, installer et configurer Sentry, configuration de l’authentification et l’autorisation des utilisateurs Hue, activation de Kerberos
o Migration d’une plateforme de BI traditionnelle vers le cloud GCP
Mise en place d’une hierarchie de stockage effective et low cost pour le traitement des données standard (hot data), nearline et données d’archives
Construction d’une data engineering pipeline basée sur cloud data fusion
Analyse interactive des données avec wrangler
create VPC networks and other networking objects
• Projets Métiers:
o Certification Comptable : Mise en place d’une plateforme Big Data d’un process de contrôle de certification comptable.
o Automatisation de la Revue Analytique : Mise en place d’un process de revue analytique des soldes et flux à la société générale
o Gestion des écritures manuelles : Mise en place d’un process de contrôle et validation des écritures manuelles.
• Taches techniques:
o Développement des jobs Talend Big Data (spark et standard) pour le chargement des données dans le cluster Big Data
o Optimisation des jobs Talend Big Data pour garantir une meilleure efficacité par rapport au contexte du développement
o Assurer le suivi des best practices Talend Big Data
o Développer des scripts scala pour assurer les besoins du projet
o Assurer une meilleure utilisation des fonctionnalités du systéme de versionning GIT et du serveur d’artifact nexus
o Fine tuning des jobs sparks pour meilleurs performances spark et meilleure utilisation des ressources du cluster
o Monitoring des queues yarn dédiées aux projets et faire les actions nécessaires en cas de problème
o Alimentation des tables Hive et mettre en place les bonnes caractéristiques (format de données, partitionnement, type…)
o Ouverture des routes pour la réception des fichiers à partir des aplications sources vers le cluster big data
o Mettre en place les process de vérification de format des données et envoi automatique des alertes en cas de problèmes
o Mettre en place la chaine ELK(Elastic search, Logstach, Kafka) pour gérer les logs Talend
o Assurer la mise en place de la chaine CICD du projet qui contient les éléments suivants : JENKINS, LDAP, SGITHUB, Talend Studio, Ansible tower, AWX, TAC
o Développer un job sqoop qui copie des données du datalake vers le serveur sql server
o Paramètrage du flux TOM qui ...