CV/Mission d'Ingénieur data BIGQUERY freelance

Exemple de missions de Hamza,
Ingénieur data BIGQUERY habitant les Yvelines (78)

Ingénieur CLoud & DevOps
Quinten
10/2021 -
Contexte : Conception et mise en place des architectures AWS.
1 - Conception et mise en place d’une architecture de base pour tous les projets:
● Design:
● Conception de l'architecture des services AWS et établissement de la
connexion entre eux.
● Services AWS utilisés : EC2, S3, IAM, RDS, ALB, Secret Manager, VPC,
Route53.
● Build:
● Développement des scripts Terraform IaC.
● Mise en place de la connexion entre les services AWS.
● Run:
● Déploiement continu de l'infrastructure avec Gitlab CI.
● Configuration et changement des architecture au besoin du projet
2 - Migration des applications depuis le déploiement sur des serveurs vers
Kubernetes.
Design:
● Conception de l'architecture des services actuels.
● conception de l’architecture cible micro-services.
● Build:
● Développement des scripts Terraform.
● Écriture des HELM Chart.
● Run:
● Déploiement continu de l'infrastructure avec Gitlab CI et AgroCD.
● Gestion des secrets dans Vault.
● Mise en place du monitoring avec Thanos, Prometheus, et Grafana.
● Transformation de la stack vers Kubernetes
● Support des équipes de Dev sur la nouvelle architecture.
3 - Migration de l’infrastructure locale vers AWS:
● Design:
● Conception de l'architecture des services AWS et établissement de la
connexion entre eux.
● Services AWS utilisés : EC2, ALB, RDS, S3, IAM, ECS, Secret Manager,
Fargate.
● Build:
● Développement des scripts Terraform en tant que code infrastructure.
● Mise en place de la connexion entre les services AWS.
● Run:
● Déploiement continu de l'infrastructure avec Gitlab CI.
● Gestion des secrets dans Secret Manager.
4 - Gestion des Landing Zone sur AWS:
● Gestion de multi-account sur AWS, sous forme de projets clients.
● Création des services sur les comptes AWS.
● Gestion de l’interconnexion entre les services inter-account.
5 - Automatisation de la configuration des serveurs:
● Build:
● Implémentation des Playbooks Ansible.
● Run:
● Utilisation d'Ansible pour l'installation des packages et des services
nécessaires (Docker, Python, Zsh, etc.).
6 - Mise en production d'applications web sur des clusters Kubernetes:
● Design:
● Conception de la nouvelle architecture.
● Choix des services AWS et des ressources Kubernetes.
● Build:
● Configuration de Kubernetes, EKS, et HELM.
● Développement du backend en Python et Django, du frontend en
ReactJS, et de l'API GraphQL.
● Run:
● Mise en production avec UWsgi, Daphne, et Supervisord.
● Utilisation de Nginx pour les déploiements de préproduction et
d'Apache pour la production.
7 - Support technique au niveau Système et Hardware:
● Environnement:
● Maîtrise des systèmes Linux, Debian, Samba, etc.
● Gestion des ressources physiques des serveurs et postes de travail
(RAM, Stockage, etc.).
8 - Supervision:
Utilisation de Prometheus, Grafana, Karma, et ELK Stack pour la
supervision.
● Orchestration des tâches Databricks avec Apache Airflow
9 - Réalisation des PoC:
● Build:
● Comparaison des solutions de monitoring pour les jobs Spark
(SparkLint, Sparkoscope, Dr-elephant).
● Run:
Automatisation de l'installation de Kubernetes sur un cluster de
serveurs physiques.
● Test de la haute disponibilité des applications web.
●
Environnement Technique : Linux, Debian, Samba, AWS, Kubernetes, Terraform,
Prometheus, Grafana, ELK Stack, Python, Django, ReactJS, Ansible.

Architecte CLOUD & DEVOPS
Veolia
1/2020 - 7/2021
Contexte : Mise en place et développement d'une solution de contrôle, de mise en
format, et d'intégration en masse des données des abonnés de Veolia dans le
système central de gestion des abonnements et des facturations, APIsation dans
AWS de la solution cœur de Veolia développée en Cobol et déployée dans Z/OS.
1 - Conception et mise en place de l’architecture de 3 projet:
● Design:
● Architecture sur AWS et sur GCP.
● Choix des services et des outils en faisant des benchmarks.
● Build:
● Mise en place des architectures sur AWS et GCP avec Terraform.
● Documentation des composants de l’architecture.
● Run:
● Déploiement continu des applications dans le Cloud AWS et GCP sur
trois environnements (Dev, Preprod, Prod).
2 - Mise en place d'une architecture CI/CD et de versionning du code:
● Design:
● Conception de pipelines CI/CD avec différentes étapes (build, test,
packaging, déploiement) et mise en place de webhooks pour la
connexion entre Jenkins et BitBucket.
● Automatisation de la création de l'infrastructure dans AWS et GCP.
● Build:
● Configuration de pipelines dans Jenkins pour le CI/CD en utilisant un
Jenkinsfile qui lance le CI pour toutes les branches et le déploiement
uniquement pour les branches liées aux environnements (dev, preprod,
prod).
● Mise en place d'une chaîne dans Jenkins pour le contrôle qualité du
code sur Sonarqube.
● Run:
● Déploiement continu des applications dans le Cloud AWS et GCP sur
trois environnements (Dev, Preprod, Prod).
3 - Mise en place des infrastructures (IAC) AWS et GCP de manière automatisée via
Terraform:
● Design:
● Conception de l'architecture des différents services GCP et AWS et
établissement de la connexion entre ces services.
● Services AWS utilisés : Lambda, API Gateway, S3, DynamoDB, Kinesis,
IAM, Secret Manager.
● Services GCP utilisés : App Engine, BigQuery, Cloud Task, Datastore,
Storage, Secret manager, Cloud Scheduler.
● Build:
● Développement des scripts Terraform en tant que code infrastructure.
● Mise en place de la connexion entre les services AWS et GCP.
● Run:
● Déploiement continu de l'infrastructure avec Jenkins.
● Gestion des secrets dans Secret Manager.
4 - Conception et mise en place d'un API pour un backend basé sur une solution
Cobol déployéedans Z/OS, accessible via des appels HTTP REST:
● Design:
● Conception de l'architecture des différents services GCP et AWS et
connexion entre ces services.
● Services GCP utilisés : App Engine, Big Query, Cloud Task, Datastore,
Storage, Secret manager, Cloud Scheduler.
● Build:
● Mise en place d'une architecture dans AWS basée sur API Gateway,
Lambda, S3 pour exécuter le code développé en Python via Chalice.
● Développement de l'API en Python et Chalice en utilisant Lambda.
Communication entre BigQuery et S3 pour l'importation de données
depuis S3 vers BigQuery.
● Enregistrement des logs dans Cloud Watch.
● Communication entre l'API développée et une autre API déployée sur
Apigee pour gérer les habilitations et les rôles des utilisateurs.
● Développement et automatisation des tests unitaires des fonctions en
utilisant Pytest.
● Run:
● Intégration des contrats gagnés par Veolia (contenant la liste des
abonnés) dans deux systèmes : l'un pour la facturation et la gestion des
abonnements, et le second pour la gestion de la relation client
(Salesforce).
5 - Développement et déploiement de la solution d’automatisation de l'intégration
des données en masse dans un backend basé sur une solution Cobol déployé dans
Z/OS.
● DESIGN:
● Choix des services et de la Stack à utiliser pour le développement.
● Définition des étapes préalables à la mise en place de l'intégration en masse.
● Définition des différents services de la solution et la communication entre ces
services.
● BUILD:
● Développement d'un API Backend basé sur Flask et déployé sur App Engine.
● Création d'un service Handler pour gérer les requêtes nécessitant un temps
d'exécution important.
● Établissement de la communication entre le backend et le handler via
l’utilisation de Cloud Task
Développement des fonctions de contrôle de données en masse,
configurables en Python.
● Création de scripts SQL sur BigQuery pour le formatage des données.
● Gestion des statuts de l'intégration et des utilisateurs/Rôles/Habilitations.
● RUN:
Intégration des contrats remportés par Veolia (contenant la liste des abonnés)
dans deux systèmes distincts : l'un pour la facturation et la gestion des
abonnements, et l'autre pour la gestion de la relation client (Salesforce).
Environnement Technique : AWS, Lambda, API Gateway, IAM, Kinesis, GCP, BigQuery,
Datastore, Cloud Task, KMS, Secret Manager, App Engine, Jenkins, Terraform,
Python, Chalice, Javascript.

INGÉNIEUR Cloud & DEVOPS
QUINTEN
6/2018 - 12/2019
Contexte : Déploiement automatique des environnements sur AWS, et mise en place
de la chaîne CI/CD ainsi que le support des équipes dev.
1 - Mise en place d’une architecture de CI/CD et de versionning du code:
● Cahier des charges:
● Pour faciliter la collaboration, création de deux instances Gitlab (France
et Maroc) avec un fichier Gitlab-CI partagé.
● Design:
● Proposition d’architecture avec deux instances de Gitlab (France en
local et Maroc chez OVH), et deux déploiements continus pour les deux
instances dans le même fichier Gitlab-CI.
● Build:
● Mise en place d'un Gitlab dans Docker pour le versionning du code dans
un subnet privé protégé derrière Nginx.
● Implémentation d'un mécanisme de CI/CD avec Gitlab-CI.
● Run:
● Déploiement continu des applications avec Gitlab Runner et Docker sur
un serveur OVH.
2 - Mise en place d’une infrastructure AWS de manière automatisée via Terraform:
● Design:
● Définition des différents composants de l’architecture.
● Association de chaque composant au service AWS approprié.
● Build:
● Création des scripts Terraform.
● Élaboration des playbooks ANSIBLE.
● Ru...