pipelines and applications migration from scratch in GCP. Redesign of application in python. Implementation of a CI/CD
Development of a small platform to transfer finance data from Oracle ERP Cloud to GCP Big query for analysts
Result : Stable and scalable application running in production.
Team : a product owner, a data analyst and a dev (me) - Scrum agile + Visual Management + Lean (CI)
► Built a CI/CD : Github action, Vault, Docker, JFrog, Kubernetes, GKE, Sonarqube
► Create a web app to manage background task (batch extraction that could last 45 min for one extraction)
1 y ► Build it in a microservice architecture manner (Flask, RabbitMQ, Celery, GCP Firestore)
► Configuration of logs and monitoring of Kubernetes, flask and celery in Datadog
► Scheduling with AWA (alternative to Airflow)
► Scalability with Celery (workers) and Kubernetes (pods)
► Started a POC to build microservice through Kafka as event bus and python consumer/producer to enhance the solution
► Built every steps of the ETL in python (recovery of files in case of trouble with network connection or if the file is corrupt)
► MIME format extraction, parsing data through regex, through schema
► Multi sources : web service (soap) or rest api
► Management of pipelines to not transfer two times the same data (in case of error in some part of the micro service)
Voir le site sur ********/
Description du projet ici -> ********-ton-animal
2 mois ▶ Participation à la conception du site et du développement (cahier des charges etc)
▶ Installation des trackers (Balises Tag manager etc)
▶ Etude de marché (volume, tendance, cible…)
▶ Élaboration d'un formulaire pour comprendre et définir les personas
Apport d’affaire ≈100k euros in 6 months
Aim: The aim of the call upon data science in this context was to find the market where the company could do well, prosper.
Team : Artistic director, a dev and I
► Built a script in R to collect data (HTML scrapping, REST API from gouv) ► Data cleaning avec dplyr
► Build an competitive analysis with the data collected (I use simple data transformation such as merging data from different sources and ISegmentation concurrentielle (PCA), Formulaire client pour analyse de la proposition de valeur (Analyse conjointe)) etc
► Définition des KPI cibles en fonction des objectifs commerciaux
1 y ► Set up trackers on the web site to collect data (Balises Tag manager etc)
► Traffic acquisition (Double click, Google Ads, Facebook Ads, Linkedin Ads, Divers scrapping, Cold mailing, retargeting)
► Establishing contact with qualify prospects, need clarifications and builded the sale script in order to delegate / Script de vente
► Proposition commercial
► Marketing automation (Integromat ~ Zapier, Auto-respondeur, CRM)
► Builded mockup in order to validate requirements (in some cases) Tools : Adobe XD
Role : récupérer les besoins du marketing client, des Product Managers ou clients. Les besoins les plus demandés seront traités, compris, et ils
essayeront de trouver une solution. Soit l’équipe identifie et met en place la solution en interne, soit ils vont faire appel aux manager des équipes de
dev pour développer la nouvelle solution. Le consultant s’occupe entre autre du chiffrage global de la solution / des projets, de la communication…
Activités générale
ℹ Env : Forte culture de l’IT et Architecture / Déploiement en continu / DevOps etc / Nombreux UAT / serveur QA
▶ Design architecture fonctionelle
▶ Clarification des Business Needs et des requirements avec les product managers et/ou clients (Airline ou Travel Agent)
▶ Étude des impacts fonctionnelles et techniques haut niveau
▶ Élaboration d’une première solution High Level ou détaillée selon la complexité du besoin
▶ Meeting avec les managers concernés (équipes concernées qui ont été détectées lors de l’étude du besoin)
▶ Présentation de la solution aux équipes Dev, fonctionnelles et qualité. Itérations sur la solution selon les retours.
▶ Demande d’un sizing par équipe/manager puis préparation « administrative » pour la présentation du sujet.
▶ Présentation hebdomadaire des items devant un groupe de senior managers/directeurs pour validation de la communications.
▶ Communication du coût aux Product Managers et planification des items (backlogs) avec les managers concernés.
▶ Coordination pendant la phase implementation (Kick-off meeting et status meeting + support)
▶ Sujets transverses (Pricing, shopping, ticketing, availability, reservation …) -> Coordination sur sujet hors scope (Pricing)
▶ Comparaison des différents Business model ▶ Facebook Ads - Google analytics
▶ Etude de marché (volume, tendance, cible…) ▶ Audience similaire -Audience Insight
▶ Etude de la compétition ▶ Analytics (CPC , CPM, CPE, CPR, CPA etc)
▶ Stratégie d'acquisition prospects ▶ Upsell - Cross-sell - Retargeting - Mail Marketing
▶ Optimisation du taux de conversion ▶ Retargeting / Panier abandoné
▶ Mise en place de stratégie de vente ▶ Tunnel de vente optimisé (conversion à 6%)
Upskill people on Databricks. Help people to migrate their CI / CD and Jobs from Jenkins to Databricks / Airflow / Githubaction
Team : 5 data engineer / 3 data scientist (ML ops) / 2 data ops
► Built R / python template with cookiecutter (python) to build docker image spark jobs on (Databricks jobs, EMR, EKS)
► Template for Docker images building (ECR)
► Scheduling Airflow template (Databricks job, EMR, EKS)
► Built notebooks with examples in order to onboard different countries on Databricks (Delta table, CDC, streaming …)
5 m (India, Peru, Belgium, Japan, Hong Kong, Holland, etc.)
► Sharing of best practices with different countries, CI/CD, right format using the delta layer
► Sometimes help on giving of access (MWAA, IAM, ECR repo) on Terraform
► Run and Support (Jenkins, Jupiter, OpenR, Databricks)
Voir le site web -> Data Riviera/30iQa2j
▶ Définition des KPI cibles en fonction des objectifs commerciaux
▶ Installation des trackers avec Google Tag Manager (Balises Tag manager, Formulaire, Data Layers etc)
▶ Acquisitions de trafic (Google Ads, Facebook Ads, Divers scrapping, retargeting, plateforme, SEO etc)
6 mois ▶ Prise de contact avec les prospects qualifiés, clarification du besoin / Script de vente
▶ Proposition commercial
▶ Marketing automation (Integromat ~ Zapier, Auto-repondeur, CRM)
▶ Maquette / mockup pour valider le besoin (dans certain cas) Outils : Adobe XD
▶ Délégation et suivi de l’exécution
▶ Analyse du marché à grande échelle (scrapping registre des entreprises et CA, Ex data analysis, Topic modeling,
Segmentation concurrentielle (PCA), Formulaire client pour analyse de la proposition de valeur (Analyse conjointe)) etc