Data Airflow expert
Craftman dataÉducationPubliée il y a 1 semaine
~ 750 – 950 €/jFourchette estimée par FreelanceScope à partir du niveau d'expérience demandé : la source ne publie pas de TJM pour cette mission.
- Lieu
- Paris · Télétravail non précisé
- Durée
- 3 ans
- Démarrage
- 10 novembre 2026
- Expérience
- Expert (10 ans et +)
- Langues
- Français
- Contrat
- Freelance
Situer cette mission
Repères calculés par FreelanceScope sur les missions ouvertes de son catalogue — ils ne proviennent pas de l'annonce et n'engagent pas l'entreprise.
- 160 missions data engineer sont ouvertes à Paris en ce moment, sur 504 pour ce métier en France.
- 1 % des missions data engineer de notre catalogue sont ouvertes en télétravail total.
- Compétences peu demandées ailleurs dans le catalogue : Mentorat (42 missions), Airflow (69 missions), IAM (235 missions). À séniorité égale, une compétence rare se négocie mieux.
Profil expert (10 ans et +) · Comment ces repères sont calculés
La mission
Mission: Renforcement de l'équipe Data Platform , avec un profil Lead Data Orchestration Engineer spécialisé sur Apache Airflow et AWS MWAA.
Contexte de la mission
La plateforme d'orchestration Airflow MWAA (version 2.10.3) gère des pipelines de données bancaires à travers 9 pays européens. Un audit technique approfondi a été conduit début 2026, suivi d'une phase de remédiation qui a permis de stabiliser les fondations.
La mission porte aujourd'hui sur la phase d'optimisation et de sécurisation durable de la plateforme : passage à l'échelle, renforcement de l'observabilité, étude d'une infrastructure cible plus adaptée, et montée en compétence des équipes.
Objectifs de la mission
La mission se structure autour de quatre axes :
Axe 1 — Optimisation architecturale Optimiser et faire évoluer les mécanismes d'orchestration existants pour permettre le passage à l'échelle et réduire les coûts d'exploitation (temps de résolution d'incidents, effort d'ajout de nouveaux pays).
Axe 2 — Sécurisation et résilience Renforcer la robustesse de la plateforme face à la charge et aux défaillances : observabilité de bout en bout, politique de rotation des secrets, isolation des flux, capacité de reprise automatique.
Axe 3 — Étude et migration vers une infrastructure cible L'audit a mis en évidence les limites structurelles d'AWS MWAA pour nos besoins (contraintes de scaling, manque de flexibilité sur la configuration, coûts). Le Lead Data Orchestration Engineer devra étudier les alternatives (Airflow auto-hébergé sur ECS/EKS, Astronomer, Dagster, Prefect, ou autre solution adaptée à nos process) et piloter la migration vers l'infrastructure retenue si pertinent.
Axe 4 — Autonomie des équipes Former et structurer les équipes Dev et Ops pour qu'elles puissent opérer, diagnostiquer et faire évoluer la plateforme en autonomie sur le long terme.
Profil recherché
Séniorité : 5 ans d'expérience minimum sur Apache Airflow, dont une expérience significative en environnement managé (AWS MWAA ou Google Cloud Composer).
Compétences techniques requises :
Maîtrise du modèle d'exécution Airflow : scheduler, executor, pools, triggers, deferrable operators
Expérience de tuning et d'optimisation de plateformes Airflow à l'échelle (200+ DAGs en production)
Expertise AWS : MWAA, SQS, SNS, Secrets Manager, CloudWatch, IAM
Connaissance d'alternatives à MWAA : Airflow sur ECS/EKS, Astronomer, ou orchestrateurs modernes (Dagster, Prefect) — expérience de migration d'un orchestrateur vers un autre fortement appréciée
Expérience avec des DAG Factories dynamiques (génération de DAGs à partir de configurations) — capacité à faire évoluer et optimiser une factory existante
Patterns de résilience : retry strategies, Dead Letter Queues, circuit breakers, isolation des flux
Observabilité : métriques, dashboards, alerting, routage d'incidents par criticité
Compétences attendues
Indispensables
- Airflow
- AWS
- IAM
- Python
- Terraform
- Mentorat
- CI/CD