Lead Data Orchestration Engineer H/F
via Le HibouFintechPubliée il y a 1 semaine
650 €/j
- Lieu
- Sochaux · Télétravail non précisé
- Durée
- 6 mois
- Démarrage
- 12 novembre 2026
- Expérience
- Expert (10 ans et +)
- Langues
- Français
- Contrat
- Freelance
Situer cette mission
Repères calculés par FreelanceScope sur les missions ouvertes de son catalogue — ils ne proviennent pas de l'annonce et n'engagent pas l'entreprise.
- Le TJM de cette mission se situe au-dessus de la médiane des 56 missions de votre métier et de votre séniorité de notre catalogue dont l'annonce publie un budget, dont la médiane est de 460 €/jour (moitié centrale : 400 à 600 €/jour).
- 5 missions data engineer sont ouvertes à Sochaux en ce moment, sur 533 pour ce métier en France.
- 1 % des missions data engineer de notre catalogue sont ouvertes en télétravail total.
- Compétences peu demandées ailleurs dans le catalogue : Mentorat (38 missions), Airflow (65 missions), IAM (246 missions). À séniorité égale, une compétence rare se négocie mieux.
Profil expert (10 ans et +) · Comment ces repères sont calculés
La mission
Contexte de la mission
Dans le cadre du renforcement de son équipe Data Platform, notre client recherche un Lead Data Orchestration Engineer, expert Apache Airflow et AWS MWAA.
La plateforme actuelle orchestre des pipelines de données bancaires dans 9 pays européens. Après une première phase de stabilisation, l'objectif est désormais d'optimiser son architecture, de renforcer sa résilience et d'étudier une éventuelle migration vers une infrastructure plus adaptée.
Missions et responsabilités
1. Optimisation de l'architecture Airflow
Faire évoluer et optimiser la DAG Factory existante.
Migrer les dépendances inter-DAGs vers les mécanismes natifs Airflow (Datasets).
Améliorer les performances et la scalabilité de la plateforme.
Automatiser la validation des DAGs dans les pipelines CI/CD.
2. Sécurisation et résilience
Renforcer l'observabilité : monitoring, dashboards, alerting.
Implémenter une politique de rotation des secrets.
Optimiser le capacity planning, le scaling et la gestion des ressources.
Améliorer l'isolation réseau et les mécanismes de reprise automatique.
Formaliser les procédures de gestion des incidents (runbooks).
3. Étude et migration d'infrastructure
Réaliser un benchmark des alternatives à AWS MWAA (ECS/EKS, Astronomer, Dagster, Prefect).
Évaluer les coûts, les performances et les risques associés.
Définir une architecture cible et un plan de migration.
Piloter les POC et la migration progressive si une nouvelle solution est retenue.
Compétences attendues
Indispensables
- Airflow
- AWS
- CI/CD
- Mentorat
- IAM
- Python
- Terraform