Lead Data Orchestration Engineer / Expert Apache Airflow & AWS
ALLEGIS GROUPIndustriePubliée il y a 1 semaine
~ 750 – 950 €/jFourchette estimée par FreelanceScope à partir du niveau d'expérience demandé : la source ne publie pas de TJM pour cette mission.
- Lieu
- Sochaux · Télétravail non précisé
- Durée
- 6 mois
- Démarrage
- 10 novembre 2026
- Expérience
- Expert (10 ans et +)
- Langues
- Français
- Contrat
- Freelance
Situer cette mission
Repères calculés par FreelanceScope sur les missions ouvertes de son catalogue — ils ne proviennent pas de l'annonce et n'engagent pas l'entreprise.
- 5 missions data engineer sont ouvertes à Sochaux en ce moment, sur 532 pour ce métier en France.
- 1 % des missions data engineer de notre catalogue sont ouvertes en télétravail total.
- Compétences peu demandées ailleurs dans le catalogue : Mentorat (36 missions), Airflow (65 missions), Tests automatisés (261 missions). À séniorité égale, une compétence rare se négocie mieux.
Profil expert (10 ans et +) · Comment ces repères sont calculés
La mission
Dans le cadre du renforcement d’une équipe Data Platform dans le secteur automobile et financier, nous recherchons un Lead Data Orchestration Engineer / Expert Apache Airflow pour accompagner l’optimisation, la sécurisation et l’évolution d’une plateforme d’orchestration Data à forte volumétrie.
La plateforme Apache Airflow sous AWS MWAA orchestre actuellement des pipelines de données bancaires couvrant 9 pays européens.
Vous interviendrez autour de 4 axes majeurs :
1. Optimisation de la plateforme Airflow
Optimisation d’une plateforme de 200+ DAGs en production
Évolution et optimisation de la DAG Factory
Migration des dépendances inter-DAGs vers les Datasets Airflow
Optimisation des performances au parse-time et runtime
Mise en place de tests automatisés des DAGs en CI/CD
2. Sécurisation & résilience
Capacity planning et tuning Airflow
Gestion des pools, scaling et rétention des logs
Rotation des secrets
Amélioration de l’observabilité et de l’alerting
Mise en œuvre de mécanismes de résilience : retry strategies, DLQ, circuit breakers, isolation des flux
3. Étude et migration de la plateforme
Benchmark des alternatives à AWS MWAA
Étude d’architectures Airflow sur ECS/EKS, Astronomer, Dagster, Prefect
Réalisation de POC et recommandation d’une architecture cible
Pilotage d’une éventuelle migration jusqu’à la mise en production
Compétences attendues
Indispensables
- Airflow
- AWS
- Tests automatisés
- CI/CD
- Mentorat