DATA ENGINEER — DATABRICKS / STREAMING / AWS
TALAN SAMédiasPubliée il y a 2 semaines
~ 750 – 950 €/jFourchette estimée par FreelanceScope à partir du niveau d'expérience demandé : la source ne publie pas de TJM pour cette mission.
- Lieu
- Genève, Suisse · Télétravail non précisé
- Durée
- 6 mois
- Démarrage
- 5 novembre 2026
- Expérience
- Expert (10 ans et +)
- Langues
- Français
- Contrat
- Freelance
Situer cette mission
Repères calculés par FreelanceScope sur les missions ouvertes de son catalogue — ils ne proviennent pas de l'annonce et n'engagent pas l'entreprise.
- 1 % des missions data engineer de notre catalogue sont ouvertes en télétravail total.
- Compétences peu demandées ailleurs dans le catalogue : Delta Lake (25 missions), Spark (103 missions), Databricks (135 missions). À séniorité égale, une compétence rare se négocie mieux.
Profil expert (10 ans et +) · Comment ces repères sont calculés
La mission
CONTEXTE
Dans le cadre d’un environnement international de trading d’énergie, nous recherchons un Data Engineer Expert pour rejoindre une équipe Data Engineering basée à Genève.
Vous interviendrez sur des enjeux data critiques pour les activités de trading de pétrole, biofuels, gaz naturel et électricité, dans un environnement à forte volumétrie et nécessitant un haut niveau de performance et de fiabilité.
Vous collaborerez au quotidien avec les traders, charterers, opérateurs, analystes de marché et quants, ainsi qu’avec des équipes internationales basées notamment à Paris, Houston et Singapour.
RESPONSABILITÉS
Concevoir, maintenir et optimiser des pipelines de données batch et temps réel.
Développer des solutions de streaming data à haute performance.
Travailler sur des architectures Databricks / Spark Streaming / Structured Streaming / Delta Lake.
Concevoir et exploiter des flux temps réel avec Kafka et/ou AWS Kinesis.
Développer des pipelines et APIs en Python.
Exploiter les services AWS : Kinesis, SQS, SNS, EventBridge, S3, Lambda, IAM.
Garantir la disponibilité, l’intégrité, la qualité et la performance des données.
Identifier et réduire les problèmes de latence, incidents et défaillances sur les flux temps réel.
Participer à l’amélioration continue des pratiques de monitoring, CI/CD et observabilité.
Collaborer avec les équipes métier et techniques dans un contexte international et exigeant.
ENVIRONNEMENT TECHNIQUE
Databricks · Spark · Structured Streaming · Delta Lake · Python · AWS · Kinesis · Kafka · S3 · Lambda · SQS · SNS · EventBridge · IAM · PySpark · Git · GitHub Actions · CloudWatch · Grafana
Compétences attendues
Indispensables
- AWS
- Databricks
- Spark
- Delta Lake
- Kafka
- Python
- IAM
- CI/CD
Appréciées
- Git
- GitHub Actions
- Grafana