Data Engineer databricks (H/F)

Nous recherchons pour un de nos clients un Data Engineer Databricks confirmé (H/F) dans le cadre d’un projet de transformation data au sein d’une grande entreprise internationale, vous intégrerez une équipe agile composée de 8 personnes, rattachée à la Direction Data.

Vous interviendrez sur la mise en place et l’industrialisation de pipelines de données, ainsi que sur le suivi de leur lineage jusqu’aux cas d’usage métier. Vous contribuerez également à la diffusion des bonnes pratiques autour de Databricks et des méthodes modernes de développement data.

Missions

Concevoir et développer des pipelines de données performants et évolutifs sur Databricks.

Développer les traitements en Python / PySpark et SQL.

Optimiser les pipelines existants et améliorer les temps de traitement.

Mettre en œuvre les bonnes pratiques de partitionnement et de gestion des données.

Contribuer à l’optimisation de la gestion des clusters et de l’ordonnancement des traitements.

Participer à la mise en place et à l’adoption des Databricks Asset Bundles.

Intégrer les développements dans les processus CI/CD.

Travailler avec les outils de gestion de versions et de collaboration, notamment Git ou Azure DevOps.

Contribuer à la documentation et à la standardisation des architectures et processus.

Participer à la mise en place de pratiques de développement assistées par l’IA, notamment avec GitHub Copilot et Visual Studio Code.

Apporter un support technique aux membres de l’équipe sur Databricks et les pipelines développés.

Collaborer dans un environnement agile avec des équipes françaises et internationales.