Data Engineer / Big Data (H/F) – Expert GCP, Kafka, Spark, Scala, Cassandra

Description du poste

Nous recherchons un(e) Data Engineer passionné(e) par le Big Data et les architectures distribuées pour concevoir, optimiser et déployer des solutions data à grande échelle.

Missions principales :

Concevoir, développer et maintenir des pipelines data robustes et scalables.
Travailler sur des architectures distribuées (Kafka, Spark, Cassandra).
Optimiser les traitements de données sur GCP (BigQuery, Dataflow, Dataproc, etc.).
Collaborer avec les équipes Data Science et DevOps pour industrialiser les solutions.
Assurer la performance, la fiabilité et la sécurité des infrastructures data.

Qualifications

Expérience : Minimum 5 ans en tant que Data Engineer ou Big Data Engineer.

Compétences techniques obligatoires :
- Maîtrise de GCP (Google Cloud Platform) et de ses services (BigQuery, Pub/Sub, Dataflow, etc.).
- Expérience confirmée avec Apache Kafka (streaming, connecteurs).
- Expertise en Spark (PySpark ou Scala) pour le traitement distribué.
- Connaissance approfondie de Scala ou Python pour le développement.
- Expérience avec Cassandra (modélisation, requêtes, optimisation).
Atouts supplémentaires :
- Connaissance des outils de monitoring (Prometheus, Grafana).
- Expérience avec Airflow, Docker, ou Kubernetes.
- Familiarité avec les bonnes pratiques DevOps (CI/CD, IaC).
Soft skills :
- Esprit d’équipe, autonomie et capacité à résoudre des problèmes complexes.
- Bonne communication pour collaborer avec les métiers et les équipes techniques.