Nous recherchons un(e) Data Engineer passionné(e) par le Big Data et les architectures distribuées pour concevoir, optimiser et déployer des solutions data à grande échelle.
Missions principales :
- Concevoir, développer et maintenir des pipelines data robustes et scalables.
- Travailler sur des architectures distribuées (Kafka, Spark, Cassandra).
- Optimiser les traitements de données sur GCP (BigQuery, Dataflow, Dataproc, etc.).
- Collaborer avec les équipes Data Science et DevOps pour industrialiser les solutions.
- Assurer la performance, la fiabilité et la sécurité des infrastructures data.
Expérience : Minimum 5 ans en tant que Data Engineer ou Big Data Engineer.
- Compétences techniques obligatoires :
- Maîtrise de GCP (Google Cloud Platform) et de ses services (BigQuery, Pub/Sub, Dataflow, etc.).
- Expérience confirmée avec Apache Kafka (streaming, connecteurs).
- Expertise en Spark (PySpark ou Scala) pour le traitement distribué.
- Connaissance approfondie de Scala ou Python pour le développement.
- Expérience avec Cassandra (modélisation, requêtes, optimisation).
- Atouts supplémentaires :
- Connaissance des outils de monitoring (Prometheus, Grafana).
- Expérience avec Airflow, Docker, ou Kubernetes.
- Familiarité avec les bonnes pratiques DevOps (CI/CD, IaC).
- Soft skills :
- Esprit d’équipe, autonomie et capacité à résoudre des problèmes complexes.
- Bonne communication pour collaborer avec les métiers et les équipes techniques.