Dans le cadre du développement de projets Data à forte volumétrie, nous recherchons un Développeur Big Data pour rejoindre une équipe technique évoluant dans un environnement international et Agile.
Vous interviendrez sur la conception et le développement de solutions permettant de collecter, transformer, exploiter et restituer d'importants volumes de données.
Vos principales missions
- Analyser les besoins en collaboration avec les équipes métiers et techniques ;
- Concevoir et développer de nouveaux traitements Big Data avec Spark et Scala ;
- Développer et optimiser des pipelines de données sur Azure Databricks ;
- Participer à la réalisation de dashboards et à la valorisation des données ;
- Réaliser les tests unitaires, composants et tests de performance ;
- Assurer le monitoring des traitements et de la plateforme ;
- Participer à la maintenance et au suivi des applications en production ;
- Contribuer aux pratiques DevOps, CI/CD et déploiement continu ;
- Veiller à la qualité, à la sécurité et à la conformité des développements ;
- Documenter les solutions développées et partager les bonnes pratiques au sein de l'équipe.
Environnement technique :
Scala • Spark • Hadoop • Azure • Databricks • Python • Linux • Qlik • Airflow • OpenShift • GitHub • CI/CD
Vous avez une expérience confirmée en développement Big Data / Data Engineering, avec une forte appétence pour le développement et les environnements distribués.
Vous maîtrisez particulièrement :
- Scala, avec une expérience concrète en développement ;
- Apache Spark et le traitement de volumes de données importants ;
- Les environnements Big Data / Hadoop ;
- Azure et Databricks ;
Un anglais courant indispensable