Missions principales
1. Conception et développement de pipelines de données
- Concevoir, développer et maintenir des pipelines ETL/ELT pour collecter, transformer et charger des données massives (batch et streaming).
- Utiliser Apache Kafka pour la gestion des flux de données en temps réel.
- Implémenter des solutions de stockage optimisé avec Apache Iceberg (tables ACID, time travel, partitionnement).
- Automatiser les processus de traitement de données à grande échelle.
2. Intégration et optimisation des données
- Travailler avec des formats de données JSON (parsing, validation, transformation).
- Optimiser les performances des pipelines (vitesse, scalabilité, fiabilité) sur AWS (Glue, Lambda, EMR, Kinesis).
- Mettre en place des mécanismes de qualité des données (data validation, monitoring, alerting).
- Intégrer des sources de données hétérogènes (APIs, bases de données, fichiers).
3. Collaboration et industrialisation
- Collaborer avec les équipes DevOps pour déployer et maintenir les solutions data en environnement cloud (AWS).
- Participer à la mise en place de tests et de validations pour garantir la qualité des données.
- Documenter les processus, les architectures et les bonnes pratiques.
- Assurer la sécurité des données (chiffrement, IAM, conformité RGPD).
4. Veille technologique et innovation
- Suivre les avancées technologiques en Data Engineering (ex : évolutions d’Apache Iceberg, nouvelles fonctionnalités AWS).
- Proposer des solutions innovantes pour améliorer les processus existants (ex : optimisation des coûts, réduction de la latence).
- Participer à des ateliers ou formations pour monter en compétences.
Missions internes (expertise & contribution)
- Contribuer à la veille technologique et au benchmark des outils et méthodologies.
- Participer à l’amélioration des méthodologies internes (ex : templates de pipelines, bonnes pratiques AWS).
- Accompagner et coacher des consultants juniors sur les technologies Python, Kafka, Iceberg.
- Soutenir les équipes commerciales en amont des réponses aux appels d’offres.
Profil recherché
- Formation : Bac+5 en informatique, data science, mathématiques appliquées ou école d’ingénieur.
- Expérience : 6 ans minimum en Data Engineering, avec une expertise avérée sur :
- AWS (services data et serverless).
- Python (développement de pipelines, scripts d’automatisation).
- Apache Kafka (conception de topics, producteurs/consommateurs, Kafka Connect).
- Apache Iceberg (création et gestion de tables, optimisation des requêtes).
- JSON (manipulation avancée, schémas, validation).
- Compétences techniques :
- Maîtrise des formats de données (JSON, Parquet, Avro).
- Expérience en modélisation de données et en SQL avancé.
- Connaissance des bonnes pratiques DevOps (Docker, Kubernetes, Terraform).
- Soft skills :
- Capacité à travailler en équipe pluridisciplinaire.
- Rigueur, curiosité et esprit d’innovation.
- Bonne communication technique et pédagogique (en français et anglais courant).