Data engineer AWS Python Apache Iceberg

Description du poste

Missions principales

1. Conception et développement de pipelines de données

• Concevoir, développer et maintenir des pipelines ETL/ELT pour collecter, transformer et charger des données massives (batch et streaming).
• Utiliser Apache Kafka pour la gestion des flux de données en temps réel.
• Implémenter des solutions de stockage optimisé avec Apache Iceberg (tables ACID, time travel, partitionnement).
• Automatiser les processus de traitement de données à grande échelle.

2. Intégration et optimisation des données

• Travailler avec des formats de données JSON (parsing, validation, transformation).
• Optimiser les performances des pipelines (vitesse, scalabilité, fiabilité) sur AWS (Glue, Lambda, EMR, Kinesis).
• Mettre en place des mécanismes de qualité des données (data validation, monitoring, alerting).
• Intégrer des sources de données hétérogènes (APIs, bases de données, fichiers).

3. Collaboration et industrialisation

• Collaborer avec les équipes DevOps pour déployer et maintenir les solutions data en environnement cloud (AWS).
• Participer à la mise en place de tests et de validations pour garantir la qualité des données.
• Documenter les processus, les architectures et les bonnes pratiques.
• Assurer la sécurité des données (chiffrement, IAM, conformité RGPD).

4. Veille technologique et innovation

• Suivre les avancées technologiques en Data Engineering (ex : évolutions d’Apache Iceberg, nouvelles fonctionnalités AWS).
• Proposer des solutions innovantes pour améliorer les processus existants (ex : optimisation des coûts, réduction de la latence).
• Participer à des ateliers ou formations pour monter en compétences.

Missions internes (expertise & contribution)

• Contribuer à la veille technologique et au benchmark des outils et méthodologies.
• Participer à l’amélioration des méthodologies internes (ex : templates de pipelines, bonnes pratiques AWS).
• Accompagner et coacher des consultants juniors sur les technologies Python, Kafka, Iceberg.
• Soutenir les équipes commerciales en amont des réponses aux appels d’offres.

Qualifications

Profil recherché

• Formation : Bac+5 en informatique, data science, mathématiques appliquées ou école d’ingénieur.
• Expérience : 6 ans minimum en Data Engineering, avec une expertise avérée sur :
  • AWS (services data et serverless).
  • Python (développement de pipelines, scripts d’automatisation).
  • Apache Kafka (conception de topics, producteurs/consommateurs, Kafka Connect).
  • Apache Iceberg (création et gestion de tables, optimisation des requêtes).
  • JSON (manipulation avancée, schémas, validation).
• Compétences techniques :
  • Maîtrise des formats de données (JSON, Parquet, Avro).
  • Expérience en modélisation de données et en SQL avancé.
  • Connaissance des bonnes pratiques DevOps (Docker, Kubernetes, Terraform).
• Soft skills :
  • Capacité à travailler en équipe pluridisciplinaire.
  • Rigueur, curiosité et esprit d’innovation.
  • Bonne communication technique et pédagogique (en français et anglais courant).

Informations supplémentaires