Data Engineer Expérimenté(e) H/F

Description du poste

Dans le cadre d’une mission dans les métiers de l'Énergie, notre équipe, Segula Transform spécialisée dans les projets IA, recherche un(e) Data Engineer Senior pour effectuer l’ingestion de données via des Step Functions utilisant Glue et Lambda. Le candidat sera amené à optimiser l’ingestion en utilisant PySpark et les bonnes pratiques (caching, persist, partitioning, inférence des schémas, etc.). Il devra également maintenir et/ou mettre en place des politiques de qualité des données, développer avec une approche modulaire en encapsulant ces environnements.

Vos missions :

Effectuer l’ingestion de données via des Step Functions utilisant Glue et Lambda.
Optimiser l’ingestion de données en utilisant PySpark et les bonnes pratiques.
Maintenir et mettre en place des politiques de qualité des données.
Développer avec une approche modulaire en encapsulant les environnements.
Orchestrer les différents pipelines d’ingestion avec une maîtrise des commandes Git.
Développer des fonctionnalités telles que des fonctions enrichissantes ou de monitoring des données, et mettre en place de nouveaux logs.
Assurer les tests de validation techniques, incluant la mise en place de tests unitaires et de tests d’intégration.
Livrer la documentation technique (schémas, types, tables, processus d’évolution des tables).
Vérifier et valider les nouvelles versions du code (maîtrise de Git, utilisation des branches Git dans Databricks serait un plus).
Contribuer activement à l'édification de l'équipe Machine Learning Engineer.

Qualifications

Diplôme de niveau bac+5 en Data Science ou Informatique.
Une expérience de 6 ans minimum en Data engineering.
Expérience dans l'utilisation des GitHub Actions avec des multibranches, triggers, if conditions, workflows, et jobs.
Maîtrise des technologies AWS : EC2, S3, Lambda, Step Functions, CloudWatch.
Expérience avec Glue pour l’ingestion de données.
Maîtrise de Python et PySpark.
Connaissance de Checkmarx et SonarQube pour veiller à la qualité du code.
Esprit proactif

Compétences supplémentaires appréciées :

Connaissance de AWS SNS, Inspector, Secret Manager, Athena pour requêter les données.

Si vous êtes passionné par le data engineering et que vous souhaitez rejoindre une équipe dynamique , nous serons ravis de recevoir votre candidature !

Profits

What an amazing career

Exciting training courses to ensure you never stop learning

A community listening to your ideas

Respecting your work/life balance

Be part of life at SEGULA

Description de l'entreprise

Explorez de nouveaux horizons au sein d’un groupe d'ingénierie mondiale à forte croissance. Chez SEGULA Technologies, vous aurez l’opportunité de travailler sur des projets passionnants et de façonner l’avenir au sein d’une entreprise pour qui l’innovation est indissociable de l’ingénierie. Nouvelles mobilités, véhicules autonomes, usine du futur, réalité augmentée... sont les préoccupations quotidiennes de nos 15 000 ingénieux talents répartis dans plus de 30 pays.

Segula Transform est le pôle du groupe Segula Technologies spécialisé dans les projets d’IA et d’optimisation pour le secteur industriel. En tant que pionniers dans l’innovation industrielle, nous combinons notre expertise technique et nos connaissances métiers afin d’offrir les meilleures solutions pour nos clients.

Similar jobs offers

Naval

Unlimited