Data Engineer Expérimenté(e) H/F

Description du poste

Dans le cadre d’une mission dans les métiers de l'Énergie, notre équipe, Segula Transform spécialisée dans les projets IA, recherche un(e) Data Engineer Senior pour effectuer l’ingestion de données via des Step Functions utilisant Glue et Lambda. Le candidat sera amené à optimiser l’ingestion en utilisant PySpark et les bonnes pratiques (caching, persist, partitioning, inférence des schémas, etc.). Il devra également maintenir et/ou mettre en place des politiques de qualité des données, développer avec une approche modulaire en encapsulant ces environnements.

Vos missions :

Effectuer l’ingestion de données via des Step Functions utilisant Glue et Lambda.
Optimiser l’ingestion de données en utilisant PySpark et les bonnes pratiques.
Maintenir et mettre en place des politiques de qualité des données.
Développer avec une approche modulaire en encapsulant les environnements.
Orchestrer les différents pipelines d’ingestion avec une maîtrise des commandes Git.
Développer des fonctionnalités telles que des fonctions enrichissantes ou de monitoring des données, et mettre en place de nouveaux logs.
Assurer les tests de validation techniques, incluant la mise en place de tests unitaires et de tests d’intégration.
Livrer la documentation technique (schémas, types, tables, processus d’évolution des tables).
Vérifier et valider les nouvelles versions du code (maîtrise de Git, utilisation des branches Git dans Databricks serait un plus).
Contribuer activement à l'édification de l'équipe Machine Learning Engineer.

Qualifications

Diplôme de niveau bac+5 en Data Science ou Informatique.
Une expérience de 6 ans minimum en Data engineering.
Expérience dans l'utilisation des GitHub Actions avec des multibranches, triggers, if conditions, workflows, et jobs.
Maîtrise des technologies AWS : EC2, S3, Lambda, Step Functions, CloudWatch.
Expérience avec Glue pour l’ingestion de données.
Maîtrise de Python et PySpark.
Connaissance de Checkmarx et SonarQube pour veiller à la qualité du code.
Esprit proactif

Compétences supplémentaires appréciées :

Connaissance de AWS SNS, Inspector, Secret Manager, Athena pour requêter les données.

Si vous êtes passionné par le data engineering et que vous souhaitez rejoindre une équipe dynamique , nous serons ravis de recevoir votre candidature !

Vorteile

Eine bereichernde und inspirierende Karriere

Spannende Schulungen, damit Sie nie aufhören zu lernen

Eine Gemeinschaft, die Ihren Ideen zuhört

Respekt für Ihre Work-Life-Balance

Nimm am Leben bei SEGULA teil

Description de l'entreprise

Explorez de nouveaux horizons au sein d’un groupe d'ingénierie mondiale à forte croissance. Chez SEGULA Technologies, vous aurez l’opportunité de travailler sur des projets passionnants et de façonner l’avenir au sein d’une entreprise pour qui l’innovation est indissociable de l’ingénierie. Nouvelles mobilités, véhicules autonomes, usine du futur, réalité augmentée... sont les préoccupations quotidiennes de nos 15 000 ingénieux talents répartis dans plus de 30 pays.

Segula Transform est le pôle du groupe Segula Technologies spécialisé dans les projets d’IA et d’optimisation pour le secteur industriel. En tant que pionniers dans l’innovation industrielle, nous combinons notre expertise technique et nos connaissances métiers afin d’offrir les meilleures solutions pour nos clients.

Ähnliche Jobs

Schifffahrt

Unbefristeter Arbeitsvertrag

Informatique – Systèmes d'information

Ingénieur C# H/F

Saint-Nazaire, France

Neu

Automobilbereich

Befristet

Informatique – Systèmes d'information

Spezialist im Bereich Embedded Software & Funktionsentwicklung (m/w/d)

Munich, Germany

Seit 1 Tagen online

Unsere Talente berichten

Nimm am Leben in SEGULA teil

Das leben bei Segula

Max Duckwitz

Senior ADAS Expert

Bei SEGULA Technologies herrscht eine außergewöhnliche Arbeitsatmosphäre, die sich nicht nur auf das Büro beschränkt, sondern sogar Grenzen überschreitet. Unser starker Teamgeist fördert die Zusammenarbeit und macht jeden Tag zu einer angenehmen Reise. Ich bin wirklich stolz darauf, Teil dieses zukunftsorientierten Unternehmens zu sein, in dem Kreativität und Innovation gedeihen. Gemeinsam gestalten wir die Zukunft!