Nous recherchons un/une Data Engineer pour l'un de nos clients à Lyon 3ème.
Vos missions :
• Maitriser le cloud AZURE et les outils DATABRICKS
• Recueillir les besoins dans demande JIRA et de les documenter en spécification technique
• Participer aux instances Agile
• Développer les flux de données
• Tester unitairement les flux
• Définir les workflows
• Analyser les logs pour trouver les anomalies
• Collaborer avec les autres membres de l'équipe
BUILD (principaux chantiers)
• Réaliser les spécifications fonctionnelles sur JIRA et CONFLUENCE
• Développer les traitements de données avec l'outil DATABRICKS sur AZURE
• Tester les traitements de façon unitaire
• Réaliser les package pour la mise à disposition des OPS
RUN
• Maintien en condition opérationnel :
• Gestion de l'obsolescence (upgrades techniques et sécuritaires)
• Gestion des incidents et des problèmes
• Montée de petites évolutions dans le cadre de la MCO
Profil :
• Expérience obligatoire avec les outils/technologies suivants : DataBricks, Spark/Scala, Azure
• Capacités à comprendre et traduire les besoins métiers en spécifications techniques
• Maitrise des bonnes pratiques de développement et méthodes agiles
• Connaissance des architectures des plateforme Big Data
• Connaissance de l'écosystème Microsoft Azure Data Factory, Azure Data Lake Store
• Connaissance Technologie autour de la data : Databricks, Power BI, Spark, Airflow, Python, Scala…
• Base de données : SQL, Postgré SQL (Paas) et modélisation de la donnée
• Connaissance des systèmes de gestionnaire de conteneur (Kubernetes,...)
• Connaissance des outils de déploiements : Jenkins, Ansible, Helm
• Dynamisme, autonomie et envie de découvrir des manières différentes/innovantes de faire.
Vous vous reconnaissez dans ce descriptif et vous sentez prêts à relever un nouveau challenge - Alors rejoignez nous, Simon & Charlotte seront ravis d'échanger avec vous ! STEP UP respecte vos données personnelles : retrouvez notre politique de confidentialité sur www.stepup-conseil.com