Principales responsabilités
- Développer des scripts Python pour Notebook Databrick;
- Convertir du code C# (Script ETL) existant en Python (Notebook Databrick);
- Développer des tests unitaires et d’intégrations;
- Automatiser les traitements;
- Développer Dashbord de suivi de l’exécution des jobs – monitoring;
- Mettre en place un pipeline CI/CD Azure Dev Ops / GIT pour déploiement de code Python dans les Notebook;
- Mettre en place un pipeline CI/CD Azure Dev Ops / GIT pour déploiement de rapports PowerBi;
- Créer des environnements Dev/Certif/Prodn;
- Créer des pipeline de déploiements avec autorisations flux d’autorisation;
- Documenter les normes et les standards des sujets mentionnés ci-haut.
Profil recherché
- 3-5 ans minimums d’expérience soutenue;
- Language Python;
- Databrick, Notebook dans Databrick;
- Notion DeltaLake;
- Connaissance Azure Synapse;
- Connaissance Apache Spark;
- ETL;
- Connaissance de modèle canonique;
- JSON;
- Azure Datalake;
- Language SQL;
- Azure DevOps / GIT;
- Azure Pipeline – CI/CD (Continuous Integration/Continuous Delivery).
