Senior Data Engineer (Azure Databricks / Airflow)
Coopers Group AG
- IT - Data Science / Digital
- Basel-Landschaft
- Contracting
- Vollzeit
- Ab sofort nach Vereinbarung - 24 Monate
- Azure DevOps, OpenShift, Apache Airflow, JupyterHub, Acryl DataHub, PostgreSQL , Azure Databricks
Deine Aufgaben
- Entwicklung und Weiterentwicklung von Data Products - von der Datenaufnahme über Transformation und Aufbereitung bis zur Bereitstellung für Konsumenten
- Konzeption, Implementierung und Betrieb von Datenpipelines und Transformationen mit Python, SQL und Apache Airflow
- Sicherstellung von Datenqualität, Performance und zuverlässigem Betrieb der Data Pipelines
- Mitarbeit an der Weiterentwicklung der Data Platform und Data Architecture sowie an Architekturentscheidungen
- Aktive Zusammenarbeit mit Data Architect, DevOps Engineer und Product Owner
- Unterstützung der Anwender bei datenbezogenen Fragestellungen, der Nutzung der Plattform und Python-Programmierung
- Monitoring und Troubleshooting von Datenpipelines, Datenqualität und Plattformkomponenten
- Mitarbeit bei der Migration und Transformation der bestehenden On-Premise-Data-Platform nach Azure Databricks
- Unterstützung bei operativen Aufgaben im Cloud- und Plattformumfeld
Dein Profil
- Mehrjährige Erfahrung als Data Engineer mit fundierten Kenntnissen in Python und SQL
- Sehr gute praktische Erfahrung mit Apache Airflow, insbesondere bei der Erstellung und Verwaltung von DAGs
- Sehr gute SQL- und PostgreSQL-Kenntnisse
- Erfahrung mit Python Data-Engineering-Tools wie pandas, Polars und Poetry
- Erfahrung mit Docker, Kubernetes, OpenShift und S3-kompatiblem Storage (z. B. MinIO)
- Erfahrung mit Azure Databricks bzw. mit Data Engineering im Databricks-Umfeld
- Vertrautheit mit JupyterHub und explorativen Datenumgebungen
- Kenntnisse im Bereich Data Cataloging, idealerweise mit Acryl DataHub
- Gutes Verständnis von Data Mesh, insbesondere Data Contracts, sowie von Lakehouse-Architekturen
- Interesse an Cloud-Migrationen und der Weiterentwicklung moderner Data Platforms
- Ausgeprägte Kommunikations- und Teamfähigkeit sowie Freude daran, technische und nicht-technische Anwender zu unterstützen
- Selbstständige, proaktive Arbeitsweise und Ownership für die eigenen Deliverables
- Fliessende Deutsch und Englischkenntnisse in Wort und Schrift
Offres similaires
Données OFS 2024 —
9'162 CHF / mois
Fourchette : 7'220 – 11'411 CHF (P25–P75), brut avant charges.
Comparez votre salaire → disponible avec Pro.