Detailansicht des Stellenangebots

Für unseren Kunden aus dem Versicherungsumfeld suchen wir einen Senior Data Engineer (m/w/d) am Standort Köln. Nach der Einarbeitungsphase wird eine Vor-Ort-Anwesenheit von 2 aufeinanderfolgenden Tagen aller 2 Wochen gewünscht.

Die Versicherung betreibt mit einer Analytics Plattform eine moderne Data-&-AI-Plattform in der Azure Cloud. Diese wird aktuell für folgende Zwecke genutzt:

Entwicklung und Betrieb von KI-Systemen (z. B. RAG-Applikationen), Hosting selbst trainierter KI-Modelle, Durchführung von Ad-hoc-Analysen auf strukturierten und unstrukturierten Daten, Entwicklung von Datenprodukten, Datenintegration und -transformation für ein separates Data Warehouse.

Im Rahmen der IT-Transformations-Roadmap wird Unterstützung für die Weiterentwicklung sowie die spätere Migration der Plattform benötigt.

Was wir bieten:

• Attraktive Vergütung
• Interssantes technisches Umfeld
• Homeoffice-Regelung
• Respektvolle Arbeitskultur
• Weihnachts- und Urlaubsgeld

Aufgabenbereich:

• Weiterentwicklung der bestehenden Plattform zu einem Lakehouse
• Unterstützung bei der technischen Anbindung weiterer IT-Systeme
• Unterstützung bei der Implementierung von Entwicklungsprozessen für Lakehouse-Entwickler unter Beachtung von DABs und Data Contracts
• Unterstützung bei der automatischen Bereitstellung von Berechtigungsgruppen, Monitoring-Dashboards und Incident-Routing-Mechanismen
• Vorbereitung der vorhandenen Infrastructure-as-Code-Repositories sowie Bewertung der vorhandenen Assets
• Wiederherstellen vorhandener Assets, Daten und Daten-Pipelines im neuen Tenant
• Anbindung an Umsysteme, SIEM und IAM
• Migration von GitLab CI/CD zu GitHub Actions
• Abbau der Cloud-Ressourcen, Prozesse und Assets im alten Azure-Tenant

Qualifikation:

• Tiefes Verständnis von Berechtigungsstrukturen innerhalb von Databricks mit Unity Catalog
• Erfahrung bei dem Design und Administration von Databricks Workspaces
• Entwicklung von resilienten Data-Pipelines mit PySpark inkl. Testautomatisierung, Packaging und Deployment mit Declarative Automation Bundles (DAB),
• Kenntnisse von Data Contracts
• Partitionierung von Daten in Delta Lake
• Erfahrung mit GitLab CI/CD und/oder GitHub Actions
• Sehr gute Deutschkenntnisse in Wort und Schrift

Haben wir Ihr Interesse geweckt?

Dann freuen wir uns auf Ihre Rückmeldung.