Kafka Platform Engineer (m/w/d)

Aufgabenbeschreibung

Im Rahmen eines umfangreichen Modernisierungsvorhabens werden zentrale Fachverfahren eines öffentlichen Auftraggebers zur Unterstützung von Haushalts-, Finanz- und Verwaltungsprozessen technisch und fachlich weiterentwickelt.

Ziel des Programms ist die Modernisierung bestehender Fachanwendungen sowie die Schaffung einer zukunftsfähigen Systemlandschaft auf Basis moderner Informationstechnologien. Dabei stehen die Berücksichtigung aktueller Standards, eine hohe Flexibilität gegenüber gesetzlichen, regulatorischen und organisatorischen Änderungen sowie die langfristige Sicherstellung eines stabilen und effizienten Betriebs im Vordergrund.

Ein weiterer Schwerpunkt liegt auf der Bereitstellung einer leistungsfähigen und benutzerfreundlichen Anwendungsoberfläche, die die effiziente Bearbeitung komplexer und zeitkritischer Geschäftsprozesse unterstützt und den Anforderungen einer modernen öffentlichen Verwaltung gerecht wird.

Aufgaben:

• Design, Bereitstellung und Betrieb von skalierbaren Kafka-Clustern (on-prem, Azure, OpenShift)

• Konfiguration und Wartung von Kafka-Komponenten (Broker, Connect, ksqlDB, Schema?Registry, MirrorMaker)

• Implementierung von Sicherheits- und Authentifizierungsmechanismen (TLS, SASL, ACLs, Kerberos)

• Monitoring, Log-Analyse und Performance-Tuning (Prometheus, Grafana, JMX, Kafka-Metrics)

• Incident-Management: Fehlerdiagnose, Root-Cause-Analysis, Wiederherstellung und Post-Mortem-Berichte

• Automatisierung von Deployments und Konfigurationen mittels IaC & GitOps-Workflows

• Planung und Durchführung von Kapazitäts- und Kosten-Optimierungsmaßnahmen (Partition-Strategien, Tiered Storage, Dynamic Scaling)

• Erstellung von Dokumentation, Best-Practice-Guides und Schulungen für Entwickler und Betriebsteams

Fähigkeiten

Muss-Anforderungen:

• Tiefgehende Expertise in Apache Kafka / Confluent?Kafka (Broker-Installation, Cluster-Setup, Topic-Management, Partitioning, Replication, Quotas, ACLs) • Erfahrung mit Kafka-Connect, ksqlDB / Kafka?Streams, Schema?Registry

• Monitoring & Performance-Tuning (JMX-Metriken, Prometheus, Grafana, Kafka-Metrics)

• Fehlerdiagnose & Incident-Response in einer produktiven Kafka-Umgebung

• Grundlegende Kenntnisse in Kubernetes/OpenShift (Deployment von Kafka-Clustern in Container-Umgebungen)

• Sicheres Verständnis von Netzwerk- und Sicherheitskonzepten (TLS/SSL, Kerberos, SASL)

Idealerweise:

• Erfahrung mit GitOps-Automatisierung (ArgoCD/Flux, Helm-Charts, CRDs) für Kafka-Deployment

• Infrastruktur-as-Code (IaC) mit Terraform für Azure / Kubernetes-Ressourcen

• Kenntnisse in Hybrid-Cloud-Umgebungen (Azure?+?On-Prem) und deren Netzwerkintegration

• Erfahrung mit Container-Security-Frameworks (OPA, Kyverno, Image-Scanning)

• Praktische Umsetzung von Disaster-Recovery- und HA-Strategien (Raft-Mode, Zookeeper-Free, MirrorMaker)

• Optimierung von Kafka-Kosten und Kapazitäten (Dynamic Scaling, Tiered Storage)