Die Herausforderung bestand darin, eine Data Mesh Architektur auf Basis von Snowflake aufzusetzen, um eine skalierbare und datenorientierte Infrastruktur zu schaffen. Eine zusätzliche Anforderung bestand darin, neue Business Cases an die bestehende Snowflake Data Mesh anzubinden und sie als Data Products verfügbar zu machen.
Ein spezialisierter AKROS Data Engineer wurde eingesetzt, um mit seinem Team die Architektur zu planen und die Implementierung durchzuführen. Hierbei wurden bewährte Praktiken und Snowflake als zentrale Plattform genutzt. Der AKROS Data Engineer plante und setzte mithilfe des Teams die Integration der neuen Business-Cases in die Data Mesh Architektur um, um sicherzustellen, dass die Daten effizient genutzt werden können. Des Weiteren führte er auch Schulungen und Weiterbildungen durch, um die weitere Nutzung der Data Products zu vereinfachen.
Nach Abschluss des Projekts wurde eine effiziente und skalierbare Data Mesh Architektur in Betrieb genommen, die die Grundlage für eine verbesserte Datenverwaltung bildet und es neuen Teams mit geringem Aufwand ermöglicht, neue Datenprodukte anzubinden. Zusätzlich ist durch die neue Architektur die Verantwortung über Daten klar geregelt und Data Governance gesichert. Seitdem wurden zahlreiche neue Business Cases erfolgreich an die Snowflake Data Mesh angeschlossen, was zu einer erweiterten Datenverfügbarkeit führt und das Data Mesh Know-how im gesamten Unternehmen steigert.
ETL
dbt, PowerCenter, ADF
DWH
Snowflake, Hadoop, Azure
Languages
Python, Scala
CI/CD
Tekton
GitOps
Argo CD
Ingestion
Kafka
Personentage
375
Arbeitsmethoden
SAFe
Softwaremethoden
Object Oriented
Programming
Softwaremanagement
OpenShift/Kubernetes,
Docker
Architektur
Data Mesh