Vereinheitlichung der Datenlandschaft mehrerer Flughafenbereiche mit Databricks

Die Datenplattform des globalen Flughafen- und Reiseeinzelhandelskonzerns bediente eine Vielzahl von Abteilungen, darunter Finanzen, Personalwesen, Betrieb und Einzelhandel, die jeweils halb unabhängig voneinander arbeiteten und über eigene Analysepipelines, Berichts-Dashboards und Zugriffsmodelle verfügten. Im Laufe der Zeit führte dies zu einer fragmentierten Governance, inkonsistenten Zugriffskontrollen und betrieblichen Ineffizienzen.

Das Team nutzte Unity Catalog, um die Datenverwaltung zu zentralisieren und gleichzeitig die Geschäftskontinuität während des Datenmigrationsprozesses aufrechtzuerhalten. Dies wurde erreicht durch:

• Geschäftlich ausgerichtete Kataloge: Die Kataloge wurden nach Geschäftsbereichen mit Bronze-, Silber- und Gold-Ebenen strukturiert, wodurch die Datenverantwortung, die Nachverfolgung der Datenherkunft und die Zugriffskontrolle optimiert wurden.
• Doppelte Metastore-Synchronisierung: Delta-Tabellen wurden in Echtzeit zwischen Hive und Unity Catalog gespiegelt, wodurch ein unterbrechungsfreier Datenzugriff, Analysen und null Ausfälle gewährleistet wurden.
• Notebook-Refactoring mit geringen Auswirkungen: Eine einfache Logik zum Wechseln des Katalogs und kontextbezogene Parameter ermöglichten Abwärtskompatibilität, wodurch das Neuschreiben von mehr als 1.500 Notebooks vermieden wurde.
• Sicherheit auf Unternehmensniveau: Sicherheit auf Zeilen- und Spaltenebene sorgte für Datenschutz, Zugriffskontrolle und Compliance.
• Automatisierte Governance-Workflows: Migrations-, Test- und Rollback-Workflows wurden automatisiert, um Geschwindigkeit, Nachverfolgbarkeit und Ausfallsicherheit zu gewährleisten.

Alle Dashboards und Analysen liefen während der gesamten Migration reibungslos, dank Echtzeit-Doppelsynchronisierung und -validierung. Die zentralisierte Governance über Unity Catalog ermöglichte vollständige Überprüfbarkeit, Metadaten-Transparenz und Compliance. Die Geschäftsbereiche arbeiten nun unabhängig voneinander innerhalb eines einheitlichen Governance-Modells und können so sicher innovativ sein. Die Entwicklungsgeschwindigkeit wurde durch eine 60-prozentige Verkürzung der Migrationszeit beschleunigt, dank wiederverwendbarer Vorlagen und minimaler Codeänderungen, was eine schnelle Einarbeitung neuer Teams und Datensätze ermöglichte.

Insgesamt wurden etwa 1.500 Produktionsnotebooks migriert und 100 % der aktiven Delta-Tabellen ohne Unterbrechungen über Tausende von Berichten hinweg synchronisiert. Alle Teams arbeiten nun auf einer einzigen, kontrollierten Analyseplattform, die vollständige Sicherheitskonformität gewährleistet.