Modernisierung des Unternehmensdatenlagers mit Databricks

Der Kunde benötigte eine Plattform, die neue Anforderungen wie die Erfassung von IoT-Daten und Echtzeit-Einblicke flexibel unterstützen konnte. Er strebte eine konsistente Datenqualität, eine ungehinderte Governance, zuverlässige Berichterstellung und schnellere Cube-Aktualisierungen an. Die neue Architektur musste mit den wachsenden Geschäftsanforderungen skalierbar sein, ohne die Leistung und Verfügbarkeit zu beeinträchtigen.

Nagarro hat eine skalierbare und flexible Lakehouse-Architektur unter Verwendung des Medallion-Musters von Databricks aufgebaut: Bronze für Rohdaten aus operativen Datenbanken und IoT-fähigen Schiffen, Silber für organisierte Data Vault 2.0-Modelle und Gold für kuratierte Sternschemata, die für BI-Tools wie Power BI bereit sind. Wir haben kritische SSIS-Pakete schrittweise mit Delta Live Tables migriert, um Unterbrechungen zu vermeiden. Eine zentralisierte semantische Ebene vereinfachte den funktionsübergreifenden Zugriff auf KPIs und Metriken, während Unity Catalog eine fein abgestufte Zugriffskontrolle, automatisierte Herkunftsverfolgung und Datenmaskierung einführte. Außerdem haben wir Query Performance, Monitoring-Frameworks und Power BI-Dashboards eingeführt. Es handelt sich um eine modulare und erweiterbare Lösung, die die Integration neuer Datenquellen, einschließlich Sensorströmen von Schiffen, ohne größere Neugestaltung unterstützt.

Die neue Architektur liefert strukturierte, hochwertige Daten, die leicht zugänglich sind. Durch eine schrittweise Umstellung konnten Ausfallzeiten vermieden und die Umstellung an den Betriebsrhythmus des Unternehmens angepasst werden. Überwachungsframeworks verfolgen den Zustand der Pipeline und die Datenqualität durchgängig, während Power BI-Dashboards KPIs in Echtzeit anzeigen. Die Aktualisierungszeiten für Berichte sanken um 80 % (von Stunden auf Minuten), die Einhaltung der SLA-Vorgaben für die Datenqualität stieg auf 95 % und Echtzeit-Dashboards verbesserten die Zeit bis zur Erkenntnisgewinnung um über 60 %. Die neue Plattform erreichte durch automatisierte Wiederholungslogik eine Pipeline-Verfügbarkeit von 99 %. Compliance-Audits sind nun optimiert und automatisiert. Mit einer wiederholbaren, Governance-orientierten Plattform ist das Unternehmen bereit, schneller zu skalieren, sich anzupassen und Innovationen voranzutreiben.