Databricks ile kurumsal veri ambarını modernleştirme

Müşterinin, IOT veri alımı ve gerçek zamanlı içgörüler gibi yeni ortaya çıkan ihtiyaçları esnek bir şekilde destekleyecek bir platforma ihtiyacı vardı. Tutarlı veri kalitesi, engelsiz yönetişim, raporlama güvenilirliği ve daha hızlı Küp yenilemeleri istiyorlardı. Yeni mimarinin, iş talepleri arttıkça performansı ve çalışma süresini riske atmadan ölçeklendirilmesi gerekiyordu.

Nagarro, Databricks'in Madalyon modelini kullanarak ölçeklenebilir ve esnek bir Lakehouse mimarisi oluşturdu:  Operasyonel veritabanlarından ve Iot özellikli gemilerden alınan ham veriler için Bronz, düzenlenmiş Data Vault 2.0 modelleri için Gümüş ve Power BI gibi BI araçları için hazır olan düzenlenmiş Yıldız şemaları için Altın. Kesintiyi önlemek için Delta Live Tables kullanarak Kritik SSIS paketlerini aşamalı olarak taşıdık. Merkezi bir semantik katman, KPI'lara ve metriklere fonksiyonlar arası erişimi basitleştirirken Unity Catalog ince taneli erişim kontrolü, otomatik soy takibi ve veri maskeleme özelliklerini sundu. Ayrıca sorgu performansı, izleme çerçeveleri ve Power BI gösterge tabloları da ekledik. Bu modüler ve genişletilebilir çözüm, gemilerden gelen sensör akışları da dahil olmak üzere yeni veri kaynaklarının büyük bir yeniden tasarıma gerek kalmadan entegrasyonunu destekliyor.

Yeni mimari, kolayca erişilebilen yapılandırılmış, yüksek kaliteli veriler sunuyor. Aşamalı bir geçiş, kesinti sürelerini önledi ve kuruluşun operasyonel temposuyla uyumlu hale geldi. İzleme çerçeveleri boru hattı sağlığını ve veri kalitesini uçtan uca takip ederken, Power BI gösterge tabloları gerçek zamanlı KPI'ları gösteriyor. Rapor yenileme süreleri %80 oranında azaldı (saatlerden dakikalara), veri kalitesi SLA uyumluluğu %95'e yükseldi ve gerçek zamanlı gösterge tabloları öngörü süresini %60'ın üzerinde iyileştirdi. Yeni platform, otomatik yeniden deneme mantığı sayesinde %99 boru hattı çalışma süresi elde etti. Uyumluluk denetimleri artık kolaylaştırıldı ve otomatikleştirildi. Tekrarlanabilir, yönetişim öncelikli bir platform ile şirket daha hızlı ölçeklenmeye, uyum sağlamaya ve yenilik yapmaya hazır.