Modernización del almacén de datos empresarial con Databricks

El cliente necesitaba una plataforma que pudiera satisfacer de manera flexible necesidades emergentes, como la ingesta de datos del Internet de las cosas (IoT) y la obtención de información en tiempo real. Buscaba una calidad de datos constante, una gobernanza sin obstáculos, fiabilidad en la generación de informes y actualizaciones más rápidas de los cubos. La nueva arquitectura debía poder adaptarse al crecimiento de las demandas del negocio sin poner en riesgo el rendimiento y el tiempo de actividad.

Nagarro creó una arquitectura Lakehouse escalable y flexible utilizando el patrón Medallion de Databricks:  Bronze para datos sin procesar procedentes de bases de datos operativas y embarcaciones habilitadas para IoT, Silver para modelos Data Vault 2.0 organizados y  Gold para esquemas Star seleccionados y listos para herramientas de BI como Power BI. Migramos gradualmente los paquetes SSIS críticos utilizando Delta Live Tables para evitar interrupciones. Una capa semántica centralizada simplificó el acceso interfuncional a los KPI y las métricas, mientras que Unity Catalog introdujo un control de acceso detallado, un seguimiento automatizado del linaje y el enmascaramiento de datos. También introdujimos el rendimiento de las consultas, los marcos de supervisión y los paneles de control de Power BI. Se trata de una solución modular y extensible que admite la integración de nuevas fuentes de datos, incluidas las transmisiones de sensores de los buques, sin necesidad de un rediseño importante.

La nueva arquitectura proporciona datos estructurados y de alta calidad a los que se puede acceder fácilmente. La transición por fases evitó el tiempo de inactividad y se ajustó al ritmo operativo de la organización. Los marcos de supervisión controlan el estado del canal y la calidad de los datos de principio a fin, mientras que los paneles de Power BI muestran los KPI en tiempo real. Los tiempos de actualización de los informes se redujeron en un 80 % (de horas a minutos), el cumplimiento del SLA de calidad de los datos aumentó hasta el 95 % y los paneles en tiempo real mejoraron el tiempo de obtención de información en más de un 60 %. La nueva plataforma logró un tiempo de actividad del canal del 99 % gracias a la lógica de reintentos automatizados. Las auditorías de cumplimiento ahora están optimizadas y automatizadas. Con una plataforma repetible y centrada en la gobernanza, la empresa está preparada para escalar, adaptarse e innovar más rápidamente.