Modernisation de l'entrepôt de données d'entreprise avec Databricks

Le client avait besoin d'une plateforme capable de répondre de manière flexible à des besoins émergents tels que l'ingestion de données IoT et la génération d'informations en temps réel. Il recherchait une qualité de données constante, une gouvernance sans entrave, une fiabilité des rapports et des actualisations plus rapides des cubes. La nouvelle architecture devait pouvoir s'adapter à l'évolution des besoins de l'entreprise sans compromettre les performances et la disponibilité.

Nagarro a mis en place une architecture Lakehouse évolutive et flexible à l'aide du modèle Medallion de Databricks : Bronze pour les données brutes provenant des bases de données opérationnelles et des navires équipés de l'IoT, Silver pour les modèles Data Vault 2.0 organisés et Gold pour les schémas en étoile sélectionnés prêts à être utilisés avec des outils BI tels que Power BI. Nous avons migré progressivement les packages SSIS critiques à l'aide de Delta Live Tables afin d'éviter toute interruption. Une couche sémantique centralisée a simplifié l'accès interfonctionnel aux indicateurs clés de performance et aux métriques, tandis que Unity Catalog a introduit un contrôle d'accès granulaire, un suivi automatisé de la traçabilité et le masquage des données. Nous avons également introduit des performances de requête, des cadres de surveillance et des tableaux de bord Power BI. Il s'agit d'une solution modulaire et extensible qui prend en charge l'intégration de nouvelles sources de données, y compris les flux de capteurs provenant des navires, sans nécessiter de refonte majeure.

La nouvelle architecture fournit des données structurées, de haute qualité et facilement accessibles. Une transition progressive a permis d'éviter les temps d'arrêt et de s'aligner sur le rythme opérationnel de l'organisation. Des cadres de surveillance suivent l'état du pipeline et la qualité des données de bout en bout, tandis que les tableaux de bord Power BI affichent les indicateurs clés de performance en temps réel. Les temps de rafraîchissement des rapports ont diminué de 80 % (passant de plusieurs heures à quelques minutes), la conformité SLA en matière de qualité des données a atteint 95 % et les tableaux de bord en temps réel ont amélioré le délai d'obtention d'informations de plus de 60 %. La nouvelle plateforme a atteint un temps de disponibilité du pipeline de 99 % grâce à une logique de réessai automatisée. Les audits de conformité sont désormais rationalisés et automatisés. Grâce à une plateforme reproductible et axée sur la gouvernance, l'entreprise est prête à évoluer, s'adapter et innover plus rapidement.