histoire à succès

Unifier les données aéroportuaires multidomaines grâce à Databricks

Migration vers Unity Catalog de Databrick pour une mise à niveau de la gouvernance au niveau de l'entreprise et une interruption minimale des activités

challenge_icon
le défi

La plateforme de données du groupe mondial spécialisé dans les aéroports et le commerce de détail dans les lieux de transport desservait un large éventail de services, notamment les finances, les ressources humaines, les opérations et le commerce de détail, chacun fonctionnant de manière semi-indépendante, avec ses propres pipelines d'analyse, tableaux de bord de reporting et modèles d'accès. Au fil du temps, cela a conduit à une gouvernance fragmentée, à des contrôles d'accès incohérents et à des inefficacités opérationnelles.
process_icon
la solution

L'équipe a exploité Unity Catalog pour centraliser la gouvernance des données tout en assurant la continuité des activités pendant le processus de migration des données. Pour ce faire, elle a mis en place :

  • Des catalogues alignés sur les activités : les catalogues ont été structurés par unités commerciales avec des niveaux Bronze, Argent et Or, ce qui a permis de rationaliser la propriété des données, le suivi de leur provenance et le contrôle d'accès.
  • Synchronisation double du métastore : les tables delta ont été répliquées en temps réel entre Hive et Unity Catalog, garantissant un accès ininterrompu aux données, des analyses et aucune perturbation.
  • Refactoring des notebooks à faible impact : une logique simple de changement de catalogue et des paramètres contextuels ont permis une rétrocompatibilité, évitant ainsi la réécriture de plus de 1 500 notebooks.
  • Sécurité de niveau entreprise : la sécurité au niveau des lignes et des colonnes a permis d'assurer la protection des données, le contrôle d'accès et la conformité.
  • Workflows de gouvernance automatisés : les workflows de migration, de test et de restauration ont été automatisés pour plus de rapidité, de traçabilité et de résilience.
solution_icon
le résultat
Tous les tableaux de bord et analyses ont fonctionné sans heurts tout au long de la migration, grâce à une double synchronisation et validation en temps réel. La gouvernance centralisée via Unity Catalog a permis une auditabilité complète, une visibilité des métadonnées et une conformité totale. Les unités commerciales fonctionnent désormais de manière indépendante dans le cadre d'un modèle de gouvernance unifié, innovant en toute sécurité. La vitesse d'ingénierie s'est accélérée avec une réduction de 60 % du temps de migration, grâce à des modèles réutilisables et à des modifications minimales du code, permettant l'intégration rapide de nouvelles équipes et de nouveaux ensembles de données.
 
Au total, environ 1 500 notebooks de production ont été migrés et 100 % des tables Delta actives ont été synchronisées sans aucune interruption sur des milliers de rapports. Toutes les équipes opèrent désormais sur une plateforme d'analyse unique et gouvernée, garantissant une conformité totale en matière de sécurité.