Success Story
Migrazione DWH da Oracle a BigQuery
La migrazione DWH da Oracle a BigQuery ha trasformato le prestazioni, ridotto i costi e migliorato la gestione dei dati per un’importante azienda del settore beni di lusso. Scopri come BIP xTech ha facilitato questa transizione cruciale.
SETTORE: Retail, Luxury Goods | COMPETENCIES: Data Architecture, App Modernization, Cloud Migration, Data Engineering
SERVICE PROVIDER
CONTATTI
Davide Tresoldi
Senior Cloud Architect @BIP xTech
Simeone Vilardo
Specialist @BIP xTech
La sfida della modernizzazione dei sistemi Legacy
In un mondo sempre più orientato ai dati, l'infrastruttura del Data Warehouse (DWH) è cruciale per le operazioni aziendali. Per un cliente nel settore dei beni di lusso, il loro DWH Legacy era stato costruito oltre 20 anni fa, accumulando numerosi hotfix ed eccezioni. Questo sistema obsoleto ha portato a problemi di stabilità e prestazioni, ostacolando la capacità dell'azienda di soddisfare nuove esigenze di business e di innovazione tecnologica.
Affrontare i problemi critici delle pipeline
Una delle sfide più urgenti era l'inefficienza delle pipeline critiche che generavano report chiave. Qualsiasi errore in queste pipeline poteva causare ritardi, con tempi di esecuzione che potevano durare ore, il che era inaccettabile vista l'urgenza dei report. Questo ha evidenziato la necessità di un processo completo di migrazione e refactoring del DWH.
La nostra soluzione per la migrazione del DWH
Per risolvere queste sfide, BIP xTech ha condotto una valutazione dettagliata per determinare l'ambito della modernizzazione e scegliere le tecnologie adeguate. La decisione è stata quella di migrare il DWH su Google Cloud Platform (GCP), utilizzando BigQuery e Dataform per una trasformazione dei dati senza interruzioni.
Sfruttare BigQuery e Dataform
BigQuery è stato scelto per le sue prestazioni superiori rispetto al vecchio hardware on-premise e per la sua integrazione fluida con gli strumenti di Business Intelligence, nonché per la conformità agli standard di sicurezza del settore. Inoltre, il suo modello di pricing "pay-as-you-go" ha permesso al cliente di gestire efficacemente i costi durante la fase di migrazione.
Dataform ha agito come orchestratore, eseguendo query da BigQuery a BigQuery. Questa scelta è stata ideale poiché la maggior parte delle trasformazioni nel sistema legacy erano già implementate in SQL, riducendo così la necessità di riscrivere estensivamente le pipeline. Dataform ha inoltre introdotto pratiche moderne di ingegneria del software, come il controllo di versione, i controlli di qualità dei dati e i test unitari, garantendo una singola fonte di verità per i dati dell'azienda.
Vantaggi del cloud-native
La migrazione al cloud ha fornito al cliente numerose funzionalità native di GCP che hanno migliorato significativamente la loro infrastruttura. Ad esempio, l'uso di snapshot delle tabelle ha consentito rollback istantanei dei dati, mentre Cloud Workflow ha facilitato l'integrazione tra Dataform e altri servizi GCP. Il monitoraggio in tempo reale tramite Cloud Alerting ha assicurato che eventuali errori fossero immediatamente affrontati.
Risultati ottenuti dalla migrazione del DWH
La migrazione a BigQuery ha portato a una drastica riduzione dei tempi di esecuzione delle pipeline. La prima pipeline ottimizzata ha visto un calo del tempo di esecuzione da due ore a pochi minuti, evidenziando i significativi miglioramenti delle prestazioni.
Riduzione dei costi e scalabilità
La migrazione ha anche comportato risparmi sui costi grazie al modello "pay-as-you-go" di BigQuery, che ha ottimizzato le query per caricare solo i dati necessari. Inoltre, l'architettura completamente gestita di GCP ha eliminato i costi di gestione dell'infrastruttura e ha fornito scalabilità automatica per soddisfare le crescenti esigenze del cliente.
Miglioramento della qualità dei dati e documentazione
Grazie a Dataform, il progetto ha prodotto documentazione integrata che ha accelerato l'onboarding di nuovi membri del team. Inoltre, i processi di pulizia dei dati e i controlli delle trasformazioni hanno ridotto il numero di errori e fornito log dettagliati per una facile risoluzione dei problemi.
Benefici della migrazione del DWH a BigQuery
Conclusione
La migrazione del DWH da Oracle a BigQuery ha trasformato l'infrastruttura dati del cliente, offrendo loro migliori prestazioni, riduzione dei costi e miglioramento nella gestione dei dati. Collaborando con BIP xTech, l'azienda del settore dei beni di lusso si è posizionata per un successo continuo in un mondo orientato ai dati, garantendo che la loro infrastruttura IT sia scalabile, affidabile e a prova di futuro.
SERVICE PROVIDER
CONTATTI
Davide Tresoldi
Senior Cloud Architect @BIP xTech
Simeone Vilardo
Specialist @BIP xTech