Success Story

Published On: May 3, 2023none

Migrazione DWH da Oracle a BigQuery

La migrazione DWH da Oracle a BigQuery ha trasformato le prestazioni, ridotto i costi e migliorato la gestione dei dati per un’importante azienda del settore beni di lusso. Scopri come BIP xTech ha facilitato questa transizione cruciale.

Generali Investments CRM Data Integration

SERVICE PROVIDER

Google Cloud

CONTATTI

Davide Tresoldi | BIP xTech
Simeone Vilardo | BIP xTech

La sfida della modernizzazione dei sistemi Legacy

In un mondo sempre più orientato ai dati, l'infrastruttura del Data Warehouse (DWH) è cruciale per le operazioni aziendali. Per un cliente nel settore dei beni di lusso, il loro DWH Legacy era stato costruito oltre 20 anni fa, accumulando numerosi hotfix ed eccezioni. Questo sistema obsoleto ha portato a problemi di stabilità e prestazioni, ostacolando la capacità dell'azienda di soddisfare nuove esigenze di business e di innovazione tecnologica.

Affrontare i problemi critici delle pipeline

Una delle sfide più urgenti era l'inefficienza delle pipeline critiche che generavano report chiave. Qualsiasi errore in queste pipeline poteva causare ritardi, con tempi di esecuzione che potevano durare ore, il che era inaccettabile vista l'urgenza dei report. Questo ha evidenziato la necessità di un processo completo di migrazione e refactoring del DWH.

La nostra soluzione per la migrazione del DWH

Per risolvere queste sfide, BIP xTech ha condotto una valutazione dettagliata per determinare l'ambito della modernizzazione e scegliere le tecnologie adeguate. La decisione è stata quella di migrare il DWH su Google Cloud Platform (GCP), utilizzando BigQuery e Dataform per una trasformazione dei dati senza interruzioni.

Sfruttare BigQuery e Dataform

BigQuery è stato scelto per le sue prestazioni superiori rispetto al vecchio hardware on-premise e per la sua integrazione fluida con gli strumenti di Business Intelligence, nonché per la conformità agli standard di sicurezza del settore. Inoltre, il suo modello di pricing "pay-as-you-go" ha permesso al cliente di gestire efficacemente i costi durante la fase di migrazione.

Dataform ha agito come orchestratore, eseguendo query da BigQuery a BigQuery. Questa scelta è stata ideale poiché la maggior parte delle trasformazioni nel sistema legacy erano già implementate in SQL, riducendo così la necessità di riscrivere estensivamente le pipeline. Dataform ha inoltre introdotto pratiche moderne di ingegneria del software, come il controllo di versione, i controlli di qualità dei dati e i test unitari, garantendo una singola fonte di verità per i dati dell'azienda.

Vantaggi del cloud-native

La migrazione al cloud ha fornito al cliente numerose funzionalità native di GCP che hanno migliorato significativamente la loro infrastruttura. Ad esempio, l'uso di snapshot delle tabelle ha consentito rollback istantanei dei dati, mentre Cloud Workflow ha facilitato l'integrazione tra Dataform e altri servizi GCP. Il monitoraggio in tempo reale tramite Cloud Alerting ha assicurato che eventuali errori fossero immediatamente affrontati.

Risultati ottenuti dalla migrazione del DWH

La migrazione a BigQuery ha portato a una drastica riduzione dei tempi di esecuzione delle pipeline. La prima pipeline ottimizzata ha visto un calo del tempo di esecuzione da due ore a pochi minuti, evidenziando i significativi miglioramenti delle prestazioni.

Riduzione dei costi e scalabilità

La migrazione ha anche comportato risparmi sui costi grazie al modello "pay-as-you-go" di BigQuery, che ha ottimizzato le query per caricare solo i dati necessari. Inoltre, l'architettura completamente gestita di GCP ha eliminato i costi di gestione dell'infrastruttura e ha fornito scalabilità automatica per soddisfare le crescenti esigenze del cliente.

Miglioramento della qualità dei dati e documentazione

Grazie a Dataform, il progetto ha prodotto documentazione integrata che ha accelerato l'onboarding di nuovi membri del team. Inoltre, i processi di pulizia dei dati e i controlli delle trasformazioni hanno ridotto il numero di errori e fornito log dettagliati per una facile risoluzione dei problemi.

Benefici della migrazione del DWH a BigQuery

Riduzione del 90% dei tempi di esecuzione delle pipeline

Eliminazione dei costi di gestione delle infrastrutture

Cronologia completa delle modifiche di tutte le pipeline

Miglioramento della Data Quality Assurance

Documentazione integrata per processi semplificati

Conclusione

La migrazione del DWH da Oracle a BigQuery ha trasformato l'infrastruttura dati del cliente, offrendo loro migliori prestazioni, riduzione dei costi e miglioramento nella gestione dei dati. Collaborando con BIP xTech, l'azienda del settore dei beni di lusso si è posizionata per un successo continuo in un mondo orientato ai dati, garantendo che la loro infrastruttura IT sia scalabile, affidabile e a prova di futuro.

SERVICE PROVIDER

Google Cloud

CONTATTI

Davide Tresoldi| BIP xTech
Simeone Vilardo| BIP xTech

Customer Stories

Get in touch

Milan, Italy | BIP xTech Head Office

Torre Liberty Building
Galleria de Cristoforis 1, Milan, 20121

    This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.