Il data warehouse (DWH) è un magazzino contenente una collezione di dati strutturati da diverse origini che, mediante consultazione attraverso query specifiche, permette di estrapolare insight sul business di riferimento.
Il sistema di data management è sviluppato per l’abilitazione della business intelligence (BI), e la supporta in ambito data analytics.
Dopo aver rivoluzionato la galassia delle infrastrutture aziendali, il data warehouse ha il compito esclusivo di effettuare query e analisi e spesso vanta big data storici. Ecco cos’è e quali soluzioni scegliere nel 2023.
Differenze tra un database e un data warehouse
I database sono dedicati alla raccolta dei dati, da interrogare a scopi operativi. Il data warehouse rientra invece nella gestione dei dati, è dunque un sistema dotato di capacità analitiche che ha come fine la possibilità di pianificare i processi aziendali.
Il database è destinato ad archiviare dati di una precisa area aziendale, mentre il sistema di gestione dati, oltre ad alimentare BI e analytics, archivia dati attuali e storici dell’intera organizzazione.
I database registrano i dati, in tempo reale, con cui sono alimentati. Permettono l’acquisizione e archiviazione dei dati, come la possibilità di registrare dettagli relativi a una transazione. Il data warehouse invece centralizza e consolida big data, provenienti da più sorgenti, aggregandoli al fine delle analisi.
I database sono progettati per immettere ed effettuare l’estrazione rapida di informazioni. Invece i sistemi di gestione dati sono concepiti per conservare dati derivanti da più database, facilitandone l’analisi.
Inoltre il database è associato all’applicazione: fotografa lo scena attuale, estrapolando dati dal database operativo e procedendo con un’analisi approssimativa dei dati e poi report, dashboard e altre interfacce.
Il data warehouse alza invece il livello di qualità delle analisi, anche mediante l’integrazione con piattaforme di BI e data analytics, ottenendo risposte immediate anche coi big data. Interroga a scopi analitici senza impattare i processi di repository dei dati. Vanta infatti capacità analitiche che consentono alle organizzazioni di ottenere insight significativi sul business dai loro dati per ottimizzare il processo decisionale. Può facilmente archiviare e gestire sempre più dati appartenenti ai processi aziendali, clientela, vendite, prodotti e dipendenti.
Video: Database e datawarehouse
Cos’è possibile archiviare in un data warehouse
Un data warehouse permette di immagazzinare dati strutturati, transazionali aggregati, trasformati e archiviati a fini analitici.
In un data warehouse è possibile archiviare un’enorme quantità di dati Variant per estrarne un valore. In particolare, dati stabili e non volatili che non cambiano, per mantenere un record storico e analizzare il cambiamento nel tempo. I dati sono orientati agli oggetti, dunque su un argomento o area come le vendite. Permette di archiviare dati provenienti da svariate origini, perché poi crea coerenza tra le differenti tipologie.
In genere comprende: database relazionale per archiviare e gestire i dati; soluzione per estrarre, caricare e trasformare (ELT) per la data preparation in vista dell’analisi; opzioni di analisi statistiche, reporting e data mining; tool di analisi del cliente per la data visualization; applicazioni analitiche di algoritmi di data science, intelligenza artificiale (AI) o funzioni graph e spaziali per approfondire le analisi.
Un data warehouse è in grado di centralizzare e consolidare grandi quantità di dati derivanti da più sorgenti. Permette dunque di archiviare big data, derivanti da un ampio ventaglio di origini come i file di registro dell’app e le applicazioni di transazione.
Nel corso del tempo, realizza un record storico che aiuta i data scientist e i business analyst.
Per quale scopo è ottimizzato un data warehouse
L’ottimizzazione di un data warehouse è finalizzata all’analisi dei dati per comprendere rapporti tra i dati e tendenze. Dunque è ottimizzato per aggregare e recuperare grandi insiemi di dati.
Cosa hanno in comune data warehouse e data lake
Mentre i primi immagazzinano dati strutturati e sono progettati per l’analisi dei dati, un data lake è un repository centralizzato che permette l’archiviazione di ogni dato su ogni scala. Un data lake dispone di più funzionalità di archiviazione, è più complesso e ha casi d’uso differenti rispetto a un data warehouse.
L’unica cosa che hanno davvero in comune è che sono repository di archiviazione dati.
I vantaggi in azienda
Il data warehouse migliora i processi di decision-making. Inoltre in azienda offre il vantaggio di consolidare dati provenienti da più fonti. Altri benefici sono: l’analisi storica dei dati; coerenza, data quality, precisione dei dati.
Poiché il permette di separare l’elaborazione analitica dai database transazionali, ottimizza le performance di entrambi i sistemi.
Cos’è il data warehouse aziendale (EDW)
L’Enterprise data warehouse (EDW) rappresenta l’archivio centralizzato dove convergono tutti i dati aziendali, sia attuali che storici.
Il sistema di gestione dati aziendale esemplifica la gestione di anagrafiche, data warehousing e una data strategy fondata su un approccio olistico alla gestione dei dati.
L’EDW offre un ecosistema vantaggioso per il software di analisi e la manutenzione di KPI e report precisi a livello enterprise. Per esaltarne scalabilità, semplicità di accesso e uso immediato, la distribuzione degli EDW avviene sul cloud.
I principali software di data warehouse aziendali
I programmi di enterprise data warehouse (EDW) sono:
- Microsoft SQL Server;
- Data warehousing in Microsoft Azure;
- Oracle Warehouse Builder;
- IBM Db2 Warehouse;
- Teradata Database;
- Sap HANA;
- Amazon Redshift;
- Snowflake Data Warehouse;
- Google BigQuery.
- Azure Data Lake
Microsoft SQL Server
Il data warehousing di gestione in SQL Server è un database relazionale contenente i dati raccolti da un server di destinazione. Ma SQL Server non è un data warehouse, ma lo si può utilizzare come se lo fosse.
Data warehousing in Microsoft Azure
Le architetture di data warehouse end-to-end in Azure sono: Business intelligence aziendale in Azure con Azure Synapse Analytics; Business intelligence aziendale automatizzata con Azure Synapse e Azure Data Factory.
La prima è un’architettura di riferimento che adotta una pipeline ELT (Extract, Load, Transform) per spostare i dati da un database di SQL Server locale in Azure Synapse.
La seconda architettura di riferimento presenta una pipeline ELT con caricamento incrementale, automatizzata mediante Azure Data Factory.
Oracle Warehouse Builder
Oracle Warehouse Builder (OWB) 11g è una soluzione di data integration centrata sul data warehousing.
Il suo utilizzo principale consiste nel consolidare data source eterogenei nel data warehousing e migrazione dati da sistemi legacy. Inoltre offre capacità relazionali, dimensionali e di metadata data modeling, profilazione dei dati, pulizia e controllo dei dati.
Punti di forza della soluzione: integrazione data, data warehousing, data quality e gestione di metadati. Le sue principali funzionalità sono: data modeling, extraction, transformation and load (ETL).
OWB 11gR2 è pre-installata con Oracle Database 11gR2. Si può installare e usare con Oracle Database 10gR2 e 11gR1.
IBM DB2
IBM Db2 Warehouse è un data warehouse client-managed e preconfigurato che gira su cloud privati, cloud virtual private ed altre infrastrutture container-supported. Offre una soluzione ideale per mantenere il controllo dei dati e flessibilità stile cloud.
Teradata Database
Teradata Database fornisce un motore flessibile analitico in un database scalabile e gestibile per i data warehouse.
Sap HANA
Sap BW/4HANA è un pacchetto software data warehouse basata su Sap HANA. Come layer on-premise per il data warehouse della piattaforma tecnologica di fascia business di Sap, permette di consolidare i dati aziendali per ottenere una visione coerente e concordata dei data.
La soluzione basata su Sap HANA aiuta a capitalizzare il valore dei dati derivanti dalle applicazioni di Sap o di terze parti, non strutturati, geospaziali o Hadoop-based. I punti di forza sono: distribuzione cloud e on-premise; modelling e amministrazione semplificata; integrazione con applicazioni Sap e non-Sap; esperienza utente intuitiva.
Amazon Redshift
Amazon Redshift ha una architettura lake house e sfrutta SQL per l’analisi di dati strutturati e semi-strutturati su cloud data warehouse, database operativi e data lake. Si avvale di hardware ideati da AWS e machine learning per distribuire performance a prezzi competitivi su qualsiasi scala.
Redshift di Amazon permette di effettuare l’analisi di exabyte di dati e l’esecuzione di complesse query analitiche.
Snowflake Data Warehouse
Snowflake data warehouse è particolarmente utile per aziende che cercano una piattaforma che eroga soluzioni che una piattaforma data tradizionale non può offrire. Inoltre, coniuga convenienza e capacità per implementare EDW.
Include un cloud e SQL data warehouse da zero. Progettato con una nuova architettura per gestire tutti gli aspetti di data analytics, combina performance, semplicità e affidabilità.
Google BigQuery
BigQuery è un data warehouse serverless, conveniente e multi-cloud che permette la trasformazione di big data in insight aziendali. Google BigQuery mira ad analizzare i dati non strutturati e in streaming in una piattaforma serverless. In precedenza, la piattaforma gestiva solo dati strutturati da database operativi e applicazioni SaaS come Adobe, SAP e ServiceNow.
Inoltre Google Cloud ha progettato Datastream per BigQuery, per aiutare le aziende a replicare in modo più efficiente i dati in real-time, da fonti come AlloyDB, PostgreSQL, MySQL e database di terze parti come Oracle, direttamente in BigQuery.
L’aggiornamento di BigQuery ha esteso il supporto a nuovi formati di dati, tra cui Apache Iceberg. Il data warehouse guadagnerà presto anche il supporto per Linux Foundation Delta Lake e Apache Hudi.
Azure Data Lake
Azure Data Lake è un servizio scalabile per analizzare e archiviare dati. Il cloud pubblico di Microsoft ospita il servizio di analisi in cloud. Semplifica lo sviluppo e l’esecuzione di programmi di elaborazione e trasformazione dei dati con architettura parallela in R, Python, U-SQL e .Net su petabyte di dati.
