Secondo il Gartner Magic Quadrant 2022, servono nuovi tool di Data integration.
L’era multicloud e ibrida, anche nel mercato della data integration, richiede infatti nuovi strumenti. Ecco quali.
Il Gartner Magic Quadrant 2022: nel primo quadrante in basso a sinistra troviamo i “player di nicchia”, con Amazon Web Services in cima per abilità; in alto gli “sfidanti”, con Qlik in testa. Nel quadrante di destra, in basso i “visionari”, con Palantir che supera SnapLogic; in alto i “leader”, con Informatica che sorpassa Oracle e IBM.
Gartner Magic Quadrant 2022: i dettagli
La topologia dei movimenti di dati riguarda movimenti uni-/bi-/multi-direzionali di dati attraverso endpoint (per esempio: sincronizzazione, confronto, broadcast, consolidamento). Ciò avviene via modalità fisiche e virtuali. Oppure requisiti di batch/microbatch/real-time latency per la data integration.
La virtualizzazione dei dati consente di eseguire query distribuite contro sorgenti di dati disparate che sono virtualmente integrate. Ciò richiede adattatori per le fonti di dati, repository di metadati e query engine distribuiti che possono aver influenzato il consumo downstream in vari modi (come API, JDBC).
Lo stream data integration permette inoltre di processare dati in movimenti (flussi, eventi) e di fornire dati in-stream per il consumo downstream, analisi o storage.
I servizi API fanno sì che il Data-as-a-service, abilitato tramite API design, permetta di creare e gestire endpoint dell’API in uscita su asset esistenti di dati. Permettono anche di gestire il consumo di API in entrata. L’obiettivo è effettuare una data ingestion interno ed esterno.
La data transformation complessa semplifica le operazioni per processare i dati come nella correzione dei valori anomali e nelle analisi sofisticate (ad esempio, free-form text mining, log di telemetria, media mining), nei data modeling complessi (creazioni automatizzate di data pipeline e supporto alla data warehouse automation) e nella realizzazione di trasformazioni riutilizzabili.
Data integration, preparation e Integration portability
L’integrazione dei dati aumentata migliora e ottimizza le operazioni di integrazione dei dati, sfruttando un uso estensivo dei metadati (dati di utilizzo, transaction logs, system workloads) e algoritmi preconfezionati di machine learning (ML) in grado di informare e automatizzare le attività di data ingestion, trasformazione, unione e conferimento dei dati.
La Data preparation mette enfasi nell’empowering dello staff non tecnico, usando varie tecniche come il data blending low-/no-code, l’esplorazione visiva e la corrispondenza probabilistica.
La portabilità di integrazione fornisce la possibilità di effettuare workload management in un ambiente di runtime pulito, sicuro e portatile (per esempio attraverso la containerizzazione).
I Gartner Magic Quadrant
Il Quadrante Magico di Gartner è uno strumento di analisi che agevola la comprensione del posizionamento strategico. Semplifica la valutazione dei provider (partner o fornitori) di tecnologia che un’azienda dovrebbe prendere in esame per effettuare specifici investimenti.
Le varie imprese del settore sono posizionate in quattro caselle: Leader (per visione ed abilità nell’execution); Visionary (con una visione, ma ancora strada da percorrere nell’esecuzione); Niche Player (realtà di nicchia); challenger (ottimi in fase esecuzione, ma che devono ancora farsi una definita visione sulla direzione del mercato).
In questo magic quadrant dei Data Integration Tools, ecco chi sono:
- Amazon Web Services: Niche Player;
- CloverDX: Niche Player;
- Denodo: è un Leader;
- Fivetran: Niche Player;
- Hitachi Vantara: rientrato dopo anni di assenza, è un Niche Player;
- Ibm: è un Leader;
- Informatica è un Leader;
- K2View: è una new entry, posizionata come Niche Player;
- Matillion: Niche Player;
- Microsoft: è un Leader;
- Oracle: è un Leader;
- Palantir: new entry, posizionato come Visionary;
- Precisely: Challenger;
- Qlik: Challenger;
- Safe Software: Niche Player;
- Sap: è un Leader;
- Sas: Challenger;
- SnapLogic: Visionary;
- Software AG (StreamSets): new entry, in posizione di Niche Player;
- Talend: è un Leader;
- Tibco Software: Challenger.
Supporti richiesti dai data integration tool
Gli strumenti di integrazione dei dati presentano caratteristiche che supportano casi d’uso lungimiranti attraverso funzionalità differenziate: supporto dei metadata; supporto a data governance, DataOps e FinOps.
In particolare l’utilizzo estensivo dei metadati (l’uso stesso, i transaction logs, i system workloads) aiutano ad automatizzare e migliorare le attività di data integration.
Il supporto alla data governance significa rispettarne gli obblighi (data quality, data lineage). Intanto si gestiscono i dati in specifici casi d’uso di data integration (MDM, data sharing).
Il DataOps richiede la capacità di gestione del cambiamento che supporta dati e artefatti correlati (come per esempio Git integration di data pipeline, gestione dei modello dei dati). Ma anche automazione (come gli automated testing), orchestrazione di data delivery (CI/CD pipeline). Il tutto con appropriati livelli di sicurezza per migliorare l’uso e il valore dei dati.
Supportare FinOps consente ai data e analytics leader di controllare la spesa in modo iterativo e capire le performance di prodotto. Inoltre permette di effettuare scelte riguardanti i trade-off price-to-performance che producono un’allocazione ottimale delle risorse nel cloud.
Metodologia
Gartner prende in esame i vendor indipendenti e non quelli che vendono tecnologia di data integration come parte di altre soluzioni. Quindi sono escluse piattaforme di analytics, DBMS, pacchetti applicativi o applicazioni SaaS.
