Gli Advanced Analytics rappresentano la principale fonte di vantaggio competitivo per un’azienda poiché coinvolgono tutta la catena del valore e possono avere impatti determinanti sul modello di business di un’organizzazione.
Esistono due approcci tecnologici principali all’analisi del dato, distanti dal punto di vista architetturale, ma applicabili a casi d’uso simili:
- batch data processing (il più diffuso) che consiste nell’elaborare grandi quantità di dati una volta che sono stati “appoggiati” ad un sistema di storage o file system. Significa operare su insiemi finiti di dati – per quanto voluminosi – ed estrarne le metriche desiderate. Si tratta dell’approccio che prevede un “delay” ovvero una latenza tra raccolta del dato e analisi e che opera su un perimetro definito di dati che si modifica nel tempo sulla base di criteri definiti.
- stream data processing (oggetto di una vera e propria fase di hype) che consta nell’operare su flussi continui di dati (potenzialmente infiniti) mentre transitano, senza la necessità di spostare il dato dalla sorgente per operare su di esso. Si tratta di di un approccio che parte dal presupposto di operare su un perimetro di dati variabile nel tempo anche in modo molto veloce e di attingere a forme di conoscenza anche dalle caratteristiche stesse del flusso di dati.
Nel panorama internazionale le tecnologie di streaming stanno guadagnando sempre più spazio nell’universo dei Big Data. Questo anche perché lo streaming è un superset del batch (con un sistema di streaming è possibile fare batch processing mentre non è possibile il contrario). Dal punto di vista del mercato poi lo stream data processing è ancora associato ad un incremento delle performances (real-time vs. near-real time) ed è spesso legato a use case molto specifici (telemetria sportiva, cyber security).
Stream Data Processing: il ruolo della piattaforma
Il team di ricercatori, data scientist e ingegneri di Radicalbit, software house fondata nel 2015, si è concentrato sullo streaming e specializzato nell’Event Stream Processing attraverso la progettazione e lo sviluppo di una piattaforma in grado di gestire l’intero ciclo di vita del dato grazie all’integrazione di algoritmi di Machine Learning e Intelligenza Artificiale.
La piattaforma self-service DataOps permette di operare sui dati acquisiti in streaming, velocizzando integrazione e data processing, facilitando la creazione di pipeline e offrendo una visualizzazione user friendly grazie a strumenti front end più dinamici.
Stream Data Processing in ambiente Internet of Things
L’innovazione tecnologica, con strumenti framework di elaborazione stream open source come Apache Kafka e Flink, e l’esigenza di una maggiore tempestività da parte di utenti business per prendere decisioni data-driven stanno generando un aumento nell’adozione dello streaming. Inoltre, con la rapida crescita di Internet of Things e smart connected product , lo streaming sta diventando una scelta naturale per estrarre valore dai dati in motion. Identificazione immediata di frodi o di anomalie nei processi produttivi, manutenzione predittiva, ottimizzazione della supply chain sono solo alcuni esempi progettuali abilitati dall’analisi dei dati in Streaming.
Di seguito alcuni casi d’uso dello streaming in diverse Industries:
- Insurance: assicurazione usage-based, diagnostica in tempo reale e manutenzione predittiva della flotta aziendale, previsione del CLV (customer lifetime value), prodotti assicurativi sanitari customizzati
- Finance & Banking: individuazione immediata di frodi, tracciamento delle transazioni in tempo reale, identificazione in real-time di problemi o trends, coinvolgimento dei clienti attraverso la personalizzazione di servizi o l’erogazione istantanea di servizi di assistenza
- Smart Manufacturing: previsione dei guasti e manutenzione preventiva, gestione del rischio della catena di approvvigionamento, accelerazione nell’innovazione dei prodotti, utilizzo ottimizzato dei macchinari
- Smart Cities: gestione del traffico urbano e dei trasporti (route optimization), miglioramento della pubblica sicurezza, tracciabilità dei dati sui rifiuti con ottimizzazione della raccolta, interconnessioni intelligenti all’interno di diverse infrastrutture
- Automotive: check-up in tempo reale delle prestazioni dell’auto, assistenza e riparazione tempestiva, data monetization, riduzione dei rischi nella produzione e manutenzione preventiva
- Retail eCommerce: gestione automatizzata dell’inventario, analisi avanzata dei modelli di acquisto, previsione dei piani operativi futuri, strategie dinamiche di prezzo e di vendita, ottimizzazione della produzione
- Energy & Utilities: predizione dei consumi, alert tempestivo di guasti o casi di malfunzionamento, saving energetico, contratti iper personalizzati
- Logistics: visibilità completa e in tempo reale sulle operazioni, ottimizzazione dei percorsi con stretto controllo degli sprechi, inventario in real-time al fine di massimizzare la capacità del magazzino
Stream Data Processing e Intelligenza Artificiale
Stream data processing e intelligenza artificiale sono strettamente connessi. Infatti, l’AI si basa sulla disponibilità di dati per alimentare i modelli con informazioni (idealmente in modo continuo e con bassa latenza). Le piattaforme di Event Stream Processing agiscono da abilitatore tecnologico per l’Intelligenza Artificiale in Real Time.
Attualmente il livello di adozione e utilizzo dell’intelligenza artificiale su sistemi di produzione rimane scarso a causa di diversi fattori quali indisponibilità dei dati, mancanza di competenze specifiche (la data science è una materia complessa e adattata di volta in volta al dominio di riferimento), una cultura aziendale non pronta a questo approccio, difficoltà nell’identificazione di use case che possano dimostrare il ritorno dell’investimento.
Lo Stream Data Processing a servizio dei data scientist
A questi fattori culturali e di contesto, va aggiunta una difficoltà operativa che riguarda l’applicazione dei modelli interpretativi e predittivi elaborati dai team di data scientist al flusso di dati “in produzione”. Non a caso, solo 1 su 25 progetti di AI raggiungono lo stadio finale, il resto rimane a livello di Proof of Concept o, incompiuto. L’applicazione delle tecniche di Machine learning e dell’AI è una sfida ancora aperta per le grandi industrie, che pure hanno stanziato budget sempre più significativi per il 2019-2020.
La soluzione di Radicalbit rappresenta un acceleratore che mitiga almeno in parte le difficoltà nell’applicazione dei modelli di Machine learning e Deep learning ai flussi di produzione. La piattaforma RNA offre una serie di integrazioni “out-of-the-box” per importare modelli e applicarli alle pipeline di processamento del dato, diventando un terreno comune fra data scientists e software engineers, fra business analysts e CIO, interlocutori questi, tutti coinvolti nel processo di applicazione dell’A.I.
Lo Stream Data Processing per passare dai fast data alla continuous intelligence
Da sempre convinta della validità dell’approccio Fast Data, Radicalbit ha realizzato una distribuzione fast data a livello globale (RB1) e ha evoluto l’offerta con la creazione di una piattaforma basata su tecnologie streaming, in grado di raccogliere, elaborare, analizzare e memorizzare eventi nel momento in cui questi accadono e di generare analytics predittivi in real-time.
La verticalizzazione nell’ambito degli streaming analytics ha contribuito allo sviluppo di una continuous intelligence platform, che si serve di dati storici e in real-time su cui applicare modelli di machine learning o algoritmi di intelligenza artificiale per estrarre ad ogni evento insights sempre aggiornati. Si tratta di un nuovo processo analitico, capace di incrociare diversi stream di dati per esplorarne le relazioni in modalità continua, consentendo ai sistemi di apprendere ininterrottamente e di rendere valutazioni e interpretazioni di ogni interazione sempre più accurate.
Secondo le comunità di analisti, la continuous intelligence non sarà un trend temporaneo né un tentativo di rielaborare la propria strategia, bensì diventerà parte integrante delle operazioni aziendali, il modus operandi per attuare l’ “Intelligent Transformation”.
