Dall’avvento dei computer e Internet abbiamo assistito a una crescita esponenziale di dati a nostra disposizione, per effetto della digitalizzazione di processi e attività che prima si svolgevano in modo analogico, e delle tecnologie di archiviazione (storage). Un patrimonio enorme da analizzare per poterne estrarre informazioni utili nella nostra vita privata e lavorativa. Ma cosa è esattamente l’analisi dei dati o data analysis?
Cerchiamo di capire meglio di cosa si tratta e perché è importante, esaminando le principali tecniche di analisi e alcuni ambiti di applicazione, senza trascurare gli attuali trend e avanzamenti tecnologici nel settore.
Che cos’è l’analisi dei dati?
L’analisi dei dati e il data mining si occupano di trattare un insieme di dati grezzi con processi di reperimento e conservazione (data collection and storage), pulitura e trasformazione (data cleaning), per costruire basi di dati (data set) pronti a essere trattati attraverso modelli di analisi (data modelling) per trarre conclusioni che consentono di prendere delle decisioni ponderate sulle informazioni ricavate (data-driven decision) o per estendere la conoscenza.
A questo scopo, l’analisi dei dati utilizza algoritmi, metodi e sistemi per estrarre conoscenza da dati strutturati e dati non strutturati; applica modelli con l’ausilio di strumenti e tecnologie più o meno sofisticate, dalla semplice analisi dei dati Excel o analisi dei dati con R (un software di analisi statistica “open source”), a sistemi in grado di migliorare autonomamente i risultati e la qualità delle informazioni ricavate (Machine learning) mediante processi iterativi.
Tutto questo al fine di aiutare gli utenti a prevedere e ottimizzare i risultati in qualunque ambito, dall’industria ai sistemi produttivi, dal business e il marketing agli studi sociali.
Qual è l’obiettivo chiave dell’analisi dei dati in azienda?
Comprendere il valore che l’analisi dei dati può apportare alla propria organizzazione ha una importanza fondamentale. Ad esempio, consente di avere una visione a 360 gradi di tutti gli aspetti relativi ai clienti, di quali canali utilizzano per comunicare con l’azienda o per informarsi, di utilizzare informazioni sui loro dati demografici, interessi, abitudini di consumo, comportamenti di acquisto e altro ancora.
Un’adeguata analisi dei dati è imprescindibile dal successo delle strategie di marketing, finanza, e della manifattura. Dal punto di vista gestionale, Big data e analisi dei dati aiutano a prendere decisioni basate sui fatti e non su congetture.
Cosa determina il successo di un’azienda? La risposta è semplice: “decisioni giuste e tempestive”. Il successo di un’impresa non si limita all’acquisizione di informazioni, ma dipende dall’efficacia delle decisioni, dalle attività operative e dalla strategia.
Con la data analysis avremo elementi che stabiliscono un fatto, identificano uno schema (pattern), consentono una scelta, attivano un processo, determinano la conformità alle politiche, indirizzano un evento e/o fanno emergere la conoscenza.
Come si fa l’analisi dei dati
Le tecniche di analisi dei dati si basano su due tipi principali di dati e relativi metodi di analisi: dati e metodi quantitativi e qualitativi.
- Nell’analisi quantitativa i dati sono presentati in forma numerica e misurabili mediante dimensioni e metriche. Questi dati sono utilizzati per calcoli matematici e analisi statistiche, per rispondere a domande come: “Quanti sono?”, “Quante volte?”, “Quanto incide?”. Questi dati possono essere verificati e convenientemente valutati utilizzando tecniche matematiche. Ad esempio, la Monte Carlo Simulation è una tecnica che stima la probabilità di risultati in condizioni incerte in campi quali finanza, ingegneria e scienza. Un altro esempio è la Cross-tabulation, che utilizza la forma tabellare di base per trarre inferenze tra diversi insiemi di dati (data set) nella ricerca. Un altro metodo, utilizzato specialmente nelle analisi predittive, è l’analisi di regressione (semplice o multivariata), un tipo di analisi statistica che determina le relazioni tra variabili indipendenti e dipendenti per aiutare i gestori finanziari e i professionisti del marketing a valutare le attività e determinare relazioni tra le variabili analizzate. Ulteriori esempi sono la Cohort analysis, un sottoinsieme dell’analisi comportamentale suddivide un determinato set di dati in gruppi correlati, e la cluster analysis, una tecnica esplorativa che cerca di identificare strutture omogenee all’interno di un set di dati.
- L’analisi qualitativa dei dati riguarda tutte quelle informazioni non misurabili e riconducibili, ad esempio, a contenuti verbali o testuali, emozioni, opinioni, credenze e altro. Tuttavia, i dati qualitativi possono essere inseriti in scale di valore e misurati nella frequenza di rilevazione o per similarità, per cui questi dati vengono comunque ricondotti a una misura quantitativa. L’analisi e i dati qualitativi sono anch’essi molto importanti in quanto la loro raccolta è esplorativa, e implica analisi e ricerche approfondite. I metodi sono principalmente focalizzati sull’acquisizione di intuizioni, ragionamenti e motivazioni, quindi vanno più in profondità.
Le tecniche di analisi si basano su due principali approcci: deduttivo e induttivo. L’approccio deduttivo è utilizzato quando si ha già una teoria predeterminata del probabile “input” atteso da una popolazione campione, e mira a raccogliere dati che possono supportare una teoria per validarla.
L’approccio induttivo, invece, viene utilizzato quando non si dispone di molte informazioni sull’esito atteso da una popolazione campione, e mira a raccogliere dati su un argomento di interesse per poi individuarne schemi e correlazioni. Lo scopo è sviluppare una teoria per spiegare gli schemi o “pattern” trovati nei dati. Tra gli esempi di metodi di analisi qualitativi abbiamo la content analysis, utilizzata per identificare modelli in varie forme di comunicazione. Essa può rivelare modelli che indicano lo scopo, i messaggi e l’effetto del contenuto, o determinare le intenzioni alla loro base.
Questi metodi di analisi applicano differenti tipologie di modelli e tecniche, di cui analizziamo i quattro principali. È importante comunque sottolineare che essi sono collegati e spesso concatenati tra loro. Quando si passa dal più semplice al più avanzato, il grado di difficoltà e le risorse richieste aumentano, ma allo stesso tempo cresce anche il livello di conoscenza e valore aggiunto.
I quattro tipi di analisi dei dati quantitativi e qualitativi
- Analisi descrittiva dei dati – Descriptive analysis
L’analisi descrittiva dei dati è alla base di tutte le informazioni sui dati. È l’uso più semplice e più comune dei dati. L’analisi descrittiva risponde alla domanda “cosa è successo”. Il più grande uso dell’analisi descrittiva nel mondo aziendale è quello di tenere traccia degli indicatori chiave di prestazione (Key Performance Indicators – KPI). I KPI descrivono le prestazioni di un’azienda in base ai benchmark scelti.
- Analisi diagnostica dei dati – Diagnostic analysis
Dopo aver posto la domanda principale su “cosa è successo?”, l’analisi diagnostica mira a individuare le cause che hanno determinato l’evento. Questo è il ruolo dell’analisi diagnostica. Essa utilizza le informazioni trovate dall’analisi descrittiva e scava a fondo (Drill-down) per trovare la causa di tale risultato. Le organizzazioni utilizzano questo tipo di analisi poiché crea più connessioni e identifica modelli e schemi di comportamento più approfonditi.
- Analisi predittiva dei dati – Predictive analysis
L’analisi predittiva concerne la domanda “cosa è probabile che succeda?”. Questo tipo di analisi utilizza i dati storici per fare previsioni sui risultati futuri, e costituisce un passo avanti rispetto alle analisi descrittive e diagnostiche. Essa utilizza modelli statistici che richiedono tecnologia e operatività aggiuntive. Mentre l’analisi descrittiva e diagnostica sono pratiche ormai consolidate, l’analisi predittiva costituisce un nuovo trend di sviluppo che molte aziende faticano ancora a comprendere e adottare per fattori legati alla necessità di investimenti in nuovi team di analisi l’impossibilità di formare i team attuali. Tuttavia, questo tipo di analisi è molto efficace nel supportare decisioni in aree critiche quali la valutazione del rischio, le previsioni di vendita, la segmentazione dei clienti, la pianificazione di campagne promozionali o la determinazione di quali “lead” hanno le migliori possibilità di conversione, solo per citare alcuni esempi.
- Analisi prescrittiva dei dati – Prescriptive analysis
Il quarto tipo di analisi dei dati è l’attuale frontiera del settore, che combina tutte le analisi precedenti per determinare la linea d’azione da intraprendere in un problema o decisione. Essa è legata sia all’analisi descrittiva che a quella predittiva, e utilizza lo stato dell’arte della tecnologia e delle pratiche sui dati. Implementare tale metodo costituisce un impegno organizzativo enorme e le aziende devono essere consapevolmente disposte a mettere in campo gli sforzi e le risorse necessarie prima di intraprendere un progetto di implementazione di analisi prescrittiva. L’intelligenza artificiale (AI) e il Machine learning (ML) sono un perfetto esempio di questo tipo di analisi. Questi sistemi processano una grande quantità di dati per apprendere continuamente e utilizzare i dati per prendere decisioni informate. I sistemi di questo tipo, quando ben progettati, sono in grado di comunicare queste decisioni e persino di metterle in atto autonomamente.
I processi aziendali possono essere eseguiti e ottimizzati quotidianamente senza che un essere umano interagisca con l’intelligenza artificiale.
I sistemi di questo tipo sono in grado di processare dati e informazioni non solo su basi di dati locali o database, ma anche nell’ambito di Big data.
I Big data generalmente si riferiscono a dati che superano la tipica capacità di archiviazione locale. Come risorsa, i Big data richiedono strumenti di analisi dei dati e metodi applicati per analizzare ed estrarre modelli su larga scala. I sistemi di analisi prescrittiva più sofisticati sono in grado di reperire informazioni da diversi nodi interconnessi, correlandole attraverso modelli di analisi integrati che spesso utilizzano più metodi e tecniche simultaneamente per raggiungere lo scopo.
Attualmente, l’utilizzo di tali sistemi è appannaggio delle grandi aziende (p.e. Amazon, Facebook, Netflix, Google ecc.), mentre per altre organizzazioni il passaggio all’analisi predittiva e prescrittiva rappresenta un ostacolo a volte insormontabile.
Tuttavia, il mercato evolve costantemente e molte aziende stanno sviluppando sistemi e servizi che renderanno tali sistemi disponibili per aziende di medie e piccole dimensioni attraverso l’ausilio di strumenti di terze parti fornitrici (p.e. SAP Analytics Cloud, Qlik Sense, RapidMiner, IBM SPSS Modeler, SAS Advanced Analytics e molti altri).
L’implementazione dei modelli di analisi dei dati da applicare
Le tecniche di analisi dei dati implicano una serie di processi e attività che riguardano più della semplice analisi. Nei progetti avanzati gran parte del lavoro richiesto si svolge in anticipo, con un procedimento che possiamo suddividere in tre fasi:
- Pianificazione o Data Plan;
- Costruzione del modello di analisi o Model building;
- Implementazione del modello o Model implementation.
In ognuna di queste fasi possiamo individuare almeno altre tre sub-fasi per ognuna di esse, come evidenziato nel diagramma seguente.
Andiamo ora a vedere le varie sub-fasi di un progetto di Data analysis.
Definizione dell’obiettivo – Objective definition
Per iniziare, è fondamentale capire cosa si sta cercando di risolvere. Definire l’obiettivo dell’analisi è imperativo. Allineando la funzione del modello di analisi dei dati che si andrà a creare con gli obiettivi dell’azienda e la strategia aziendale, il processo diventa potente e pratico.
Esplorazione dei dati – Data exploration
Una volta chiaro l’obiettivo, si può cominciare a esplorare la varietà di informazioni e strumenti a disposizione per raggiungerlo. Questo passaggio stabilisce in dettaglio quali dati sono disponibili, da quali fonti provengono e la loro attendibilità, individuando l’approccio più appropriato.
Preparazione dei dati – Data preparation
Con una chiara comprensione dell’origine dei dati, il passaggio successivo consiste nel raccogliere (Data collection) e ripulire (Data cleaning) i dati selezionati in un formato universale. Il processo di preparazione inizia con la classificazione dei dati in segmenti quali prodotto, caso, comportamento, dati demografici e altro.
Creazione del modello – Model creation
Si preleva un campione dal set di dati selezionato e questo viene utilizzato per scrivere il codice del modello che si intende sviluppare. Un modello può essere pensato come un’equazione composta da più variabili basato sui metodi indicati prima (Monte Carlo Simulation, Analisi di regressione, Cohort Analysis e altre). Durante fase di creazione iniziale, la struttura sottostante delle variabili indipendenti e dipendenti è formata per adattarsi al meglio allo scopo.
Test sul modello – Model testing
Il test sul modello è fondamentale per la sua efficacia prima della messa in produzione. Questa fase comporta l’esecuzione di diversi test statistici per rilevare eventuali errori, sperimentando anche modelli alternativi e verificare se il set di dati non abbia bisogno di pulizia aggiuntiva.
Validazione del modello – Model validation
Una volta che la funzionalità e l’accuratezza sono state testate, il modello può essere riportato alle parti interessate (stakeholder) per la convalida. La convalida è un passaggio essenziale per valutare se il modello riuscirà a soddisfare gli obiettivi del progetto.
Installazione del modello – Model deployment
Una volta che il modello è completo e convalidato, può essere messo in produzione e utilizzato.
Valutazione del Modello – Model assessment
I punteggi e le metriche possono ora essere utilizzati per le decisioni o i processi aziendali. Questo abilita la prima fase di reporting su come il modello si è comportato nel raggiungere gli obiettivi prefissati.
Manutenzione del Modello – Model maintenance
Col passare del tempo, sarà necessario regolare e ricalibrare i modelli. Tale attività è necessaria per adattare l’analisi dei dati ai naturali cambiamenti dell’ambiente e del mercato, un continuo processo di messa a punto per ottenere informazioni sempre più accurate e utili.
Come le aziende utilizzano la Data analysis
Dopo aver visto che cos’è l’analisi dei dati, il perché è importante e avere trattato i diversi tipi e metodi di analisi, passiamo ora a vedere un paio di esempi di quali ambiti di applicazione e in quali settori la Data analysis può essere adottata.
Analisi dei dati aziendali nelle imprese di produzione – manufacturing
La Data analysis ha trasformato l’industria manifatturiera con la cosiddetta Industry 4.0. Gli operatori del settore trovano continuamente modi per sfruttare tutti i dati che generano per migliorare l’operatività, l’efficienza, e scoprire preziose informazioni che guideranno le decisioni di carattere strategico ed operativo. Vediamo di seguito alcuni esempi:
- Manutenzione predittiva: attraverso l’analisi dei dati sui processi produttivi, tempistiche e frequenza con cui ogni elemento che partecipa alla catena di produzione va sostituito o manifesta un malfunzionamento, sarà possibile prevedere guasti delle apparecchiature. I potenziali problemi possono essere scoperti sia attraverso dati strutturati (anno dell’attrezzatura, marca e modello) che dati multi-strutturati (voci di registro, sensori, messaggi di errore, temperatura di esercizio e altro). Con questi dati, i produttori possono massimizzare i tempi di attività e distribuire la manutenzione in modo più efficiente prevenire guasti, ed evitare costosi momenti di blocco della produzione. L’analisi dei dati consentirà inoltre di valutare meglio il cosiddetto Cost of ownership, cioè il costo complessivo dato dalla sommatoria tra costo di acquisto di una apparecchiatura e tutti i costi associati allo sfrido, la manutenzione e alle riparazioni lungo il suo corso di vita utile.
- Efficienza operativa: è una delle aree in cui l’analisi dei dati possono avere il maggiore impatto sulla redditività. Attraverso queste analisi è possibile analizzare predittivamente picchi di domanda e rispondere in modo proattivo al feedback dei clienti.
L’analisi dei dati nelle imprese del settore Retail
Il settore Retail è tra i più competitivi al mondo, specie con l’avvento e la crescita dell’eCommerce. La Data analysis viene in aiuto a tutte le fasi del processo di vendita, dalle previsioni della domanda per l’ottimizzazione delle merci in-store alla loro collocazione negli spazi espositivi. Vediamo alcuni esempi:
- Sviluppo del prodotto: l’analisi dei dati aiuta ad anticipare la domanda dei clienti. Classificando gli attributi chiave di gradimento dei prodotti passati e attuali, modellando la loro relazione con la pubblicità e identificando i fattori di successo delle offerte è possibile costruire modelli predittivi. Tali modelli, associati ad esempio a tecniche come il Social media listening, cioè l’ascolto dei social media attraverso l’ausilio di strumenti dedicati (p.e. Hootsuite, Twitter Counter, Digimind, Sprout Social e altri), consentono di monitorare, analizzare e comprendere il sentimento che i clienti hanno verso un brand o i competitori. L’azienda potrà quindi catturare nuove tendenze che emergono dalle loro conversazioni sui social utili allo sviluppo di nuovi prodotti.
- Customer Experience: la Data analysis fornisce una visione più chiara del cliente. Raccogliendo dati dai social media, visite web, registri delle chiamate e altre interazioni, le aziende possono migliorare il rapporto con i clienti e massimizzare il valore. L’analisi dei Big data può essere utilizzata per fornire offerte personalizzate, ridurre l’abbandono dei clienti e gestire in modo proattivo i problemi.
- Valore a vita del cliente (Customer lifetime value): alcuni clienti sono più preziosi di altri. Attraverso l’analisi dei dati l’azienda può disporre di approfondimenti sul loro comportamento e sui modelli di spesa, e identificare i migliori clienti verso cui indirizzare offerte speciali. Allo stesso modo, sarà possibile escludere clienti non lucrativi dall’accesso a promozioni privilegiate. Il servizio clienti potrà intervenire proattivamente al primo segnale di disaffezione del cliente.
Altri esempi possono essere fatti su tanti altri settori che innovano attraverso l’utilizzo della Data analysis. Nell’assistenza sanitaria l’analisi dei dati consente il miglioramento della produttività per aiutare a salvare vite umane, nel miglioramento dell’esperienza ospedaliera dei pazienti, delle diagnosi attuali e predittive nelle quali è possibile evidenziare minacce potenziali per il paziente.
Anche nei servizi finanziari, gli istituti bancari lungimiranti stanno sfruttando la Data analysis con applicazioni che vanno dall’acquisizione di nuove opportunità di mercato alla riduzione delle frodi o allo sviluppo di nuovi servizi finanziari personalizzati, convertendo l’analisi dei dati in un vantaggio competitivo. Ma gli esempi non terminano qui, infatti possiamo trovare applicazioni redditive e investimenti anche nei settori delle telecomunicazioni, oil & gas e molti altri.
