L’esplosione dell’Internet of Things (IoT) e del mobile computing ha innescato una crescita esponenziale nei volumi e nelle varietà di dati che le imprese devono valorizzare quotidianamente adottando tecniche di AI e di edge intelligence nello specifico.
Nonostante l’aumento di complessità gestionale, in molti casi non è possibile scendere a patti con le prestazioni di elaborazione (latenza), con la privacy delle informazioni, con la sicurezza del dato e i con i costi, che vanno quantomeno ottimizzati. In questo contesto, le imprese stanno trovando una soluzione efficace nell’Edge AI o Intelligent Edge, che di fatto trasferisce sugli edge device l’onere di gestire i principali task di machine learning. Nella tipica architettura edge-to-cloud, ciò consente di elevare il ruolo dell’edge da mero filtro ad elemento in grado di indirizzare decisioni e automatizzare azioni e processi.
Un mercato in forte crescita, ma con qualche limite
Come spiegato nella nostra precedente panoramica su Edge AI, il mercato è estremamente ottimista al riguardo. Lo era all’epoca e lo è ancora oggi, laddove le previsioni degli analisti (Allied Market Research) parlano di un 21,2% di CAGR dal 2020 al 2030. Diversi i driver identificati, tra cui:
- Incremento nella domanda di elaborazione real-time;
- Proliferazione di edge device AI-enabled;
- Aumento continuo delle prestazioni degli edge device;
- Casi d’uso in costante crescita in tutti i settori verticali;
- Limiti del cloud in termini di latenza.
I limiti che hanno rallentato e rallentano il mercato di intelligent edge sono due, su cui non ci dilunghiamo: necessità di investimenti importanti (torna in voga l’acquisto di hardware) e la cronica carenza di competenze.
Il legame strettissimo con il 5G e il MEC
Gli analisti sostengono che il mercato di Intelligent Edge possa ricevere un’accelerazione dalla sempre maggiore pervasività delle reti 5G. Per comprenderne il legame si può considerare l’esempio della self driving car, che oltre a sfruttare modelli di ML per attività locali, necessita di una struttura di comunicazione (con altre auto o infrastrutture stradali) e di elaborazione dati in grado di garantire latenze minime e consumi estremamente ridotti.
L’architettura 5G risponde a queste esigenza con il Multi-Access Edge Computing (MEC), che porta l’elaborazione e l’archiviazione all’edge della rete, in prossimità degli utenti finali. Considerando che tale esigenza attraversa svariati settori verticali e comprende anche tutto l’ambito della Smart City, diviene chiaro il ruolo di abilitatore che il 5G ha nei confronti dell’Intelligent Edge.
Gli AI Edge Device, dai “general purpose” agli acceleratori
Buona parte della ricerca si sta concentrando sugli edge device, che di fatto sono tutti quei dispositivi che possono essere integrati in un modello enterprise per elaborare carichi di lavoro di AI. A titolo d’esempio, gli edge intelligence device elaborano i dati dei sensori di un edificio o le immagini delle videocamere di sorveglianza, eseguono azioni dirette e inviano dati in cloud per le analisi meno sensibili alla latenza.
La grande bipartizione, in quest’ambito, è tra device dedicati e per general purpose. La scelta non impatta più di tanto lo sviluppo dei modelli e delle applicazioni, ma certamente le fasi di ottimizzazione e di deployment. Tra i dispositivi ad uso generale sono diffusi il Raspberry Pi e la serie NUC di Intel, la cui elevata versatilità compensa – almeno parzialmente – l’assenza del coprocessore AI. Nell’ambito dei prodotti ad hoc, esempi robusti di edge intelligence device sono Jetson tx2 di NVIDIA o Jetson nano, il cui scopo è proprio quello di “portare la vera elaborazione AI nei sistemi perimetrali”. Nei device dedicati, il coprocessore AI è di solito una GPU, ma può essere anche un sofisticato Tensor Processing Unit (TPU) progettato da Google per accelerare le applicazioni ML.
Il mercato comprende anche acceleratori che forniscono capacità verticali di elaborazione AI a prodotti per uso generale: Google è attiva nel settore con alcuni dispositivi della piattaforma Coral; sono poi presenti sul mercato dei micrcontroller dedicati come l’ARM Cortex M-55 e dispositivi speciali come gli ASICS e i Field Programmable Gate Array (FPGA), prodotti tailor-made costosi e adottati per applicazioni molto specifiche. Un’ipotesi, in tal senso, è la piattaforma Intel Stratix FPGA.
Tool di Intelligent Edge, dallo sviluppo al deployment
Del toolbox di Edge intelligence non fa parte unicamente l’hardware. Per comprendere quali piattaforme, librerie e framework siano effettivamente a disposizione di imprese e sviluppatori, occorre per prima cosa suddividere il processo in 3 fasi: lo sviluppo del modello, l’ottimizzazione e il deployment. La prima fase non ha particolarità di rilievo, e vengono dunque in soccorso i tipici framework di sviluppo AI come TensorFlow, PyTorch, Caffe, Apache MXNet e Keras.
Prima del deployment, il modello deve essere ottimizzato per l’esecuzione a bordo dello specifico device, con procedure che possono differire da uno all’altro. Per quanto concerne il deployment, infine, la complessità è notevole soprattutto nel caso vengano impiegati device iper-specializzati come gli acceleratori o gli FPGA. Per entrambe le fasi ci si può far assistere da tool come Open VINO, che si definisce appunto un “toolkit open-source per l’ottimizzazione e la distribuzione di modelli di deep learning”.
Non da ultimo, merita un capitolo a sé Coral di Google, una piattaforma hardware e software finalizzata allo sviluppo di applicazioni di Machine Learning on-device. La piattaforma ha un target molto ampio, coprendo tutto il percorso dalla startup alla grande enterprise e consta di: dispositivi hardware capaci di portare l’elaborazione AI all’edge; tool software dedicati allo sviluppo di modelli e applicazioni ML; modelli ML pronti all’uso per una prototipazione rapida.
