Video e immagini hanno assunto un’importanza centrale, non solo nel mondo della comunicazione. Li si trova al centro di sfide di sicurezza e business ma anche tecnologiche, come quella che DPControl ha lanciato fin dalla sua nascita e tuttora in corso.
Dal 2002, infatti, è alla continua ricerca di tecniche di elaborazione immagini innovative che le permettano di estrarre dati rilevanti in tempi rapidi e a costi ridotti. Per consentire a dispositivi piccoli e leggeri come le telecamere di eseguire casi d’uso di visione artificiale particolarmente onerosi, ha spostato i workload sull’edge, imbattendosi in uno step tecnologico impegnativo. Davanti aveva scenari di business con potenziali ambiziosi, ma anche un processo di training delle reti neurali diventato inaffrontabile con i mezzi tradizionali.
Edge più intelligente grazie a un training 29 volte più veloce
Di fronte a un vero e proprio collo di bottiglia dovuto alle insufficienti prestazioni di calcolo dell’infrastruttura esistente, basata su workstation, DPControl ha cercato una nuova soluzione che sbloccasse il suo piano strategico. Conquistata dal binomio “alte prestazioni e costi ridotti” di Lenovo, ha adottato ThinkSystem SR670 con GPU NVIDIA A100 Tensor Core, in grado di garantire un fattore di speed up pari a 29. L’accelerazione del training necessaria per portare sul mercato soluzioni basate su telecamere edge innovative e altamente concorrenziali, anche sul piano internazionale.
Tra i punti di forza di questa nuova infrastruttura on premise c’è la compatibilità con le già presenti GPU NVIDIA, ma non solo. Molto hanno pesato sulla scelta anche la scalabilità e la semplicità apportate sia alla topologia di rete che alla gestione complessiva del processo di training.
Il caso DPControl, per Lenovo è stata una nuova occasione per vincere la sfida tecnologica “classica” dell’HPC, e soprattutto dell’AI. Trovare la dimensione adeguata al sistema in termini di capacità di storage, consumo energetico e ingombro fisico. “A fronte di architetture complesse e con notevoli capacità computazionali, è prioritario cercare di mantenere un form factor contenuto in termini di spazi, sia per motivi logistici che di densità. Aumenta il numero di acceleratori e, con essi, oltre al consumo energetico, anche il calore emesso. E va dissipato velocemente, per evitare impatti sulle performance della macchina. Nel caso di DPControl abbiamo quindi inserito un sistema di raffreddamento che funziona come un radiatore, immettendo un liquido ed estraendo calore tramite aria emessa all’esterno. È questa oggi la sfida principale nel campo intelligenza artificiale. Siamo passati in 10 anni da 2 milioni a miliardi di parametri, la dimensione dei modelli sta esplodendo e la fisica ci obbliga a fare i conti con l’inevitabile impennata di consumi e calore emesso” spiega Valerio Rizzo, EMEA Head of AI di Lenovo.
Time to market, dataset e performance migliori aprono nuovi business
Per DPControl, uno delle oltre 50 collaborazioni sviluppate da Lenovo all’interno del suo AI Innovators program, l’implementazione della nuova tecnologia è stata “diretta e lineare”. L’attenzione di Mario Vigliar, il CEO, si concentra infatti sui risultati immediati ottenuti. Accelerazione dell’innovazione, riduzione del time to market, ottimizzazione di consumi e costi, ma soprattutto “la possibilità di creare un modello neurale da centinaia di milioni parametri da cui ricavarne uno più piccolo, installabile in una telecamera che consuma meno di 1 Watt. Siamo passati da problemi di calcolo di tanti giorni e tanti kW a un processo di qualche ora”.
I vantaggi della nuova soluzione emergono nel primo progetto realizzato da DPControl con ThinkSystem SR670 insieme a Sony. Già parte del suo capitale sociale, l’azienda le ha affidato la realizzazione di telecamere e modelli neurali per rendere Roma sempre più una smart city. Invece di due settimane, il team ha impiegato sei ore per il training, potendo così utilizzare per la prima volta competenze rimaste da sempre “sui libri” per mancanza di strumenti all’avanguardia.
In primis quelle di analisi di sensitività sui parametri di addestramento. “Le ore di lavoro guadagnate sono diventate una straordinaria possibilità creativa per raffinare i nostri esperimenti. Ci siamo dedicati alla network architecture search (NAS), modificando forme e parametri al contorno dei modelli neurali, ottenendo risultati di gran lunga superiori al passato” racconta Vigliar.
Lo “speed up di 29” ha permesso a DPControl di ottimizzare anche i propri dataset. Grazie a una maggiore potenza computazionale, in quelli ottenuti da generatori sintetici ha infatti aumentato il volume dei dati e inserito maggiore entropia volontaria, migliorando fortemente la qualità del training. Dal punto di vista business, però, l’aspetto “dirompente” della nuova soluzione è rappresentato dall’implementazione di una pipeline che permette a un singolo operatore di eseguire in unico ambiente un intero ciclo.
Generazione dei dataset, training della rete neurale, NAS, fino alla delicata fase finale. Quella di “ottimizzazione, quantizzazione e compressione del grande modello ottenuto per estrarre il meglio nella forma più compatta, adatta ad essere implementata in una piccola telecamera”.
Città e strade, spazi pubblici o commerciali: DPControl immagina innovazione in tempi rapidi
Da quando ha scalato dalle decine alle centinaia di milioni di parametri, da quando è in grado di “risolvere problemi complessi con sistemi complessi”, DPControl ha minimizzato consumi e sprechi di calore utilizzando le proprie macchine h24.
La “nuova” accelerazione introdotta da Lenovo ha cambiato le sorti di un sistema di lettura targhe per il monitoraggio del traffico urbano a cui stava lavorando. “Abbiamo ottenuto il modello in due ore dall’avvio del training, sviluppando poi una prima soluzione di tentativo, abbozzata ma essenziale per ottenere la sintesi finale. Era un problema di dimensioni prima inaffrontabili, avremmo dovuto affittare tempo macchina e spostare 2TB di dati per soddisfare il cliente” ammette Vigliar.
Nuovi orizzonti si aprono anche nel raffinamento di modelli 3D e nel riconoscimento di oggetti, aumentando enormemente il numero di classi senza che crolli l’accuratezza. I problemi di ispezione tipici del mondo Industry, ripetitivi, specifici e basati soprattutto sulla computer vision, non riescono a sfruttare a pieno i modelli come quelli sviluppati da DPControl. Secondo il suo CEO, le performance raggiunte con Lenovo sono invece disruptive nei settori Retail e Smart City. “Chi saprà dare soluzioni personalizzate ad alta accuratezza in tempi brevi conquisterà questi promettenti mercati” afferma.
Per il Retail, ma non solo, ha sviluppato un sistema di face re-identification che, testato su 15.000 persone, mostra un tasso di accuratezza del 96% prima inimmaginabile. Può essere utilizzato nella ristorazione collettiva o nei negozi, per contare le persone negli spazi e stimare gli incassi.
Per le Smart City una soluzione utile può essere il sistema di anomaly detection realizzato da DPControl assieme a due tesisti dell’Università Federico II di Napoli. In questo caso l’AI, “studiando” una strada, costruisce una “mappa della normalità” relativa a veicoli, pedoni, movimenti e presenze. Una base essenziale per poi identificare fenomeni rischiosi come un’auto che sbanda.
“Applicazioni simili potranno anche supportare le forze dell’ordine. Grazie alla nuova potenza di calcolo, è più semplice realizzarle ottenendo risultati impattanti e nei tempi utili per portare concreta innovazione a beneficio di città e cittadini”.
