Se si sta cercando di implementare l’intelligenza artificiale nel proprio data center è necessario valutare attentamente in quale hardware e infrastruttura investire prima.
L’AI copre una serie di tecniche che vanno dal machine learning all’apprendimento profondo, e comprende una vasta gamma di applicazioni aziendali, dagli analytics in grado di prevedere le prestazioni future ai recommendation system e al riconoscimento delle immagini.
Da quando le grandi aziende integrano sempre di più l’intelligenza artificiale nella propria strategia di trasformazione digitale, questa tecnologia continua ad espandersi e svilupparsi. Per meglio decidere qual è l’infrastruttura adatta per supportarla all’interno della propria azienda può essere utile domandarsi perché se ne ha realmente bisogno e in cosa ci può essere utile.
Server con GPU
Dotare i server di GPU è diventato uno degli approcci infrastrutturali più comuni per l’AI: si può utilizzare l’architettura parallela di un chip GPU per accelerare le bulk floating- point operation legate all’elaborazione dei modelli AI.
Un’altra caratteristica delle GPU sono gli ecosistemi software ampi e maturi che si formano loro attorno. Nvidia, ad esempio, ha sviluppato il toolkit CUDA in modo che gli sviluppatori possano utilizzare le GPU per diversi scopi, tra cui il deep learning e gli analytics. Anche se le GPU supportano alcuni compiti ad essi legati, non supportano necessariamente tutti i carichi di lavoro AI.
“Ci sono modelli nel contesto dell’AI e del machine learning che non rientrano nella categoria dell’apprendimento profondo e sono stati poco esplorati perché la GPU è molto performante nel campo delle reti neurali, ma non eccelle automaticamente anche in alcuni di questi altri interessanti algoritmi con cui stiamo iniziando a realizzare iniziative interessanti”, ha dichiarato Jack Vernon, analista di IDC.
Prima di implementare l’AI nel data center, meglio iniziare a considerare i motivi che ci portano a farlo per decidere se le GPU sono adatte alle nostre esigenze. Utile anche chiedere il parere di uno specialista sul tipo di modello che meglio si adatta ai requisiti della nostra organizzazione per capire quale altra infrastruttura potrebbe essere utile.
Altri acceleratori hardware
I field-programmable gate array (FPGA) sono essenzialmente dei chip con tanti blocchi logici che possono essere configurati e riconfigurati come si desidera per eseguire diverse funzioni. Gli ASIC hanno invece funzioni logiche integrate nel silicio durante la produzione. Entrambi accelerano le prestazioni dell’hardware ma gli ASIC sono più adatti alle organizzazioni con un grande volume di workload ben definito mentre gli FPGA richiedono una programmazione più complessa.
Google offre la sua TPU – un ASIC progettato in modo specifico per il deep learning – ai clienti attraverso la sua Google Cloud Platform. Graphcore ha progettato le sue IPU apposta per workload legati all’AI, e Cambricon offre chip di processori progettati intorno a un set di istruzioni ottimizzato per l’apprendimento profondo. Habana Labs, acquisita da Intel, produce acceleratori programmabili come chip separati per le parti di formazione e inferenza del deep learning, conosciuti rispettivamente come Gaudì e Goya.
Anche se le GPU, e altri tipi simili di acceleratori hardware, conquistano la maggior parte dell’attenzione quando si tratta di AI, le CPU rimangono rilevanti per molte aree di AI e apprendimento automatico. Per esempio, Intel ha aggiunto caratteristiche alle sue CPU per aiutare ad accelerare i workload AI e l’ultima famiglia Xeon Scalable presenta Intel Deep Learning Boost che prevede nuove istruzioni per accelerare il tipo di calcoli coinvolti nell’inferenza. Ciò significa che queste CPU possono accelerare certi carichi di lavoro AI senza bisogno di hardware aggiuntivo.
Storage per l’AI
Lo storage non andrebbe mai trascurato quando si tratta di infrastrutture per supportare l’AI perché l’addestramento di un modello di deep learning richiede un enorme volume di dati campione e i sistemi devono essere alimentati con i dati quanto più velocemente possibile in modo da mantenere alte le prestazioni.
“Lo storage è un elemento davvero importante e il processo di training stesso spesso comporta più cicli di feedback, è quindi necessario continuamente salvare il modello in una fase, eseguirvi alcune elaborazioni per aggiornarlo, e poi richiamarlo – ha detto Vernon – La maggior parte delle organizzazioni che stanno costruendo un’infrastruttura di training e inferenza spesso devono affrontare rapidamente una importante richiesta di storage aggiuntivo“.
Le organizzazioni con un‘infrastruttura HPC esistente spesso hanno già un fast flash storage layer supportato da uno layer di capacità molto più grande. Per la maggior parte delle organizzazioni, questo significa implementare SSD NVMe con una latenza più bassa possibile, sostenuta da uno storage meno costoso per fornire la capacità.
Sistemi AI specializzati
Diversi sistemi specializzati offrono prestazioni più elevate per i workload AI. Nvidia basa i suoi server DGX sulle sue GPU, con un’architettura ottimizzata per mantenerle alimentate con i dati. I fornitori di storage hanno anche collaborato con Nvidia per fornire architetture di riferimento convalidate che accoppiano high-performance storage array con i sistemi Nvidia DGX. DDN, ad esempio, ha ottimizzato il suo portafoglio Accelerated, Any-Scale AI per tutti i tipi di modelli di accesso e di layout di dati utilizzati nel training dei modelli AI, e fornitori come NetApp e Pure Storage offrono architetture di storage simili.
Intel offre il suo toolkit OpenVINO come engine inferenziale progettato per ottimizzare ed eseguire modelli pre-addestrati. Questo ha un’architettura a plugin che gli permette di eseguire i modelli su una vasta gamma di hardware, come CPU, GPU, FPGA o un mix di tutti e tre, il che offre alle organizzazioni una maggiore flessibilità di implementazione.
Si può anche scegliere di costruire e addestrare i propri modelli AI nel cloud, utilizzando risorse on-demand per poi interromperle una volta terminato il training.
