Grazie a piattaforme come ChatGPT o Gemini l’utilizzo di servizi di intelligenza artificiale si sta ormai diffondendo a livello mainstream. Ognuno sta apprezzando sempre di più la comodità e l’efficacia di impiegare un prompt per soddisfare una curiosità o per scrivere una e-mail. Molti utenti sperimentano l’impiego dei prompt di intelligenza artificiale anche per esigenze professionali, come la scrittura di codice software o la stesura di un documento tecnico. Aumenta così l’interesse dei responsabili IT per questa tecnologia, e il desiderio di poterla integrare nei processi aziendali.
Il problema dell’ultimo miglio
Quando si fanno domande legate al proprio business all’IA, però, le risposte non di rado creano un certo disappunto. Alcune volte i suggerimenti dell’intelligenza artificiale sono generici e non riescono a indirizzare con precisione le richieste. Altre volte, invece, l’intelligenza artificiale dimostra di avere una buona infarinatura del business, ma poi la risposta difetta di precisione, soprattutto se il contesto è piuttosto tecnico o riguarda un processo di nicchia.
Esattamente come in una linea internet il tratto dalla centrale al doppino può rallentare sensibilmente la velocità della connessione, così anche l’intelligenza artificiale può presentare il problema dell’ultimo miglio. Un modello LLM può essere stato addestrato su dati troppo generici rispetto alla realtà del business, rivelandosi così performante rispondendo a richieste a bassa criticità, ma poco specifico su interrogazioni riguardanti processi tecnici.
Machine Learning Fai Da Te
Ormai ingolositi dalle potenzialità di questa tecnologia, alcune aziende potrebbero decidere di aggirare l’ostacolo costituito dalla genericità dei grandi modelli LLM, e tentare la via di addestrare un proprio modello custom, in modo da poter disporre di una intelligenza artificiale proprietaria, ottimamente addestrata sulle specifiche del proprio business.
Questo tentativo si rivela frequentemente un frustrante vicolo cieco.
La prima difficoltà di addestrare un modello custom consiste nel recuperare o, ancora peggio, creare da zero i dataset da dare in pasto all’algoritmo di apprendimento. Realizzare un dataset del genere richiede un’approfondita analisi delle caratteristiche del proprio business, in modo da individuare quelle feature che pilotano i nostri processi verso l’ottenimento del risultato previsto (il tanto agognato target).
La seconda sfida riguarda l’installazione e la configurazione del sistema di training, condizionato da numerose criticità, come la scelta delle librerie software e dell’infrastruttura.
Partendo da quest’ultima, è necessario bilanciare performance e costi, per non rischiare di avere colli di bottiglia durante il training ma nemmeno di sforare il budget previsto. Occorre valutare se convenga noleggiare le GPU o le TPU in cloud, oppure installare un proprio cluster On Premise. Anche se si decidesse per la più “semplice” scelta del noleggio in cloud, le offerte sono molteplici ed è opportuno affidarsi a un esperto consulente di data science per essere sicuri di optare per una soluzione correttamente bilanciata.
Le scelte delle librerie software sono infine strettamente legate al budget che si desidera investire nell’infrastruttura, poiché alcune librerie di Machine Learning o Deep Learning richiedono infrastrutture performanti per concludere i training in tempi di elaborazione ragionevoli.
L’alternativa dell’AI verticale
Di fronte a queste problematiche, si può optare per lo sviluppo di una soluzione verticale che vada ad innestarsi su un LLM già consolidato.
Queste soluzioni verticali impiegano le API (interfacce di programmazione) messe a disposizione dai grandi LLM (come Gemini o ChatGPT): effettuando l’autenticazione con un token, sfruttano l’intera gamma delle conoscenze del modello di base, che vanno a specializzare in un determinato ambito grazie a un framework di sviluppo proprietario.
In questo modo è possibile avvalersi di un modello che è già stato ampiamente addestrato ed eseguire un training mirato solo su specifici aspetti della propria logica di business.
I vantaggi di sviluppare un agente con un framework proprietario sono numerosi: oltre alla riduzione dei costi e dei tempi di messa in produzione, si ha la possibilità di effettuare dei deployment specifici per tipologie di device (per esempio, per sfruttare la nuova funzionalità AI da un dispositivo mobile) e anche di usufruire di funzionalità amministrative che permettono di configurare un sistema di permessi di elaborazione e accesso.
Last but not least, l’impiego di un’intelligenza artificiale verticale offre la possibilità di abbattere i tempi di addestramento quando il modello andrà aggiornato: potrebbe essere possibile infatti evitare di ripetere il training dell’intero modello, ma solo aggiornarlo tramite le funzionalità RAG messe a disposizione dal framework. Retrieval-Augmented Generation è, infatti, un sistema che permette, tramite l’impiego di database vettoriali, di aggiornare un modello LLM utilizzando solo un subset di dati, che solitamente rappresentano nuove informazioni non disponibili al momento del training originario.
Affidarsi alla Blockchain?
Un’alternativa di cui poco si parla, ma il cui sviluppo ferve alacremente, è costituita dalle infrastrutture su Blockchain. Queste sono in grado di gestire l’elaborazione di tensori e di applicare i più diffusi algoritmi di Machine Learning e Deep Learning.
Inoltre, i gestori di tensori su blockchain offrono il vantaggio di un abbattimento dei costi, grazie a un vero e proprio consumo on demand, e semplificano la manutenzione dell’infrastruttura, richiedendo la gestione di un solo nodo che si pone come entry point da cui comunicare con l’intera libreria distribuita in modo decentralizzato.
