Nonostante il diffondersi inarrestabile e non sempre del tutto coscienzioso dei modelli linguistici di grandi dimensioni, non se ne possono dimenticare i difetti. Soffrono di allucinazioni e non sono il massimo della sicurezza, non sempre garantiscono il diritto di privacy e spesso implicano investimenti importanti. Ciò non significa che si debba rinunciare ad adottarli: l’innovazione avanza sempre per imperfetti tentativi di miglioramento a cui ciascuno è chiamato a contribuire. Sia il mondo delle imprese, sia quello della scienza e della ricerca.
Un mix di testo e codice per output più convincenti
Tolta la paura del nuovo e del diverso, o la diffidenza verso il cambiamento a priori, possono nascere spunti interessanti. Idee candidate a diventare step importanti in una trasformazione che ha tutte le caratteristiche per essere definita epocale. Un esempio è ciò che hanno annunciato gli scienziati del Politecnico di Zurigo. Sembrerebbe abbiano trovato il modo per rendere i LLM più economicamente accessibili e, potenzialmente, anche un po’ più sicuri. L’idea nasce mettendo in discussione l’uso puro di una lingua naturale come l’inglese per i prompt.
Per rendere gli LLM più programmabili ed economici, potrebbe infatti valer la pena di rinunciare a questa apprezzata comodità e puntare su un linguaggio di programmazione e un runtime chiamato LMQL, acronimo di Language Model Query Language. Si tratta di una sorta di SQL (Structured Query Language) per LLM che, integrando intelligentemente codice e testo, potrebbe semplificare l’interazione con i modelli linguistici creati per raggiungere un compito specifico. Imboccando la strada della programmazione dei modelli linguistici (LMP), secondo i ricercatori si generalizza il prompting passando da puro testo a una combinazione intuitiva di prompting testuale e scripting.
È un passaggio in più richiesto agli utenti, ma che porta diversi vantaggi. Il più importante consiste nella possibilità di specificare i vincoli sull’output del modello linguistico. Nel concreto, ciò significa minimizzare il rischio di allucinazioni e di risposte a sproposito. Una prospettiva esplorata anche da Nvidia, impegnata a “domare l’output” degli LLM con il suo progetto NeMo Guardrails.
Nel bilancio dei pro e dei contro del nuovo approccio pensato a Zurigo, va sottolineato l’impatto sugli sviluppatori, in primis, che risultano chiamati a realizzare modelli adatti a dichiarare vincoli logici per regolare l’output e a essere trasformati in “maschere di predizione a livello di token”.
Costi più bassi ma livelli di sicurezza…anche
Pur non essendo ancora in grado di garantire una prevenzione completa dei comportamenti scorretti dei LLM, il LMQL rappresenta un passo nella giusta direzione. Lo credono in molti, gli stessi che ricordano un altro problema rimasto però ancora aperto e riguardante i modelli stessi: gli input manipolativi. In particolare, il pensiero corre agli attacchi di tipo prompt injection che oggi rappresentano una piaga irrisolta nella corsa al LLM migliore.
Gli esperti dubitano fortemente che il LMQL sia in grado di mitigare completamente l’inganno dei prompt. Nonostante il team di ricercatori stia promuovendo la propria idea millantandone i vantaggi anche a livello di sicurezza, si tratterebbe di una scoperta quasi esclusivamente mirata al risparmio di denaro. Da questo punto di vista, esistono anche risultati tangibili: il LMQL riduce le query del modello e il numero di token fatturabili rispettivamente del 41% e del 31%, richiedendo esso stesso anche meno risorse computazionali. Percentuali che possono far gola agli utenti, spiegate col fatto che si sfruttano i vincoli e le richieste di script per sfrondare lo spazio di ricerca di un LM mediante mascheramento, ottenendo anche una riduzione dei costi di inferenza fino all’80%.
Sempre secondo il team di scienziati svizzero, ci sarebbero vantaggi anche per quanto riguarda le API a pagamento. Il risparmio sui costi previsto sarebbe compreso tra il 26 e l’85%, sulla base del prezzo di 0,02$/1k token del modello GPT-3 davinci.
Pur lasciando ancora spazio a miglioramenti lato security, il lavoro fatto a Zurigo può quindi rappresentare una svolta per il mondo del prompting, aprendo a nuovi interrogativi e dimostrando come, in questa avventura, ogni piccolo traguardo porta sempre nuove sfide e opportunità di evoluzione. Sia per il sistema dell’innovazione, sia per le singole realtà chiamate a competervi.
