Da “uno dei tanti avatar empatici” al “primo avatar che sa interagire tramite la lingua dei segni”. Ne ha fatta di strada, quello di QuestIT, e la sua mission ora è segnata nitidamente, e può procedere spedita fino alla cima. Lo scopo che guida il team è ridisegnare il concetto di inclusività, integrandolo con la tecnologia, e basandolo soprattutto sull’intelligenza artificiale.
“Avevamo già tra le mani un avatar in grado di analizzare e utilizzare il linguaggio anche non verbale, per essere più empatico. Abbiamo deciso di trasformarlo in uno strumento per erogare alcuni servizi anche alle persone non udenti. La tecnologia giusta, era già nelle nostre mani, ora l’abbiamo indirizzata verso questo obiettivo e ci si lavora con uno spirito diverso” spiega il CEO di questo spin-off dell’Università di Siena, Ernesto Di Iorio.
Entro fine anno sarà ufficialmente presentato al mercato il nuovo “avatar inclusivo”, rivolto agli uffici della PA e alle banche. Chi, nell’erogazione dei propri servizi, desidera avere tra le lingue del sito o in un totem multimediale fisico, anche quella dei segni, può facilmente inserirla senza sconvolgere né il team IT, né il resto del personale. “Basta integrare un java script e formare l’avatar con un conversation designer, dedicandogli circa due settimane. Come fosse un qualsiasi altro collega nuovo, bisogna inizialmente indicargli cosa deve rispondere, quando e a chi” spiega Di Iorio.
La nascita dell’avatar inclusivo
Per gli utenti della soluzione di QuestIT, è diventato quasi banale mostrarsi inclusivi, non lo è stato per il team che l’ha creata. Il primo passo è stato stringere collaborazioni mirate con enti che conoscessero la lingua dei segni e la cultura delle persone sorde. Saliti a bordo il Fab Lab dell’Università di Siena, il LaCAM del Cnr e il Gruppo per lo studio e l’informazione della Lingua dei Segni Italiana e della comunità sorda, il team di lavoro era completo. “Serviva da subito inserirvi delle persone non udenti, in grado di dare un feedback sulle proprie esigenze e sul livello di maturità raggiunto man mano dal mix delle nostre tecnologie” precisa Di Iorio.
Le attenzioni si sono poi concentrate sull’avatar, perché diventasse in grado di comprendere la lingua dei segni, e di segnare a sua volta. Nulla da aggiungere, tecnologicamente parlando, ma tanto training da fare, perché un gesticolare generalista dell’avatar, si trasformasse in una successione di segni, nuovi elementi conversazionali.
La sfida del training con pochi dati sparsi
Di Iorio racconta che “per il training abbiamo acquisito o creato apposta video con i componenti base di una frase. Poi il nostro modello di machine learning ha identificato quali animazioni dell’avatar replicavano un certo segno. Gli abbiamo insegnato a segnare”.
Per farlo è stato però necessario costruire da zero un dataset di almeno 30.000 video di un minuto. Alcuni li si è presi on line, dai Tg LIS per esempio, ma la maggior parte è stata creata dalla parte di team in grado di farlo.
“Questo lavoro è durato quasi un anno. Abbiamo dovuto iniziare da capo perché in Italia non esisteva già un database organizzato, solo video sparsi, o con informazioni incomplete, non uniformi e non integrabili” spiega Di Iorio, consapevole del lavoro che lo aspetta per addestrare l’avatar e adattarlo ad altre tipologie di utenza diversi da banche e comuni.
La criticità del dataset si è riversata su tutta la fase di training, soprattutto nella parte di comprensione del segno. “Accade in ogni tipologia di traduzione tra lingue, è sempre la parte più complessa, ma solitamente posso contare su un più dati e di migliore qualità. Stavolta ci siamo arrangiati con tecnologie sviluppate in casa, per tagliare e sistemare quei pochi che avevamo a disposizione” ricorda Di Iorio.
L’avatar supera i confini e vuole abbracciare i ciechi
Se ora l’avatar funziona davvero, lo confermerà il Gruppo per lo studio e l’informazione della Lingua dei Segni Italiana e della comunità sorda che lo sta testando in questi mesi. Per il resto è pronto per essere installato e includere nei servizi digitali una nuova fetta di popolazione che comunica solo attraverso la LIS italiana. Serve un “copia e incolla” dei developer e due settimane di “personalizzazione” con conversation designer QuestIT che conosce LIS e interagisce col team del futuro utente.
Questa manciata di giorni serve per insegnare all’avatar le specifiche informazioni da fornire, come quando si accoglie un qualsiasi altro nuovo collega. Dalle informazioni su un bonifico a un servizio qualsiasi erogato dall’anagrafe. Nei prossimi mesi, QuestIT vuole internazionalizzare il proprio servizio, partendo dall’inglese, per cui sa di poter contare su un dataset LIS esistente, visto che per realizzare un avatar UK servirebbe rifare il training, insegnandogli la LIS inglese.
Per allargare la platea di beneficiari, l’idea è anche quella di includere altri campi di competenza. Dopo banche e PA, dei possibili ambiti interessati potrebbero essere quello della sanità e del commercio elettronico, soprattutto dopo la pandemia. Anche per questo obiettivo, il training e il dataset vanno fatti da capo, cambiando lessico, ambito e tipo di servizi su cui fornire informazioni. L’obiettivo finale è quello di rendere generalista la conoscenza dell’avatar, perché sappia rispondere sempre e sia pronto ad affrontare anche le situazioni più improbabili. Ciò permetterebbe di impiegarlo ovunque, anche in un customer service, per esempio, dove la casistica di interazioni è ampia e imprevedibile.
Negli obiettivi del 2023, c’è anche l’estensione del servizio alla platea di persone cieche o ipovedenti. Di Iorio chiarisce: “Non abbiamo dimenticato la nostra mission di inclusività. In questo caso, però, il lavoro sulla tecnologia sarà totalmente diverso: dobbiamo studiare come rendere la nostra soluzione touchless. Oggi siamo low touch, perché per iniziare una conversazione, serve trovare e premere un bottone. Ciò significa una nuova sfida per il nostro team, ma anche altre persone che potranno usufruire di servizi più agevolmente”.
