AI spiegabile e AI interpretabile: cosa sono, quali sono le differenze e a che cosa servono? La premessa è che dal deep learning al codice più semplice, tutti gli algoritmi dovrebbero essere trasparenti. I quadri di interpretabilità e spiegazione dell’intelligenza artificiale sono finalizzati a rendere l’apprendimento automatico più comprensibile all’uomo. Dal punto di vista etico e filosofico, la possibilità di far comprendere alle persone le logiche associate all’intelligenza artificiale contribuisce anche a smussare la diffidenza nei confronti di quell’automazione che applica criteri decisionali senza sentimento.
AI interpretabile e AI spiegabile: che cosa sono
La linea di demarcazione tra la AI spiegabile e l’AI interpretabile è la User Interface (UX). Indipendentemente dal livello di esperienza degli utenti, infatti, l’interpretabilità permette di comprendere i modelli di intelligenza artificiale in modo semplice e trasparente.
L’AI spiegabile applicata ai modelli black box (ovvero quei sistemi che gli utenti finali di solito non sanno come funzionano) significa che i data scientist e gli sviluppatori possono dare una spiegazione agli utenti del perché i modelli si comportano nel modo in cui si comportano. I test sul modello black box, infatti, valutano un sistema esclusivamente dall’esterno, senza che l’operatore o il tester sappiano cosa sta accadendo all’interno del sistema per generare risposte alle azioni di test. Una black box, dunque, si riferisce a un sistema il cui comportamento deve essere osservato nel suo complesso: in entrata e in uscita. Anche se la struttura interna dell’applicazione in esame può essere compresa, il tester sceglie di ignorarla.
Dallo sviluppo black box a quello white box
Lo sviluppo della scatola nera è attualmente il metodo principale di modellizzazione del deep learning. In questo approccio, milioni di punti dati vengono immessi nell’algoritmo, che va a identificare le correlazioni tra le caratteristiche specifiche dei dati per produrre un output. Il processo all’interno della scatola è per lo più auto-governato ed è generalmente difficile da interpretare per i data scientist, i programmatori e gli utenti.
La soluzione a questi problemi relativi alla gestione della black box non è facile: è il caso della pulizia dei set di dati di allenamento. Attualmente, la maggior parte degli strumenti di intelligenza artificiale è sostenuta da reti neurali che sono difficili da decifrare. La fiducia nell’azienda e nel suo processo di formazione è un punto di partenza, ma gli esperti affermano che la vera soluzione ai modelli black box è un approccio formativo chiamato scatola di vetro o white box, proprio in virtù della sua trasparenza.
AI spiegabile e AI interpretabile: quali sono le differenze
Tra AI spiegabile e AI interpretabile la finalità degli ambiti operativi è la stessa, ovvero aiutare gli umani a capire il perché di una decisione presa da un sistema di intelligenza artificiale o di machine learning.
In un contesto tecnico, le differenze tra l’una e l’altra sono le seguenti:
- l’interpretazione dell’Intelligenza Artificiale viene applicata al processo di esame degli algoritmi basati su regole
- l’intellegibilità dell’AI viene applicata al processo di esame degli algoritmi di deep learning della black box
In un contesto funzionale le differenze tra AI spiegabile e AI interpretabile, si riferiscono:
- al modo in cui i problemi associati all’intelligenza artificiale vengono presentati a diversi tipi di utenti
- al modo in cui vengono rappresentati i componenti chiave dei diversi flussi di lavoro
Ricevere spiegazioni valide per un modello di intelligenza artificiale o di apprendimento automatico aumenta la fiducia degli utenti aziendali rispetto alla loro affidabilità. Fornire un alto grado di trasparenza relativamente all’AI e ai modelli di machine learning aiuta gli sviluppatori a difendere la validità dei loro modelli, fornendo spiegazioni utili ai decisori. Per i C-level, ad esempio, la trasparenza dei modelli di AI e di machine learning aiuta a potenziare l’adesione alle pratiche normative e al grado di responsabilità.
AI spiegabile vs AI interpretabile: esempi
Nelle discussioni tecniche, l’intelligenza artificiale interpretabile riguarda il senso dei modelli di AI trasparenti, mentre l’AI spiegabile riguarda il senso di modelli relativi alle black box.
In un classico problema di regressione dell’apprendimento automatico, ad esempio, i dati di addestramento possono consistere in molte domande legate a una richiesta di prestito finanziario gestite da un responsabile preposto alla formazione del sistema. I modelli trasparenti sono sviluppati in una forma che un umano può seguire puntualmente. Un albero decisionale rappresenta una serie di decisioni esplicite come, ad esempio: “SE total_net_worth <20.000 POI nega il prestito”.
I modelli basati sulle black box più complessi possono includere un’analisi statistica delle parole associate all’accettazione del prestito. Ad esempio, le parole positive potrebbero apparire come {“ricchezza familiare”: 0,9462, “espansione”: 0,84716 …} e le parole negative potrebbero apparire come {“fallimento”: -0,89817 “,” default “:” -0,85617}. Dopo che il modello è stato addestrato, una persona potrebbe guardare quell’elenco di parole e interpretare ciò che il sistema sta cercando e quanto sta ponderando rispetto a quelle parole quando si valuta l’erogazione di un prestito.
Questa interpretazione viene in genere eseguita come un processo separato, dal momento che il modello sottostante non è interpretabile. L’essere umano, invece, crea un secondo modello che punta a determinare e spiegare cosa sta facendo il modello reale. Se il processo di concessione / rifiuto del prestito fosse modellato con il deep learning (il che non è di per sé intellegibile), questo modello secondario considererebbe che fattori come il patrimonio netto di una persona e la dimensione del prestito sono elementi importanti nel decidere o meno la concessione di un prestito.
L’AI dal punto di vista della user interface
La differenza tra AI spiegabile e AI interpretabile cambia se si considera la prospettiva della UX (User eXperience) rispetto ai diversi flussi di lavoro.
- L’interpretabilità si concentra sulla rappresentazione
- La spiegabilità si riferisce a una serie più ampia di considerazioni che rendono un sistema di intelligenza artificiale altamente comprensibile agli utenti umani
In che cosa consiste l’interpretazione dell’AI
L’obiettivo dell’interpretazione è tradurre le conoscenze utilizzate da un sistema di intelligenza artificiale in una rappresentazione direttamente chiara e trasparente agli utenti. Ad esempio, le regole if-then e le regole bayesiane sono interpretabili come umane e possono spiegare il motivo per cui una decisione viene presa da un agente di AI.
Due esempi di rappresentazioni interpretabili sono gli alberi decisionali che mostrano la logica di un’intelligenza artificiale e tutte le rappresentazione che mostrano come il comportamento di un’AI possa variare in base agli elementi contestuali di una certa attività. Quando gli alberi decisionali vengono utilizzati come rappresentazione interpretabile, le persone possono seguire e tenere traccia della logica utilizzata per l’alberatura e e quindi comprendere meglio cosa farà un’AI in varie situazioni.
In che cosa consiste la spiegabilità dell’AI
La spiegabilità descrive il processo che rende le interpretazioni accessibili agli utenti. Gli approcci di auto-spiegazione possono interagire con gli utenti al fine di determinare quali informazioni siano necessarie per soddisfare le esigenze di informazione degli utenti finali.
Le informazioni esplicative sono in genere presentate nel contesto di una finestra di dialogo interattiva e sono selezionate per rispondere alle domande degli utenti. Ad esempio, in risposta a un utente che chiede “Quali opzioni hai preso in considerazione?” e “Perché hai scelto questo?” un sistema auto-esplicativo potrebbe presentare percorsi di azione alternativi che sono stati considerati nell’esecuzione dell’attività e quindi confrontare i relativi vantaggi e svantaggi.
Diversi tipi di utenti dell’AI: gli sviluppatori
Le differenze tra AI spiegabile e AI interpretabile possono essere importanti per gli sviluppatori che personalizzano il modo in cui le applicazioni AI sono configurate per interagire con diversi tipi di utenti.
- La spiegabilità è la misura decisionale di un esperto che capisce tutte le parti di un sistema. L’obiettivo della spiegabilità è una comprensione così profonda che l’esperto può costruirla, mantenerla e persino eseguirne il debug oltreché utilizzarla.
- L’interpretabilità misura il modo in cui qualsiasi utente, specialmente un non esperto, sarà in grado di capire cosa il sistema stia facendo e perché, sia nel complesso che in un caso particolare. Ciò che l’utente capisce potrebbe essere tutt’altro che perfetto, ma quando il sistema non ha senso l’utente deve essere in grado di intervenire per modificare il risultato.
Aprire la black box
Quando i data scientist scelgono tra diversi algoritmi, le argomentazioni sull’AI spiegabile o l’AI interpretabile sono importanti.
- I modelli trasparenti sono migliori dal punto di vista dello sviluppo, della distribuzione e della privacy
- i modelli black box hanno prestazioni migliori e funzionano meglio quando si tratta di traduzione automatica, sintesi vocale o la robotica.
Secondo gli esperti, a parità di prestazioni i vantaggi dell’approccio trasparente risultano sempre vincenti. Non solo è più facile ispezionare questo tipo di approcci per confermare che stanno acquisendo caratteristiche sensibili. Essere in grado di rispondere a domande come “Perché il modello ha preso questa decisione particolare?” è sempre una buona pratica per la credibilità a un sistema automatico.
Anche se il deep learning ha avuto successo in molti contesti diversi, alcuni esperti ritengono che gli sviluppatori debbano evitare di applicarlo ad ogni problema. Il motivo è che questo approccio può comportare varie conseguenze negative per gli utenti del sistema quando le persone non capiscono perché un sistema di intelligenza artificiale prende le decisioni che prende.
Dato che metodi più trasparenti continuano progredire e a migliorare, si arriverà a un punto in cui il deep learning riuscirà a risolvere anche quei problemi in cui gli esseri umani prendono decisioni consapevoli come, ad esempio, assumere, concedere prestiti o determinare lo status delle parole.
L’AI esplicabile secondo la Commissione Europea
Nell’ambito del piano per promuovere un approccio europeo all’Intelligenza Artificiale, la Commissione Europea (alla quale si sono unite anche Norvegia e Svizzera) ha selezionato, nell’aprile 2018, un gruppo di 52 esperti a livello internazionale (High-Level Expert Group on Artificial Intelligence – AI HLEG) che possano supportare la Commissione stessa nell’implementazione di una strategia europea condivisa sull’intelligenza artificiale. Nel marzo 2019, il documento, Ethics Guidelines for Trustworthy AI , è stato approvato dalla Commissione Europea e uno dei 5 principi chiave è proprio il
- principio di esplicabilità di un algoritmo AI: il criterio decisionale di un sistema di intelligenza artificiale deve poter essere controllabile, quindi deve essere comprensibile e intellegibile per gli esseri umani. Con il termine “esplicabilità”, gli esperti intendono sintetizzare i concetti di “intelligibilità” (che risponde alla domanda “come funziona?”) e di “responsabilità” (“chi è responsabile del modo in cui funziona?”).
Per completezza riportiamo anche gli altri 4 principi:
- principio di beneficenza: scopo di un sistema di intelligenza artificiale deve essere quello di aumentare il benessere umano individuale e collettivo;
- principio di non maleficenza: strettamente correlato al primo è il principio che un sistema di AI non deve fare del male all’uomo, sia in senso fisico sia per quanto riguarda la dignità, la libertà, la privacy e in generale la sicurezza degli esseri umani (come si vede nell’intervista a Floridi si tratta di uno dei principi più critici);
- principio di autonomia: il senso di questo principio è che l’essere umano non può essere subordinato o sopraffatto da un sistema di intelligenza artificiale; è infatti fondamentale che venga rispettato il principio di auto-determinazione dell’uomo;
- principio di giustizia: evitare discriminazioni o pregiudizi, eliminando bias (termine che nel linguaggio scientifico indica tendenza, inclinazione, distorsione e in psicologia assume, semplificando, quello di pregiudizio) ed errori, assicurando un trattamento paritario degli esseri umani.
