Se nel 2019 l’Explainable AI (XAI) aveva già ampiamente conquistato il peak of inflated expectation dell’Hype Cycle di Gartner dedicato all’intelligenza artificiale, con un tempo previsto per il raggiungimento del plateau della produttività di circa 5-10 anni, nel 2020 la ritroviamo nell’edizione dedicata alle 30 migliori tecnologie in assoluto, quelle che nel prossimo decennio saranno più impattanti a livello globale.
Si tratta d’altronde di rendere comprensibile una innovazione che si sta diffondendo a grande velocità e in modo pervasivo in ogni settore permettendole di conquistarsi una crescente fiducia per poi sprigionare tutto il suo potere. Quello di affiancare l’uomo alleviandolo dai compiti più noiosi o faticosi e lunghi, migliorandone le performance in quelle attività in cui una macchina può fare di più e meglio.
Per chi segue da tempo il farsi strada dell’intelligenza artificiale nel mondo non sarà sorprendente vedere l’Explainable AI proiettata verso la fase di piena produttività nell’Hype Cycle di Gartner. Già nel 2017 infatti tale concetto aveva iniziato a emergere quando Google aveva annunciato la sua strategia “AI-first”, seguita due anni dopo da un nuovo set di strumenti XAI per gli sviluppatori. Un evento propulsivo in favore dell’XAI spinta anche dall’entrata in vigore, nel maggio 2018, del Regolamento generale sulla Protezione dei Dati (GDPR) che precisa come le persone fisiche abbiano il diritto di non essere sottoposte a iter decisionali basati esclusivamente su processi automatizzati e stabilisce che i criteri per giungere a tali decisioni devono essere resi noti al fine di garantire il diritto di contestazione (art.22 – par. 3).
Explainable AI: che cos’è e quando serve
Con il termine Explainable AI, un neologismo utilizzato nella ricerca e nelle argomentazioni sull’apprendimento automatico dal 2004, ci si riferisce al principio di rendere il funzionamento di un’intelligenza artificiale e i suoi risultati comprensibili a un maggior numero di utenti possibile, non solo a quelli diretti ed esperti ma a tutti gli stakeholder, soprattutto a coloro che prendono decisioni e che prima di riporre la propria fiducia nel’AI pretendono di capire come funziona e come valutare i risultati da essa ottenuti.
La trasparenza è fondamentale per l’accettazione dell’intelligenza artificiale e l’obiettivo della XAI è quello di generare modelli spiegabili senza dover fare a meno delle elevate prestazioni di apprendimento permettendo agli utenti di oggi e di domani di relazionarsi con essi in modo chiaro ed efficiente
Interoperability e Explainability
Esistono tante diverse interpretazioni del concetto di intelligenza artificiale spiegabile ben rappresentate dai principi su cui stanno avanzando le ricerche su questo settore che sono:
- Understandability
- Comprehensibility
- Interpretability
- Explainability
- Transparency
Su due di essi in particolare – Interpretability e Explainability – si soffermano particolarmente gli studiosi interrogandosi su cosa rende davvero spiegabile un sistema di intelligenza artificiale. Tale percorso può essere affrontato agendo su due livelli e partendo dall’interpretabilità intesa come la possibilità di mettere in relazione causale i dati in ingresso con quelli in uscita spiegando perché un modello ha compiuto una certa scelta o ha fornito una determinata previsione. Con il secondo step si passa dal “what” al “why” mirando all’Explainability ovvero alla possibilità di fornire una spiegazione accessibile a tutti di come un sistema di AI sia arrivato ad una determinata scelta o previsione. Giunti a questo livello di “human style interpretations” si può distinguere tra comprensibilità “globale”, quando si comprendere come le variabili impattano su risultati forniti dal modello in relazione all’intero insieme di dati di addestramento, oppure “locale” se la spiegazione è valida solo per uno specifico output.
Explainable AI, ma per chi?
L’interpretabilità è sicuramente una condizione necessaria ma non sufficiente per ottenere la “spiegabilità” perché passare dalla generazione di una rappresentazione di un processo decisionale a una spiegazione utile non è un processo immediato, il risultato può dipendere da molti diversi fattori.
Nell’orientarsi nel contesto complicato dell’evoluzione dei sistemi di AI e della loro comprensibilità è opportuno soffermarsi a riflettere sui diversi livelli di trasparenza richiesta e sui destinatari della spiegazione che si vuole ottenere.
I fattori critici da considerare per delineare un piano strategico di Explainable AI sono
- impatto economico delle scelte decisionali e l’utilità della comprensione della decisione nel contesto ipotizzato
- frequenza dell’utilizzo del modello decisionale, quindi il numero delle decisioni ad esempio mensili che l’applicazione di AI deve prendere
- affidabilità del modello decisionale in termini di robustezza e di accuratezza della previsione/decisione oltre che di capacità di generalizzare bene rispetto ai dati sconosciuti.
- conformità del modello decisionale rispetto a leggi e regolamenti del settore di impiego
- reputazione/credibilità del modello decisionale e l’impatto che dei risultati non corretti potrebbero potenzialmente avere sul business e sugli stakeholders
Explainable AI e la ricerca di un compromesso
Ottenere ogni volta dei sistemi di Explainable AI che rispondano alle esigenze di singoli casi d’uso non è affatto banale e gli esperti e gli sviluppatori che ci lavorano sono giunti alla conclusione che l’interpretabilità di un modello sia tendenzialmente una caratteristica frutto di un compromesso. Più è complesso, più è preciso, meno è spiegabile. Più che dalle dimensioni del modello dipende dagli algoritmi di apprendimento automatico utilizzati, ciò risulta evidente dal semplice confronto ad esempio tra Deep Neural Network (DNN) e Decision Tree: se le prime privilegiano la performance rispetto alla trasparenza con i secondi al contrario si premia l’explainability rispetto all’efficacia.
Le DNN sono composte da “neuroni” simulati altamente interconnessi che accettano input, applicano coefficienti di ponderazione e danno un output ad altri “neuroni” in un processo multi-layer che prosegue fino all’output finale. Proprio come gli alberi decisionali possono modellare i dati che hanno relazioni non lineari tra le variabili e gestire le interazioni tra le variabili ma esistono delle differenze tra i due approcci, la principale è proprio il grado di comprensibilità del modello creato. Se con i Decision Tree è semplice vedere come qualche variabile iniziale divida i dati in due categorie e poi altre variabili dividano man mano i gruppi figli risultanti, con le reti neurali ci si trova di fronte ad una “scatola nera” che fornisce risultati senza una spiegazione di come essi siano stati derivati.
Explainable AI: metodi per investigare le black box
Negli studi di ricerca sull’XAI le principali difficoltà dipendono dal fatto che finora la maggior parte degli algoritmi non è stata progettata per essere explainable-by-design, quindi non si è tenuto conto delle caratteristiche di explainability e transparency già nella fase iniziale di concezione del modello. C’è quindi da effettuare un processo a ritroso sperimentando i metodi e approcci differenti e più o meno adatti a seconda delle circostanze.
Di fronte ad una black box si possono utilizzare tecniche di Model Explanation, agnostiche e generali, di Outcome Explanation, relative alla singola istanza, oppure di Model Inspection, per ottenere una rappresentazione (visiva o testuale) del funzionamento. Sensitivity Analysis, LIME (Local Interpretable Model) e SHAP sono le tecniche agnostiche più comuni e utilizzate e si basano tutte sull’osservazione di ciò che accade alle uscite del modello modificandone gli ingressi, un approccio semplice ma che va a scapito della explainability.
Ecco su che principi si basano:
- Sensitivity Analysis: perturbando più volte i dati in ingresso si verificano man mano le variazioni dell’output del modello arrivando a costruire una rappresentazione grafica del suo funzionamento rispetto a specifiche feature. C’è un limite: non si riescono a indagare le interazioni tra feature diverse del modello.
- LIME: basato sulla perturbazione del modello, come la precedente tecnica, ne supera il limite effettuandola in modalità multi-feature e quindi focalizzandosi su una specifica predizione
- SHAP: ispirata alla teoria dei giochi collaborativi, misura quanto ogni feature del modello contribuisce ad un determinato output in modo da riuscire a identificare la feature più importante per un certo output.
Il lato etico e legale dell’Explainable AI
Preso atto che la spiegabilità è diventata un must-have ormai non più messo in discussione, si aprono altre problematiche attorno all’XAI e alla sua adozione. Con il suo diffondersi, ad esempio, la trasparenza dei modelli di intelligenza artificiale potrebbe diventare un obbligo legale, fiscale o etico ponendoci di fronte a delle scelte che possono risultare fortemente penalizzanti e limitanti come anche palesemente a vantaggio di certi settori o applicazioni rispetto ad altri.
La necessità di una Explainable AI è comunque percepita dalla comunità non solo scientifica, come testimonia il diritto sociale alla trasparenza e alla spiegazione degli algoritmi, riconosciuto in maniera esplicita dall’Unione Europea nel General Data Protection Right (GDPR), e la consapevolezza che tale tecnologia potrebbe risultare decisiva nell’eliminazione o nella riduzione dei “bias” che affliggono attualmente molti modelli di AI. Comprendendo come decidono, si potrebbero limitare i pregiudizi di genere, di razza o di altro tipo che ad oggi “assorbono” imparando dal mondo in cui vengono addestrati.
Explainable AI: campi di applicazione
Se in alcuni casi l’interesse a capire come l’intelligenza artificiale agisce potrebbe ridursi ad una semplice curiosità, in altri invece è una esigenza stringente.
In medicina, ad esempio, non basta prevedere che un paziente ha una certa probabilità di sviluppare una malattia, servirebbe sapere il motivo anche per prevenire futuri casi. Nella selezione del personale comprendere il perché un candidato è stato scartato è un aspetto importante sia per l’azienda che per la persona stessa. Nella finanza similmente è l’AI che a volte decide se concedere o meno un prestito ad un’azienda o a un privato che pretenderanno di conoscere le ragione della scelta e sarebbe eticamente corretto potergliela fornire.
Senza abbassare la qualità rispetto ai modelli attualmente in uso, la sfida dell’Expainable AI resta quella di svilupparne di più trasparenti e quindi più meritevoli di fiducia. Ci sta lavorando da anni anche la DARPA, l’agenzia governativa del Dipartimento della Difesa degli Stati Uniti, attraverso un programma dedicato alla XAI per la ricerca di nuovi sistemi di machine learning in grado di spiegare le loro motivazioni, caratterizzarne i punti di forza e di debolezza e trasmettere la comprensione di come si comporteranno in futuro. Non è la sola, sono in corsa anche numerose grandi compagnie come IBM, Accenture e Microsoft, assieme a diverse startup, e ci sono anche dei contributi dall’Italia come quello del Knowledge Discovery and Data Mining Laboratory (KDD Lab), gruppo di ricerca congiunto tra l’ISTI del CNR e il Dipartimento di Informatica dell’Università di Pisa. Finanziato dalla Commissione Europea, questo progetto è composto da tre linee di ricerca: la creazione di un framework “local-to-global” per spiegare ciò che avviene in una scatola nera AI, lo sviluppo di modelli per spiegazioni causali, indagando sia le relazioni tra variabili e decisioni sia la generazione di dati in reti di deep learning, e la realizzazione di un sistema di valutazione di metodi di XAI con la possibilità di verificare la loro conformità con gli standard legali, GDPR in primis.
