Gli algoritmi di apprendimento automatico , la tecnologia che alimenta l'intelligenza artificiale, sono avanzati rapidamente negli ultimi decenni. Oggi, gli algoritmi di deep learning alimentano il software di riconoscimento facciale e consentono a chiunque di creare foto e video deepfake realistici in pochi minuti.
Gli algoritmi di intelligenza artificiale sono sempre più utilizzati anche da aziende e istituzioni, dalla creazione di assistenti vocali intelligenti alla generazione di traduzioni linguistiche automatiche. Ma insieme alla crescente adozione dell'IA c'è il problema che i modelli di intelligenza artificiale non sono ben compresi: la maggior parte delle volte, le persone non sanno perché i modelli di intelligenza artificiale prendono determinate determinazioni. E non è solo la persona media per strada a non capire, anche i ricercatori e i programmatori che li creano non capiscono davvero perché i modelli che hanno costruito prendono le decisioni che prendono.
"Se non riesci a descrivere adeguatamente cosa sta facendo il tuo algoritmo, è problematico", ha affermato Bryan Routledge, professore associato di finanza presso la Carnegie Mellon University.
Non essere ben compreso dal proprio creatore è uno strano fenomeno dell'intelligenza artificiale, ma è anche la ragione del suo potere e del suo successo: utilizzando i metodi dell'intelligenza artificiale, le persone possono creare qualcosa che è autodidatta e in grado di eseguire determinati calcoli oltre le capacità delle persone.
"Se non riesci a descrivere adeguatamente cosa sta facendo il tuo algoritmo, è problematico."
Questo fenomeno ha creato un divario crescente tra ciò che siamo in grado di fare con le tecniche di intelligenza artificiale e la nostra capacità come esseri umani di comprendere la tecnologia che utilizziamo, ed è parte del motivo per cui alcuni hanno chiesto un "diritto alla spiegazione" quando si tratta di l'uso dell'IA.
Routledge e il coautore Tae Wan Kim hanno recentemente pubblicato un'analisi sul diritto alla spiegazione, concludendo che il pubblico ha il diritto etico di sapere come prendono le decisioni i modelli di intelligenza artificiale delle aziende. Hanno ragionato sul fatto che i consumatori dovrebbero essere in grado di chiedere spiegazioni per specifiche decisioni di intelligenza artificiale che sembrano distorte e anche di apprendere come tali modelli prendono decisioni in modo che possano fare scelte informate su quali aziende affidare la propria attività.
Routledge ha affermato che i modelli di intelligenza artificiale dovrebbero essere mantenuti a uno standard simile a quello della medicina, un altro campo complesso che prende decisioni importanti sulle persone, ma le cui decisioni sono supportate da spiegazioni. "Essere in grado di spiegare le cose in modo che i pazienti siano informati fa parte di ciò che significa essere un medico", ha detto. “La medicina si occupa di questo da molto tempo, quindi è abbastanza naturale. Quando c'è un nuovo trattamento, parte di ciò a cui pensano è: 'Come lo comunicheremo correttamente ai pazienti in modo che possano essere informati quando scelgono sì o no?'”
Le spiegazioni sono importanti quando gli umani non possono verificare il lavoro dell'IA
Non tutti i casi d'uso dell'IA hanno ugualmente bisogno di spiegazioni, ha affermato Rayid Ghani, professore di machine learning alla Carnegie Mellon University. Ad esempio, di solito è facile dire se un programma di riconoscimento delle immagini ha etichettato in modo errato le cose, come se un'immagine etichettata come "cane" raffigurasse effettivamente un gatto. E alcuni casi d'uso non sono abbastanza consequenziali da richiedere spiegazioni. "Se stai mostrando a qualcuno un annuncio, non mi interessa davvero se hai una grande spiegazione o no", ha detto. "Il costo per me di vedere un annuncio buono o cattivo, c'è pochissima differenza - non mi interessa, non voglio vedere alcun annuncio."
Ghani ha affermato che la tecnologia AI viene utilizzata per svolgere due categorie di compiti: o compiti che gli umani sono bravi a fare ma fanno lentamente, o compiti che gli umani non sono in grado di svolgere. Ad esempio, gli esseri umani sono bravi a riconoscere ed etichettare le immagini. Anche i modelli di intelligenza artificiale possono essere addestrati a farlo, non necessariamente meglio degli umani, ma molto, molto più velocemente.
D'altra parte, i modelli di intelligenza artificiale possono essere utilizzati anche per aiutare a fare previsioni, qualcosa che le persone non fanno bene. "Chi sarà coinvolto in una sparatoria, o chi non si diplomerà al liceo in tempo, o chi sarà disoccupato a lungo termine - gli umani non sono molto bravi a questo problema", ha detto Ghani.
Capire come i modelli di intelligenza artificiale prendono le loro decisioni è particolarmente importante per quei tipi di casi d'uso predittivi perché gli esseri umani non sono in grado di verificare se il modello funziona correttamente. A differenza della categorizzazione delle immagini, in cui gli umani possono semplicemente guardare le immagini per verificare se sono state etichettate correttamente, l'IA predittiva fornisce risultati che gli umani non possono verificare da soli.
"In un certo senso ti aiuta a capire come separare le previsioni corrette dalle previsioni errate".
“Quindi, quando una spiegazione arriva dal sistema, non sappiamo davvero se sia corretta o meno perché non abbiamo quella comprensione. Se lo facessimo, non avremmo bisogno di un computer per aiutarci a risolvere quel problema", ha detto Ghani. "Perché non stiamo cercando di essere efficienti, stiamo cercando di essere migliori degli umani". Ghani ha accolto con favore l'idea di un diritto alla spiegazione, anticipando molti benefici una volta che sarà possibile spiegare le decisioni prese dai modelli di intelligenza artificiale. Le spiegazioni potrebbero aiutare le persone a capire come modificare il proprio comportamento per ottenere risultati migliori e rilevare se i modelli trarranno conclusioni basate su ragionamenti errati.
Ghani ha fornito l'esempio di un ipotetico modello di intelligenza artificiale medica che prevede i risultati dei pazienti. Se le spiegazioni del modello rivelassero che un fattore significativo alla base del suo processo decisionale fosse basato sul giorno della settimana in cui i pazienti vengono ricoverati, le persone saprebbero di essere sospettose dell'accuratezza del modello - o l'ospedale saprebbe di indagare su questo modello inaccettabile in prognosi del paziente. "In un certo senso ti aiuta a capire come separare le previsioni corrette dalle previsioni errate", ha detto Ghani. "Ti aiuta a controllare la sanità mentale."
Forse, cosa ancora più importante, le spiegazioni potrebbero essere in grado di soddisfare quella parte di noi che è giustamente sospettosa quando viene chiesto di fidarsi di cose che non capiamo e di rispondere alle nostre numerose domande: perché il modello di intelligenza artificiale ha fatto quella particolare previsione? Il modello di intelligenza artificiale sta effettivamente rispondendo alla domanda che ci poniamo nel modo che ci aspettiamo? È affidabile?
Cosa intendiamo per "spiegazione"?
Come siamo arrivati qui, dove anche gli esperti che creano modelli di intelligenza artificiale non capiscono come quei modelli stanno prendendo decisioni? Il modo in cui funziona l'apprendimento automatico è che utilizza molti dati per perfezionare i modelli. Il data scientist prende un algoritmo di intelligenza artificiale, lo punta verso un risultato desiderato e sostanzialmente lascia che l'algoritmo venga eseguito da solo utilizzando alcuni valori casuali iniziali e una montagna di dati di test. Alla fine, l'algoritmo rifinirà il modello in qualcosa che possa ottenere il risultato desiderato. Gli algoritmi di intelligenza artificiale sfruttano le capacità dei computer per eseguire calcoli e calcoli a grande velocità.
Ma il risultato di questo tipo di risoluzione dei problemi è che le interazioni nel modello costruito assorbendo così tanti dati sono troppe perché una persona possa avvolgere le proprie menti. Questo è ciò che rende molti modelli di intelligenza artificiale scatole nere, difficili o impossibili da capire.
Poiché il modo in cui funzionano i modelli di intelligenza artificiale è così specifico e basato sulla matematica, mentre approfondisci l'argomento dell'IA spiegabile, alla fine ti imbatti nella domanda fondamentale su cosa significhino davvero idee di base come "spiegazione" e "comprensione".
“Chi decide se qualcosa è spiegabile? Se ti ho dato una spiegazione, è una buona spiegazione o una cattiva?"
Può sembrare uno sciocco dibattito sulla semantica, ma il modo in cui questi concetti sono definiti potrebbe avere un impatto reale sulle decisioni aziendali e normative se si verificasse il diritto alla spiegazione. Questo perché una buona regolamentazione richiede innanzitutto definizioni precise e accurate.
"'Spiegabile' e 'preciso' - in un certo senso, entrambi sono concetti ambigui", ha detto Ghani. “Chi decide se qualcosa è spiegabile? Se ti ho dato una spiegazione, è una buona spiegazione o una cattiva? Cosa significa essere buoni? Cosa significa essere cattivi?" C'è un modo per definire la "spiegazione" che è abbastanza semplice, ma non soddisfa la nostra ricerca umana di comprensione: basta seguire i dati mentre fluiscono attraverso le funzioni matematiche del modello, tracciando tutti i percorsi fino a quando non diventano finalmente l'output del modello.
Questa definizione è radicata nell'idea che gli algoritmi sono come le macchine: l'unico modo puro per "capirne" uno è seguire il meccanismo della macchina. “Perché” è una domanda umana che non si applica alle macchine. Non chiederesti mai a un'auto "perché" - la vera domanda è "come". La stessa logica dovrebbe essere applicata agli algoritmi, sostiene Zachary Lipton, che gestisce l' Approximately Correct Machine Intelligence Lab presso la Carnegie Mellon University.
"Una domanda che potresti fare è: 'Mi spieghi come i modelli sono arrivati alla risposta?'", ha detto Lipton. "E la risposta è: non esiste una risposta specifica oltre ai pesi del modello". Tuttavia, ciò potrebbe fornire una certa comprensione per modelli molto semplici. Ma i modelli di intelligenza artificiale creati da algoritmi come il deep learning possono facilmente acquisire dati con migliaia di attributi. È possibile tracciare gli input attraverso quei modelli, ma non fornirebbe una comprensione approfondita di come il modello arriva alle sue conclusioni, principalmente a causa dei limiti umani.
"Una rete neurale profonda che è stata addestrata sulle immagini prende ogni singolo input possibile in uno spazio di 400.000 dimensioni", ha detto Lipton. "La mappatura completa non è qualcosa che puoi metterti in testa."
Chi è il pubblico che riceve una spiegazione può anche influenzare il modo in cui dovrebbero essere definite le spiegazioni perché le persone hanno diversi livelli di comprensione quando si tratta di concetti di intelligenza artificiale. Spiegare un modello a un ricercatore di intelligenza artificiale può essere molto diverso dallo spiegarlo a un laico, un decisore politico o un uomo d'affari. “Una rete neurale profonda che è stata addestrata sulle immagini prende ogni singolo input possibile in uno spazio di 400.000 dimensioni. La mappatura completa non è qualcosa che puoi metterti in testa".
Quando si approfondisce, è difficile definire esattamente cosa significhi rendere l'intelligenza artificiale spiegabile. Le persone sono abituate a ricevere spiegazioni da altre persone, ad esempio quando qualcuno fornisce il ragionamento alla base di una decisione presa o di un'azione intrapresa. Ma come facciamo a sapere che le ragioni che danno sono un resoconto accurato delle loro vere motivazioni? Come sappiamo che la loro è una spiegazione completa?
Quando le persone intraprendono azioni e prendono decisioni, non attingono solo dalla pura logica, ma anche dall'esperienza personale, dalla conoscenza, dalle emozioni e dalle loro personalità. La maggior parte delle volte, la spiegazione di qualcuno è probabilmente più un'approssimazione, lo strato più alto di un miscuglio di fattori subconsci. Forse non conoscono nemmeno la vera motivazione dietro il loro comportamento. Anche i modelli di intelligenza artificiale costruiti utilizzando algoritmi di apprendimento profondo e grandi quantità di dati assumono una forma ristretta di questa complessità, principalmente in termini di esperienza e conoscenza.
Quindi quale livello di spiegazione vogliamo? Forse quello che le persone vogliono è che il modo in cui i modelli di intelligenza artificiale prendono effettivamente le decisioni sia approssimato e semplificato abbastanza da poter avvolgere le nostre menti intorno all'intero processo tutto in una volta. Ma è possibile averlo e chiamarlo ancora una spiegazione?
La (discutibile) promessa di un'IA spiegabile
Esiste già un campo di studio noto come AI spiegabile . I suoi ricercatori utilizzano tecniche matematiche per esaminare i modelli nei modelli di intelligenza artificiale e trarre conclusioni su come tali modelli raggiungono le loro decisioni. Molte tecniche di intelligenza artificiale spiegabili sono tecniche "generali", pensate per essere applicabili per spiegare qualsiasi tipo di modello di apprendimento automatico.
Ma Lipton ritiene che l'attuale campo dell'IA spiegabile sia disseminato di false promesse. Ha affermato che i vantaggi dell'applicazione di tecniche di intelligenza artificiale spiegabili a qualsiasi tipo di modello di intelligenza artificiale, il che rende queste tecniche avvincenti, le rendono anche incapaci di spiegare qualcosa di significativo. Alcune tecniche di intelligenza artificiale spiegabili per etichettare le immagini, ad esempio, oscurano le sezioni di un'immagine alla volta. Quindi eseguono le immagini modificate attraverso il modello AI originale per vedere quali differenze ha il nuovo output dall'originale.
Ma Lipton ha ipotizzato che oscurare parti delle immagini potrebbe renderle così diverse dalle immagini naturali da influenzare i risultati dei modelli oltre ciò che i ricercatori potrebbero aspettarsi. Sebbene i metodi di intelligenza artificiale spiegabili utilizzino la matematica per ottenere i loro risultati, ha affermato, non è stato ancora dimostrato che tali tecniche matematiche offrano approfondimenti sui modelli di intelligenza artificiale. "Molti di questi metodi forniscono qualcosa che in realtà non ti dice nulla."
"Se ci sono due equazioni in quella che chiami una spiegazione, e la stai presentando a qualcuno che è matematicamente analfabeta, non hanno la capacità di guardarla e chiamarla stronzata", ha detto Lipton. "Molti di questi metodi forniscono qualcosa che in realtà non ti dice nulla."
Ha affermato che i ricercatori di intelligenza artificiale possono cambiare drasticamente le conclusioni spiegabili sull'intelligenza artificiale apportando piccole modifiche ai modelli di intelligenza artificiale mantenendo gli stessi risultati del modello.
"Chiaramente, non era una spiegazione in primo luogo, se sei in grado di indurre qualsiasi spiegazione tu voglia senza cambiare ciò che stai effettivamente facendo", ha detto. L'ambiguità del termine “spiegazione” fa parte di ciò che riguarda Lipton. Poiché la definizione di spiegazione per i modelli di intelligenza artificiale è così vagamente definita, le persone possono arrivare ad accettare "spiegazioni" matematiche che confondono e abbagliano, ma in realtà non forniscono risposte reali.
"Un'enorme frazione del campo è invasa proprio da questo genere di cose", ha detto Lipton. "Fondamentalmente ciò che le persone fanno è proporre un algoritmo ed è solo una sorta di trucco."
Può anche essere difficile capire le spiegazioni offerte. Se una spiegazione di un classificatore di immagini evidenzia semplicemente le aree su un'immagine , è davvero una spiegazione? Che cosa sta realmente dicendo su come il modello prende le decisioni? "Il problema è che vengono ingannati da un'industria a domicilio che pensa che in qualche modo si possano prendere modelli di apprendimento automatico predittivi, in qualche modo agitare una bacchetta magica su di essi, generare alcune immagini e chiamarla una spiegazione".
È persino possibile entrare in uno scenario in cui è necessario un altro algoritmo per interpretare la spiegazione, ha detto Ghani.
"È una specie di cosa strana in cui ora devi costruire un altro sistema, in cima al sistema di spiegazione, per spiegare in qualche modo l'esplicatore", ha detto. Sebbene Lipton sia contrario ai metodi utilizzati dall'attuale campo dell'IA spiegabile, è solidale con l'obiettivo principale del diritto alla spiegazione di essere in grado di capire cosa stanno facendo i modelli di intelligenza artificiale.
"Le persone pensano che certe decisioni dovrebbero essere guidate da un ragionamento sano e dovresti essere in grado di fornire spiegazioni quando prendi determinate categorie di decisioni - e quelle persone hanno assolutamente ragione", ha detto Lipton. "Il problema è che vengono ingannati da un'industria a domicilio che pensa che in qualche modo si possano prendere modelli di apprendimento automatico predittivi, in qualche modo agitare una bacchetta magica su di essi, generare alcune immagini e chiamarla una spiegazione". Si preoccupa che le persone che accettano qualsiasi cosa come una "spiegazione" consentano invece usi non etici dell'IA.
"Lo scenario peggiore è che la comunità accademica sia complice nel dare alle persone l'impressione che in realtà ora abbiano un sigillo di approvazione accademico", ha detto Lipton.
Fai invece domande specifiche
Invece di cercare di spiegare un intero modello di intelligenza artificiale tutto in una volta, potrebbe essere più efficace analizzare i modelli utilizzando strumenti specifici per le domande che vuoi porre e per il modello di intelligenza artificiale.
Questo perché gli algoritmi e i modelli di intelligenza artificiale variano ampiamente. Ad esempio, non c'è solo un modo per fare deep learning: in realtà è un'intera categoria di metodi e ogni caso d'uso di un metodo può essere molto diverso a seconda dei dati di formazione e di ciò per cui i ricercatori stanno ottimizzando. "Non è che scarichi [un] deep learning [modello] e fai clic su un pulsante ed eseguilo", ha detto Ghani. “Quando crei questi tipi di sistemi, ne costruisci centinaia di versioni. ... Quindi definisci una metrica delle prestazioni che ti interessa e scegli quella che sta andando bene su quella metrica delle prestazioni. "
I modelli di apprendimento automatico producono risultati sotto forma di probabilità piuttosto che risposte chiare e affermative. Un programma di riconoscimento delle immagini prevede che un'immagine ha il 40% di probabilità di essere un gatto e un'altra ha l'89% di probabilità, invece di dire che questa non è un gatto e questa lo è. Sta agli scienziati dei dati determinare quale dovrebbe essere il limite per l'etichettatura.
"Dobbiamo essere molto cauti nella progettazione di sistemi focalizzati su un caso d'uso specifico e su un utente specifico nella progettazione di una spiegazione".
Se è più importante che il modello non manchi alcuna immagine con gatti, anche se alcune immagini non di gatti vengono scambiate per gatti, la soglia di etichettatura per i gatti dovrebbe essere impostata su una percentuale bassa. D'altra parte, se è costoso rivedere le etichette delle immagini, il produttore potrebbe voler impostare una soglia elevata. Ognuna di queste variazioni corrisponde a un diverso modello di intelligenza artificiale.
"Nel mondo dell'IA spiegabile, stiamo cercando di costruire questo sistema di intelligenza artificiale spiegabile monolitico e generico che dovrebbe fare tutto per ogni tipo di problema, per ogni tipo di modello, per ogni tipo di utente - e penso che sia semplicemente sbagliato", ha detto Ghani. "Dobbiamo essere molto deliberati nella progettazione di sistemi incentrati su un caso d'uso specifico e su un utente specifico nella progettazione di una spiegazione, quindi convalidare sperimentalmente se tale spiegazione aiuta quell'utente a raggiungere l'obiettivo del sistema".
Esistono già alcuni metodi statistici efficaci nel rispondere a domande molto specifiche, come i test di ablazione e i controfattuali, ha affermato Lipton. Se una banca utilizzasse modelli di intelligenza artificiale per determinare se approvare i mutui per i clienti e rifiutasse qualcuno, i controfattuale potrebbero dare alle persone un feedback concreto su cosa possono migliorare per cambiare il risultato la prossima volta.
“Se hanno detto: 'Hai quattro linee di credito e un pagamento in ritardo nell'ultimo anno. Ma se avessi avuto sei linee di credito e nessun pagamento in ritardo per almeno 18 mesi, allora saresti stato approvato'”, ha detto Lipton. "Quindi questo offre un certo grado di trasparenza e fornisce a qualcuno qualcosa di attuabile".
Sono necessarie ulteriori indagini
L'unica cosa certa della spiegabilità nell'IA è che c'è ancora molto spazio per le indagini. La mia prima introduzione alla spiegazione dell'intelligenza artificiale è stata parlare con un professore dell'uso dell'intelligenza artificiale nel settore assicurativo . Ha avvertito che l'intelligenza artificiale renderebbe le compagnie assicurative difficili da controllare perché le questioni di parzialità non possono essere valutate se le stesse compagnie assicurative non sanno nemmeno come vengono prese le decisioni assicurative.
Curiosamente, sia Lipton che Ghani hanno respinto l'idea di utilizzare le spiegazioni nell'intelligenza artificiale per aiutare a determinare i pregiudizi nei modelli di intelligenza artificiale. Hanno sostenuto che i due concetti non sono correlati perché spiegare perché un modello di intelligenza artificiale ha prodotto un determinato output non fornisce alcuna informazione sul fatto che il modello generale sia distorto.
Questo è in parte il motivo per cui alcuni che si oppongono al diritto alla spiegazione sostengono che monitorare i risultati dei modelli di intelligenza artificiale nel tempo alla ricerca di indizi di distorsione e aggiustamenti quando necessario, è meglio che richiedere spiegazioni dai modelli di intelligenza artificiale.
Routledge, coautore dell'analisi del diritto alla spiegazione, ha affermato che il monitoraggio dei risultati del modello di intelligenza artificiale per la distorsione nel tempo è una buona pratica, ma non un sostituto.
"Se hai chiesto un prestito e ti è stato negato, mentre qualcuno che ti assomiglia ha ottenuto un prestito e chiedi perché è così, e la risposta dell'azienda è: 'Non preoccuparti, aggiustiamo le cose mentre andiamo avanti' - non è molto soddisfacente”, ha detto. "Non sembra che sarebbe una spiegazione adeguata."
Ci sono molte persone che si oppongono a spiegare i modelli di intelligenza artificiale. Un argomento comune è che limita il potenziale dell'IA legandolo a vincoli umani non necessari. Un altro è che un diritto alla spiegazione sarebbe impossibile da far rispettare, soprattutto considerando quanto sia impreciso il concetto umano di "comprensione".
"Quando in realtà hai preoccupazioni reali sulla discriminazione ... forse ciò che dovrebbe effettivamente accadere è che le persone dovrebbero togliere del tutto la tecnologia dal tavolo." Lo stesso Lipton preferisce vietare l'uso dell'intelligenza artificiale in alcuni casi invece di utilizzare tecniche inaffidabili per spiegare i modelli di intelligenza artificiale e passare il tempo a discutere la definizione di "spiegare".
"Quando si hanno reali preoccupazioni sulla discriminazione... forse quello che dovrebbe succedere è che le persone dovrebbero togliere del tutto la tecnologia dal tavolo", ha detto Lipton. "Ad esempio, 'Lo screening algoritmico del curriculum non è una tecnologia matura o appropriata e non dovrebbe essere applicato.'"
La fattibilità di stabilire un diritto alla spiegazione dipende in gran parte dalla possibilità o meno di sviluppare tecniche in grado di spiegare i modelli di intelligenza artificiale, ma non ci sono stati studi abbastanza rigorosi in questo campo per capire se è così. Ghani ha affermato che attualmente un grosso ostacolo per il settore è l'utilizzo di scenari più realistici nella ricerca, il che è importante perché i modelli di intelligenza artificiale sono costruiti per svolgere compiti specifici.
“Una delle cose su cui stiamo lavorando è costruire queste collaborazioni con organizzazioni – che si tratti di governi, organizzazioni non profit o aziende – dove le cose possono essere ancorate a problemi reali, utilizzando dati reali, testati su utenti reali, in modo che tu possa vedere cosa funziona davvero o no", ha detto.
Ci sono alcune ragioni per un cauto ottimismo. Quando le persone parlano di modelli di intelligenza artificiale a scatola nera, come quelli costruiti da algoritmi di apprendimento profondo, sembra esserci un'implicazione che più potente e di successo è l'algoritmo, più è una scatola nera. Ma non è necessariamente così.
"Si usa spesso il concetto che c'è questo compromesso, ma in realtà non sappiamo se c'è un compromesso - non è un concetto universale che deve essere vero", ha detto Ghani. "Penso che le persone lo dicano molto, ma penso che le persone non lo dicano sulla base di prove empiriche".
Forse i ricercatori possono trovare modi per utilizzare le tecniche esistenti per spiegare i modelli di intelligenza artificiale, o forse possono essere sviluppate nuove tecniche di intelligenza artificiale che danno priorità alla spiegabilità. Routledge, per esempio, era fiducioso.
"Immagino che tutto quello che sto dicendo sia che non è facile, ma non sembra impossibile", ha detto.
.png)
