Una riflessione su quelli che sono oggi i due concetti cruciali dell'Intelligenza Artificiale generativa: la trasparenza sul processo e la spiegazione di come funziona il sistema
Autore: Redazione ImpresaCity
La maggior parte delle analisi che cercano di comprendere le preoccupazioni riguardo l'AI raggruppano tutto, o quasi, sotto il termine “sicurezza”. Dai timori per la perdita di dati sensibili a questioni come allucinazioni e bias, dalle tattiche di prompt injection alla trasparenza e l’explainability, tutto sembra essere oggi responsabilità della “sicurezza” quando si parla di AI.
Sebbene queste preoccupazioni siano assolutamente valide, sono molto diverse fra loro e la maggior parte non riguarda la sicurezza in maniera diretta. In questo articolo esploreremo i concetti di trasparenza ed explainability, fondamentali da comprendere e applicare quando si utilizza l'AI all'interno delle aziende. Insieme, trasparenza ed explainability non solo aiutano a stabilire fiducia nel sistema e nei suoi risultati, ma supportano anche la risoluzione dei problemi e il debugging dei sistemi, soprattutto durante lo sviluppo.
Trasparenza ed explainability sono concetti importanti a livello generale, ma diventano particolarmente rilevanti nell'ambito dell'AI, dato che la maggior parte dei professionisti, anche in ambito IT, non ha familiarità con il funzionamento di questi sistemi. Si tratta di principi molto spesso discussi nel contesto dell'AI etica, dell'AI responsabile e della governance dell'AI. Sebbene siano strettamente correlati, hanno significati distinti e servono a scopi diversi nella comprensione e nella gestione dei sistemi di AI stessi.
La trasparenza si concentra nel fornire informazioni generali a un pubblico amplio, inclusi stakeholder, riguardo al sistema di AI. L’explainability, invece, è un concetto più specifico e mira a chiarire decisioni o risultati individuali agli utenti, sviluppatori e stakeholder che necessitano di comprendere il comportamento del sistema. La trasparenza mira a promuovere la fiducia nel sistema, mentre l’explainability si concentra sull'instaurare fiducia nei risultati specifici. Per raggiungere questi obiettivi, trasparenza ed explainability si focalizzano su elementi differenti.
La trasparenza nell'AI si riferisce al grado in cui le informazioni sul design, il funzionamento e i processi decisionali di un sistema di AI sono aperte, accessibili e comprensibili agli stakeholder. Sottolinea la comunicazione chiara e la visibilità su come funzionano i sistemi di AI, permettendo agli stakeholder di capire i vari aspetti che compongono il sistema.
Gli elementi chiave della trasparenza nell'AI includono in primo luogo design e sviluppo: la trasparenza implica la condivisione di informazioni sul design, l'architettura e i processi di addestramento dei sistemi di AI. Questo include il tipo di dati utilizzati, gli algoritmi e i modelli implementati. In questo caso, il concetto di trasparenza è simile a quello delle dichiarazioni dei servizi finanziari in cui i fornitori spiegano quali dati e criteri vengono utilizzati per determinare l’idoneità per un mutuo o il punteggio FICO delle agenzie di credito.
Inoltre, vi sono dati e input: la trasparenza richiede chiarezza sulle fonti e i tipi di dati utilizzati per addestrare e far funzionare il sistema di AI. Include anche la divulgazione di qualsiasi pre-elaborazione, trasformazione o aumento dei dati che alimentano il sistema. Questo tipo di informazione è simile alle dichiarazioni di raccolta dati, in cui le aziende spiegano quali dati raccolgono, conservano e con chi potrebbero condividerli.
Infine, bisogna guardare a governance e responsabilità: fornire informazioni su chi è responsabile dello sviluppo, della distribuzione e della governance del sistema di AI aiuta gli stakeholder a comprendere la struttura stessa delle responsabilità.
L’explainability nell'AI si riferisce alla capacità del sistema di AI di spiegare in modo chiaro e comprensibile perché ha preso determinate decisioni, quali fattori hanno influenzato i suoi risultati o come funziona il suo comportamento. Sottolinea quindi l'importanza di spiegare perché è stata presa una decisione particolare, concentrandosi sul rendere comprensibili agli utenti e agli stakeholder i risultati dell'AI.
Gli elementi chiave dell’explainability nell'AI includono in primo luogo la giustificazione delle decisioni: l’explainability implica che i fattori e logiche che hanno portato a una specifica decisione o risultato da parte dell'intelligenza artificiale siano sempre chiari(ti). In pratica, si tratta di rispondere a domande come “Perché l'AI ha preso questa decisione?” e “Cosa ha influenzato questo risultato?”. In sostanza, è come fare una dimostrazione in geometria: è necessario fare affidamento su assiomi per spiegare il risultato.
In secondo luogo, conta l’interpretabilità del modello: è importante rendere i modelli di IA interpretabili, in modo che gli stakeholder possano comprendere i meccanismi sottostanti alle decisioni. Per esempio, non tutti comprendono il calcolo avanzato, quindi una spiegazione sotto forma di un'equazione complessa non è sufficiente. C'è una notevole differenza tra il funzionamento di una Rete Generativa Avversaria (GAN) e una Rete Neurale Convoluzionale (CNN): divulgare quale approccio architettonico è utilizzato è una parte importante dell'interpretabilità.
Infine, va tenuta presente la comprensibilità umana: la stessa spiegazione deve essere condivisa in un formato facilmente comprensibile dagli esseri umani, inclusi i non esperti. Questo richiede che le operazioni complesse di AI vengano presentate in maniera semplice e chiara. Non è possibile condividere la spiegazione attraverso un codice, al contrario è fondamentale utilizzare un formato leggibile da tutti gli stakeholder, inclusi i team legal, compliance e di ingegneria.
Ogni nuova tecnologia richiede tempo perché ottenga fiducia. Quindici anni fa, nessuno si fidava delle applicazioni di auto-scaling, eppure oggi sono considerate fondamentali. L'automazione di qualsiasi tipo, che si tratti di risolvere problemi matematici complessi, guidare un’automobile o pagare le bollette, richiede tempo perché gli utenti si fidino. La trasparenza sul processo e la spiegazione di come funziona il sistema possono ridurre significativamente il divario tra introduzione e adozione.
La trasparenza fornisce una visione ampia del funzionamento del sistema di AI, mentre l’explainability chiarisce quali fattori e logiche hanno portato a una specifica decisione o risultato da parte dell'intelligenza artificiale. Entrambi sono fondamentali per il successo dell'AI e per permettere alle aziende di realizzarne i benefici, come un miglior servizio clienti, una produttività migliorata e decisioni più rapide. E nessuno dei due rientra esclusivamente nella sfera della sicurezza!
Lori MacVittie (ritratta nella foto di apertura) è Distinguished Engineer di F5