E11: L'idea di "black box"

Il termine “scatola nera” o "scatola oscura" ("black box"), nel contesto dei sistemi di intelligenza artificiale, si riferisce a una situazione in cui il funzionamento interno del sistema stesso è opaco o non facilmente comprensibile, persino dagli esperti che lo hanno progettato.

Per spiegarlo a un giurista, si potrebbe tracciare un’analogia con i "misteri" del ragionamento giuridico in un sistema in cui non viene rivelato il ragionamento alla base di un verdetto, ma viene presentato solo il risultato, lasciando che le persone interessate interpretino, o mettano in discussione, la decisione senza capire come sia stata raggiunta.

Un sistema di IA opera elaborando gli input, come dati, domande o processi, e producendo output, come decisioni, previsioni o classificazioni di dati. In un sistema a "scatola nera", il percorso tra l’input e l’output non è trasparente. Il sistema utilizza spesso modelli matematici complessi, come le reti neurali profonde che già abbiamo trattato, che coinvolgono milioni, o miliardi, di parametri. Questi parametri interagiscono in modi che sono difficili, se non impossibili, da tracciare o spiegare compiutamente per gli esseri umani. Di conseguenza, mentre il sistema può comunque produrre risultati accurati o utili, la logica alla base di tali risultati è per così dire "oscurata".

L’opacità dei sistemi "a scatola nera" deriva spesso dalla loro complessità. Ad esempio, come già abbiamo visto, nei modelli di apprendimento profondo le informazioni passano attraverso più strati di neuroni artificiali, con ogni strato che trasforma i dati in base ai modelli appresi durante l’addestramento. Le interazioni all’interno di questi strati creano risultati che sono statisticamente fondati, ma mancano di una spiegazione chiara e interpretabile. Ciò non è diverso dal ricevere una sentenza tecnicamente corretta ma priva di un’opinione, di una motivazione o di un ragionamento. Ciò lascia le parti interessate incerte sui principi o sulla logica che hanno guidato la decisione.

I limiti dei sistemi "a scatola nera" sono sia tecnici che giuridici ed etici. A livello tecnico, la loro mancanza di interpretabilità può rendere difficile il debug degli errori o il miglioramento delle prestazioni. Se un sistema produce un risultato distorto o errato, capire perché ha fallito è fondamentale per correggerlo. A livello giuridico ed etico, le scatole nere sollevano problemi significativi di fiducia, equità nei processi e responsabilità. Ad esempio, se un sistema di IA utilizzato per le sentenze in ambito penale fornisce una prescrizione senza spiegare il suo ragionamento, diventa impossibile valutare se la decisione si basi su fattori legittimi o su modelli discriminatori contenuti nei dati.

Il concetto di "scatola nera" invita allora i giuristi a porsi domande più ampie sull'importanza della motivazione e della interpretabilità in qualsiasi processo decisionale. Tutti i sistemi di IA, quindi, dovrebbero "sforzarsi" di essere trasparenti, anche se ciò potrebbe significare dover sacrificare un certo livello di accuratezza? Oppure, al contrario, ci sono contesti in cui le prestazioni possono giustamente avere la "precedenza" sulla spiegabilità? Per un giurista, queste domande riecheggiano dibattiti già familiari nel diritto, dove la necessità di efficienza è spesso bilanciata dagli imperativi di equità e di giusto processo.

In conclusione, una "scatola nera" nell’IA si riferisce a un sistema i cui processi decisionali interni sono poco trasparenti. Sebbene tali sistemi siano potenti ed efficaci, la loro mancanza di interpretabilità pone sfide significative per la fiducia, la responsabilità e l’uso etico nella nostra società e nel sistema-giustizia.