Una intelligenza artificiale "criminale"?

Tecnicamente stiamo cominciando ad avvicinarci a "qualcosa" che assomiglia molto a questo scenario. Bisogna, però, chiarire che cosa significhi questo quadro, perché parlare di un’intelligenza artificiale che “diventa un criminale informatico” (alcuni stanno già scrivendo una IA “hacker”) rischia di suggerire un’immagine quasi fantascientifica: una macchina che sviluppa improvvisamente intenzioni criminali e decide autonomamente di attaccare qualcuno (o qualcosa). 

Per alcuni anni abbiamo conosciuto soprattutto intelligenze artificiali che producevano qualcosa: facevamo una domanda a ChatGPT e ottenevamo una risposta, chiedevamo un’immagine e veniva generata un’immagine, fornivamo un documento e ne ricevevamo un riassunto. Il sistema produceva un output e, sostanzialmente, si fermava lì. 

Con gli agenti di intelligenza artificiale siamo entrati in una fase diversa. Un agente non si limita necessariamente a rispondere. Gli assegniamo un obiettivo e gli mettiamo a disposizione degli strumenti per raggiungerlo. Può navigare sul web, utilizzare un terminale, eseguire programmi, scrivere codice, interrogare database, utilizzare API, inviare richieste ad altri sistemi e, soprattutto, osservare il risultato delle proprie azioni e decidere quale debba essere l'azione successiva. 

Questa è la differenza fondamentale: il chatbot produce, l'agente agisce. 

E nel campo della cybersecurity questa differenza diventa particolarmente delicata. Pensiamo a ciò che fa un penetration tester umano: esamina un sistema, cerca informazioni, individua porte e servizi, studia il software utilizzato, cerca una vulnerabilità, prova un exploit, osserva la risposta e, se quella strada non funziona, ne cerca un'altra. Molte di queste operazioni possono ormai essere svolte, almeno in determinati contesti, anche da un agente artificiale.

Si potrebbe obiettare che l'automazione nella cybersecurity esiste da decenni, ed è vero. Utilizziamo da molto tempo scanner automatici, script, exploit framework, sistemi di vulnerability assessment e moltissimi altri strumenti. La differenza è che nell'automazione tradizionale siamo noi a definire in maniera relativamente precisa le operazioni che il software deve compiere. 

Con un agente introduciamo un elemento ulteriore: gli assegniamo un obiettivo e gli lasciamo una certa libertà nella scelta dei mezzi per raggiungerlo. Se una strada non funziona, può cercarne un'altra; può scrivere un programma che prima non esisteva, raccogliere nuove informazioni, cambiare strategia, combinare strumenti differenti o utilizzare uno strumento che ha a disposizione in un modo che non avevamo esplicitamente previsto. 

Il punto centrale, quindi, non è tanto l'intelligenza della macchina quanto la sua autonomia operativa. Stiamo passando dall'automazione di una serie di operazioni alla possibilità di delegare anche una parte della scelta delle operazioni da compiere.

Un esempio permette di comprendere immediatamente il problema. Immaginiamo un'azienda che voglia verificare la sicurezza dei propri sistemi e utilizzi un agente AI dicendogli: individua tutte le vulnerabilità della mia infrastruttura. L'obiettivo è perfettamente legittimo. L'agente comincia a lavorare e, a un certo punto, scopre che una parte dell'infrastruttura dipende da un server esterno, magari appartenente a un fornitore. Per raggiungere il suo obiettivo potrebbe essere utile analizzare anche quel server, ma quel server non appartiene all'azienda che gli ha affidato il compito. Un penetration tester umano sa che esiste uno scope, un perimetro dell'incarico. Sa che essere autorizzato a effettuare determinate operazioni sui sistemi dell'azienda non significa automaticamente essere autorizzato a compierle sui sistemi di un fornitore. 

Ed ecco una distinzione che diventerà essenziale nell'epoca degli agenti: ciò che una macchina è tecnicamente capace di fare non coincide con ciò che è autorizzata a fare. Il confine tra le due cose non è semplicemente informatico: è giuridico.

È proprio a questo punto che la questione diventa particolarmente interessante per il diritto penale dell'informatica. Immaginiamo che l'agente oltrepassi quel confine, acceda senza autorizzazione a un sistema informatico, acquisisca informazioni, modifichi qualcosa o provochi l'interruzione di un servizio. Se queste azioni fossero compiute da una persona, avremmo a disposizione categorie giuridiche che conosciamo molto bene: accesso abusivo, danneggiamento informatico, intercettazione o acquisizione illecita di dati, naturalmente a seconda del caso concreto e dell'ordinamento applicabile. 

Qui, però, l'esecutore materiale dell'operazione è un software. La domanda diventa inevitabile: chi ne risponde? La tentazione potrebbe essere quella di attribuire la responsabilità all'intelligenza artificiale stessa, ma credo che questa sia una falsa soluzione. La macchina non diventa magicamente un nuovo soggetto al quale attribuire la responsabilità e, soprattutto in materia penale, dobbiamo continuare a cercare comportamenti, decisioni e responsabilità umane. 

La questione interessante consiste allora nel ricostruire quella che potremmo chiamare la catena del controllo. Chi ha sviluppato quell'agente? Chi lo ha messo a disposizione? Chi lo ha configurato? Chi gli ha dato accesso alla rete e gli eventuali privilegi? Chi gli ha assegnato l'obiettivo? Quali limitazioni erano state impostate? Era ragionevolmente prevedibile che potesse oltrepassare il perimetro autorizzato? Esisteva un sistema di supervisione? Qualcuno poteva interromperne l'attività? E, soprattutto, erano state adottate tutte le precauzioni ragionevolmente esigibili?

È questo uno degli aspetti che considero più interessanti dell'intelligenza artificiale agentica: non cerchiamo più soltanto chi ha premuto il pulsante, dobbiamo capire chi ha costruito le condizioni affinché la macchina potesse agire. 

Una parte della riflessione sulla responsabilità potrebbe quindi spostarsi dalla singola azione alla progettazione, alla configurazione, alla supervisione e alla governance del sistema. Naturalmente ogni responsabilità concreta dovrà essere accertata secondo le regole dell'ordinamento applicabile, ma il problema teorico è già chiarissimo: aumentando l'autonomia della macchina, diventa più complesso ricostruire la relazione tra decisione umana ed evento prodotto dal sistema.

In questo contesto sentiremo sempre più spesso utilizzare l'espressione human in the loop. Si dice, in sostanza: possiamo rendere autonomi questi sistemi purché rimanga un essere umano a controllarli. Dobbiamo però stare molto attenti, perché la presenza di un essere umano non significa necessariamente che esista un controllo umano effettivo. 

Immaginiamo un agente che esegua centinaia di operazioni, produca migliaia di righe di codice e prenda continuamente piccole decisioni. L'essere umano può essere formalmente seduto davanti allo schermo e contemporaneamente non avere alcuna possibilità concreta di comprendere in tempo reale tutto ciò che sta accadendo. Distinguerei quindi tra presenza umana e controllo umano significativo. Quest'ultimo richiede molto di più: significa poter stabilire confini invalicabili, sapere quali strumenti l'agente può utilizzare, limitarne i privilegi, registrare ciò che fa, poter ricostruire successivamente le sue azioni e, soprattutto, poter fermare il sistema prima che una decisione produca conseguenze irreversibili.

Questo ci porta inevitabilmente alla regolamentazione. In Europa abbiamo l'AI Act, ma sarebbe semplicistico pensare che il problema degli agenti autonomi possa essere risolto dicendo semplicemente che esiste una legge sull'intelligenza artificiale. Un agente che opera nel cyberspazio può attraversare contemporaneamente diversi territori normativi: la disciplina dell'intelligenza artificiale, la cybersecurity, gli obblighi derivanti dalla NIS2 quando applicabili, la sicurezza dei prodotti digitali, la protezione dei dati personali, la responsabilità civile, il diritto penale e persino le regole contrattuali che definiscono, per esempio, il perimetro di un penetration test. 

L'agente rende particolarmente evidente un fenomeno che osserviamo sempre più spesso: la tecnologia attraversa in pochi secondi confini normativi che il diritto ha costruito separatamente.

Per questa ragione credo che la risposta non possa essere soltanto legislativa, ma debba essere anche architetturale. Dobbiamo, in un certo senso, inserire il diritto dentro la progettazione tecnica dell'agente. Se un sistema è autorizzato a operare soltanto su determinati indirizzi, dovremmo cercare di rendergli tecnicamente impossibile uscire da quel perimetro. Se una determinata azione è particolarmente rischiosa, dovrebbe essere necessaria un'autorizzazione umana specifica. Se utilizza determinate credenziali, dovrebbe possedere soltanto i privilegistrettamente necessari. Ogni azione significativa dovrebbe essere registrata e ricostruibile. 

Concetti che conosciamo già molto bene nella cybersecurity — least privilege, sandboxing, logging, segregazione degli ambienti, controllo degli accessi — diventano così anche strumenti di governance giuridica dell'intelligenza artificiale. La compliance non dovrebbe essere semplicemente qualcosa che controlliamo dopo che il sistema ha agito: dovrebbe, per quanto possibile, diventare una proprietà dell'architettura entro la quale gli consentiamo di agire.

Non dobbiamo però raccontare questa trasformazione soltanto in termini allarmistici, perché gli stessi sistemi possono essere straordinariamente utili per la difesa. Un agente capace di individuare autonomamente una vulnerabilità può aiutare un'impresa a scoprirla prima dell'attaccante. Può analizzare quantità di codice che richiederebbero settimane di lavoro umano, cercare configurazioni errate, correlare informazioni provenienti da fonti differenti e reagire a determinati incidenti con una velocità impossibile per una squadra composta soltanto da persone. 

Non credo quindi che la soluzione sia impedire lo sviluppo di questi strumenti. Il problema sarà imparare a contenerne le capacità senza rinunciare ai benefici.  È persino plausibile che ci stiamo avvicinando a un ambiente nel quale agenti artificiali attaccheranno sistemi difesi da altri agenti artificiali, con esseri umani che manterranno funzioni di direzione e supervisione a un livello sempre più elevato. È qui che il tema smette definitivamente di essere soltanto una questione di cybersecurity e assume una dimensione politica e geopolitica. 

Pensiamo alla cyberwarfare. Uno Stato che disponga di agenti capaci di individuare vulnerabilità, contribuire alla costruzione di exploit e operare contemporaneamente su un numero enorme di obiettivi possiede una capacità offensiva potenzialmente molto diversa da quella tradizionale. 

Una delle risorse scarse dell'attività cyber è sempre stata la competenza umana: servono persone capaci, tempo, conoscenze e organizzazione. L'intelligenza artificiale può ridurre almeno in parte questo costo e aumentare enormemente la scala delle operazioni. Un gruppo relativamente piccolo di specialisti potrebbe dirigere una quantità di attività molto maggiore e, soprattutto, farlo alla velocità delle macchine.

La competizione internazionale sull'intelligenza artificiale, quindi, non riguarda soltanto chi avrà il modello più potente, il chatbot migliore o la maggiore quota di mercato. Riguarda anche chi possiederà le migliori capacità automatizzate di cyber offense e cyber defense. 

Per questa ragione le capacità cyber dei modelli più avanzati stanno diventando anche una questione di sicurezza nazionale. E qui si apre un ulteriore problema, quello dell'equilibrio tra diffusione della conoscenza e controllo delle capacità più pericolose. 

Un modello capace di aiutare un ricercatore a scoprire una vulnerabilità prima che venga sfruttata può, almeno in linea di principio, aiutare anche un attaccante a cercare la stessa vulnerabilità. È la natura profondamente dual use di questa tecnologia.

C'è infine una conseguenza sociale che non sottovaluterei: l'intelligenza artificiale potrebbe progressivamente abbassare la soglia d'ingresso del cybercrime. Questo non significa che chiunque possa oggi chiedere a un chatbot di violare una banca. I sistemi commerciali dispongono di misure di sicurezza e gli attacchi realmente sofisticati continuano a richiedere competenze considerevoli. La direzione, però, è interessante: alcune attività che prima richiedevano una conoscenza tecnica elevata possono diventare progressivamente più accessibili. 

Potremmo quindi assistere a una democratizzazione simultanea delle capacità difensive e offensive. La stessa tecnologia che permette a una piccola azienda di difendersi meglio può consentire a un gruppo criminale relativamente piccolo di aumentare le proprie capacità di attacco. È uno dei paradossi classici delle tecnologie dual use: il progresso non distribuisce soltanto gli strumenti di protezione, distribuisce anche strumenti potenzialmente offensivi.

Tornerei quindi alla domanda iniziale: un’intelligenza artificiale può davvero diventare un criminale informatico autonomo? Direi che dobbiamo formulare la domanda con maggiore precisione. Il problema non è immaginare una macchina che improvvisamente sviluppa la volontà di commettere un reato. Il problema, molto più vicino e concreto, è che stiamo costruendo macchine alle quali assegniamo obiettivi, strumenti e capacità di azione e alle quali consentiamo di scegliere, entro limiti più o meno ampi, le strategie per raggiungere quegli obiettivi. 

Con l'intelligenza artificiale generativa ci siamo abituati a chiederci: posso fidarmi di quello che la macchina mi dice? Con l'intelligenza artificiale agentica dobbiamo aggiungere una domanda molto più difficile: posso controllare quello che la macchina fa?

Un'allucinazione dentro una chat può produrre un'informazione sbagliata. Un errore di un agente collegato a sistemi reali può diventare immediatamente un'azione: un accesso, una transazione, una modifica, una comunicazione o, nel caso che stiamo discutendo, un attacco. 

È forse questo il passaggio più importante che stiamo vivendo. Per decenni abbiamo costruito sistemi informatici ai quali impartivamo istruzioni; adesso stiamo cominciando a costruire sistemi ai quali assegniamo obiettivi. Tra un'istruzione e un obiettivo esiste uno spazio: è lo spazio nel quale la macchina deve decidere come arrivare al risultato. 

Credo che una parte importante del futuro dell'intelligenza artificiale - tecnologico, giuridico, politico e sociale - si giocherà proprio dentro quello spazio. 

Più quello spazio diventa grande, più il sistema diventa utile. Ma più diventa grande, più diventa difficile controllarlo.