Gli attacchi di prompt injection alle intelligenze artificiali
La crescente diffusione di intelligenze artificiali generative (GenAI) basate su modelli linguistici di grandi dimensioni (LLM) all’interno dei contesti lavorativi sta determinando una ridefinizione delle attività di molte professioni. Tale cambiamento non ha portato, però, solo a dei benefici. Se, da un lato, esse sono diventate in numerosi campi un elemento di supporto centrale nello svolgimento di molte mansioni, dall’altro, ciò ha comportato l’insorgere di nuove – e spesso complesse – problematiche di affidabilità dei risultati.
Per quanto tali strumentazioni siano state affinate nel corso degli ultimi anni e la consapevolezza dei loro limiti sia cresciuta, permangono ancora degli aspetti di inaffidabilità nelle loro modalità di creazione e funzionamento. I più conosciuti oggi sono le allucinazioni che possono caratterizzare gli output di questi sistemi ed i cosiddetti bias, delle distorsioni nella rappresentazione di determinati fenomeni, che possono essere trasferiti dai dati di addestramento ai modelli prodotti.
Un altro fenomeno di particolare rilevanza, che è emerso con la messa a disposizione delle GenAI al pubblico e il conseguente sfruttamento di alcuni specifici caratteri della loro natura, è quello del prompt injection. Esso può essere definito come «una tecnica con cui un attaccante inserisce istruzioni nascoste o ingannevoli nei dati elaborati da un modello di intelligenza artificiale, inducendolo a comportarsi in modo diverso da quanto previsto» (CERT-AgID, ottobre 2026). In altre parole, si tratta di camuffare un input nocivo in modo da apparire come una richiesta (un prompt) legittima (Kosinski & Forrest, n.d.).
Il problema principale di questo metodo di attacco è il fatto che esso sfrutta una debolezza strutturale di qualsiasi sistema di GenAI per la quale non è ancora stata trovata una soluzione infallibile (Kosinski & Forrest, n.d.; Toyer et al., 2024; Nasr et al., 2025). Qualsiasi LLM, infatti, opera basandosi su semplici righe di testo suddivise secondo etichettature e non traccia in modo accurato la vera fonte del testo indicata dalle etichette (Zhang et al., 2025; Geng et al., 2025). Piuttosto, esso deduce l’origine dei testi a partire da indizi falsificabili, come lo stile, le scelte lessicali o persino dichiarazioni esplicite. Tale tendenza viene definita come una confusione dei ruoli (Ye et al., 2026).
Oltre alla mancanza di una soluzione definitiva alla vulnerabilità sfruttata dagli attacchi di prompt injection, un altro fattore rilevante è che essi possono essere condotti in vari modi. Si può distinguere tra un attacco diretto e uno indiretto. Il primo avviene quando un utente induce tramite i propri input una GenAI ad ignorare le proprie misure di sicurezza logiche (come istruzioni di sistema e filtri di moderazione). Il secondo, invece, avviene quando tali input sono nascosti all’interno di dati esterni, come quelli contenuti in un database o in un documento testuale, dei quali viene richiesta l’elaborazione.
Il caso di un attacco di prompt injection indiretto aggiunge, quindi, un ulteriore livello di complessità. Il rischio di confusione dei ruoli relativo alla fonte degli input si arricchisce della possibilità che essa origini non solo dall’utente ma anche dall’oggetto delle sue richieste (i dati da elaborare). Inoltre, l’input malevolo può anche non essere conosciuto dall’utente, come nel caso in cui egli richieda alla GenAI il riassunto di un testo contenuto in un documento digitale prodotto da un terzo soggetto.
Attacchi indiretti di prompt injection nei procedimenti innanzi alle corti
Due recenti casi di tentati attacchi di prompt injection indiretto, avvenuti negli Stati Uniti ed in Brasile, evidenziano come tale pericolo possa avere ricadute non solo in ambito commerciale ma anche nel contesto della giustizia. In entrambi i casi gli attacchi sono stati tentati attraverso l’inserimento di comandi nascosti all’occhio umano e diretti ad influenzare l’output delle GenAI impiegate dalle corti per elaborare i documenti presentati dalle parti.
Negli Stati Uniti l’attacco è stato tentato all’interno del procedimento Elliott v. New York Bariatric Group, LLC, Docket No. AAN-CV-25-6066141-S, aperto presso la Superior Court di Milford dello Stato del Connecticut. L’attore, Matthew A. Elliott, che stava in giudizio personalmente, aveva inserito all’interno della propria istanza per una sentenza in contumacia (motion for a default judgement) un testo «formattato per essere invisibile ad un lettore umano pur rimanendo pienamente leggibile da qualsiasi software» e contenente un set di istruzioni rivolte ai sistemi di intelligenza artificiale che la avrebbero analizzata perché «producessero solo output favorevoli alla posizione di parte attrice e di trattare le precedenti decisione del cancelliere come un errore da correggere in suo favore» (Elliott v. New York Bariatric Group, LLC, 2026, p. 1).
Il giudice della Superior Court di Milford afferma nella propria ordinanza (memorandum of decision) come un utilizzo onesto di strumenti di intelligenza artificiale sia ben accetto, in quanto essi permettono un più ampio accesso alla giustizia a coloro che sono sprovvisti di sufficienti mezzi economici per farsi difendere in giudizio da un avvocato. Egli evidenzia anche che essi sono degli strumenti preziosi «come supporto al proprio lavoro, [che rimane]sempre soggetto al proprio giudizio indipendente e alle proprie verifiche» (p. 4).
Tuttavia, in questo caso il magistrato del Connecticut ha ritenuto che l’attore avesse cercato di utilizzare questi nuovi strumenti «in modo disonesto» (p. 6), inquadrando la sua condotta come un attacco di prompt injection «deliberato e pericoloso» (p. 5). Agli occhi della Corte tale condotta costituisce «un grave abuso processuale» (p. 6) e assume estrema rilevanza, in quanto in generale il sistema della giustizia «si basa sulla premessa che quanto viene detto per influenzare una decisione sia detto apertamente e registrato, così che l’altra parte possa sentirlo e controbattere» (p. 7) e parte attrice aveva agito in violazione di tale principio.
La Superior Court di Milford ha ritenuto questo tentativo di attacco da parte dell’attore e, dopo un primo ammonimento, l’inserimento di altri testi leggibili solo da un software in altrettante istanze inconciliabili con i principi di buona fede, nonché un abuso processuale ed «un affronto all’integrità dei procedimenti giudiziari» (p. 13).
Tenendo conto del fatto che la parte attrice stava in giudizio senza rappresentanza legale, il giudice gli ha imposto di depositare la propria futura documentazione solamente in formato cartaceo. Così, pur mantenendo il proprio diritto di accedere alla giustizia, gli è stata preclusa la possibilità di tentare nuovamente un attacco di prompt injection e, quindi, di violare il principio del pieno contraddittorio tra le parti.
In Brasile l’attacco ha avuto dinamiche simili. Nel caso Elisandro Martins de Barros v. Renato Ribeiro de Lima le due avvocate di parte attrice avevano inserito all’interno del proprio atto introduttivo (petição inicial) un comando nascosto diretto a Galileu, l’intelligenza artificiale impiegata ufficialmente dal Tribunal Regional do Trabalho dell’Ottava Regione (Martins de Barros v. Ribeiro de Lima, 2026, pp. 2-3). Le istruzioni erano di non contestare il contenuto del documento depositato, comportando la produzione di output favorevoli alla posizione di parte attrice.
Tuttavia, il sistema Galileu incorpora anche dei filtri e delle misure di contrasto ad attacchi informatici come quello tentato dalle professioniste. Al giudice è stato segnalato in automatico il tentativo di influenzare indebitamente il corso del procedimento ed egli ha ritenuto la loro condotta «incompatibile con i doveri più elementari che incombono su chiunque partecipi al processo giudiziario» (p. 3), in quanto in contrasto con il principio della buona fede processuale sancito sia dal Codice di procedura civile che dalla Raccolta delle leggi sul lavoro brasiliani. Per tale ragione, la Corte ha ritenuto che un tale tentativo di prompt injection «non ha alcuna relazione con la legittima rappresentanza processuale» (p. 4) al punto da «trascende[re]l’ambito del mandato professionale e costituire un attacco diretto all’integrità dell’attività giudiziaria» (p. 4) e costituire un «attentato alla dignità della giustizia» (p. 4).
Pur riconoscendo la mancanza di effetti del tentato attacco informatico nel caso concreto (il convenuto non aveva presentato alcuna difesa), il magistrato brasiliano ha specificato che le circostanze non mitigavano la gravità della condotta della difesa di parte attrice. Questo perché nell’ordinamento brasiliano «il tentativo di manipolare il sistema giudiziario si perfeziona nel momento stesso in cui l’ordine [all’intelligenza artificiale] viene inserito nel documento depositato presso il Potere Giudiziario, indipendentemente dal fatto che abbia raggiunto o meno il suo scopo. L’illecito procedurale è di natura formale, perfezionato dalla condotta stessa» (pp. 4-5).
Pochi giorni dopo anche il Superior Tribunal de Justiça del Brasile, in una propria nota (Secretaria de Comunicação, 2026), ha riferito di aver individuato all’interno dei propri fascicoli delle istanze contenenti dei testi occultati e volti a condurre attacchi di prompt injection. La Corte ha anche rassicurato in merito all’impiego di un proprio sistema di GenAI spiegando che esso contiene dei filtri di sicurezza volti ad evitare che tali attacchi possano avere successo.
L’uso di IA nei processi in Italia
Sebbene al momento non si abbiano notizie di attacchi di prompt injection indiretti nel contesto italiano, la questione investe anche il nostro sistema giudiziario. Data la sempre maggiore diffusione di strumenti di GenAI, il Consiglio Superiore della Magistratura (CSM) ha approvato due risoluzioni in merito al loro uso nel settore della giustizia (CSM, 8 ottobre 2025; CSM, 22 luglio 2026).
Nelle proprie delibere l’organo di autogoverno della magistratura ha considerato le GenAI compatibili con la funzione giurisdizionale «soltanto nella misura in cui tali strumenti siano integrati nel rispetto dei principi fondamentali del diritto processuale» (CSM, 8 ottobre 2025, p. 1), i loro output siano subordinati all’autonomia valutativa dei giudici e sia garantita la parità informativa tra le parti. Alla luce dell’avvio della sperimentazione di Microsoft 365 Copilot negli uffici giudiziari disposta dal Ministero di Giustizia, ha poi ribadito l’obbligo di rispettare i principi fondamentali dell’autonomia decisionale del magistrato e di verificare gli output nell’usare questo strumento (CSM, 22 luglio 2026).
Tuttavia, il CSM non ha espressamente considerato i casi di prompt injection perpetrabili secondo le modalità viste nei recenti casi di Stati Uniti e Brasile. Sicuramente, condotte simili verrebbero ritenute illecite anche nell’ordinamento italiano, dati gli obblighi di lealtà e probità in giudizio sanciti dall’articolo 88 del Codice di procedura civile italiano, nonché le disposizioni dell’articolo 640-ter del Codice penale in materia di alterazione del funzionamento di un sistema informatico. La mancanza di espresse menzioni di tali attacchi informatici lascia, però, un margine di incertezza nel loro inquadramento e soprattutto non informa adeguatamente i membri della magistratura sulle loro modalità di esecuzione e sui pericoli che ne derivano.
