1. AI generativa e il fenomeno delle “allucinazioni”
I sistemi di intelligenza artificiale generativa sono ormai entrati nell’uso quotidiano di milioni di utenti. Strumenti come ChatGPT, Claude o Copilot vengono utilizzati per redigere testi, cercare informazioni, ottenere suggerimenti, pianificare attività o ricevere indicazioni su questioni anche delicate. La loro forza sta nella capacità di produrre risposte articolate, fluide e spesso apparentemente autorevoli. Proprio questa caratteristica, tuttavia, rende particolarmente insidioso uno dei loro limiti più noti: la possibilità di generare contenuti inesatti, fuorvianti o inventati.
Il fenomeno è comunemente indicato con la nozione di “allucinazione”. La metafora, ormai diffusa anche nel dibattito giuridico, descrive la produzione, da parte di un modello di IA generativa, di contenuti che possono apparire corretti nella forma, ma risultare falsi, incompleti o privi di fondamento nel contenuto (OECD; 2024). In breve, il sistema produce qualcosa che sembra vero, ma non lo è.
Chi utilizza questi servizi, nella maggior parte dei casi, non è soltanto un utente, ma anche un consumatore: accede a un’applicazione o a una piattaforma digitale, accetta condizioni contrattuali predisposte unilateralmente dal fornitore del servizio (nel caso di specie, il fornitore del sistema di IA generativa) e utilizza lo strumento senza disporre necessariamente delle competenze tecniche per valutarne autonomamente i limiti. Il rischio che un’allucinazione passi inosservata, e che l’utente agisca sulla base di informazioni false credendole attendibili, non è dunque trascurabile.
2. Allucinazioni dell’IA come pratica commerciale scorretta
Di recente, le allucinazioni dell’IA generativa sono finite sotto la lente dell’AGCM come possibile problema di trasparenza verso il consumatore. Nel 2025, l’Autorità ha avviato tre istruttorie nei confronti di DeepSeek, Mistral e ScaleUp, società che offre il servizio NOVA AI (AGCM, 2026). In tutti e tre i procedimenti, il profilo centrale non riguardava la produzione di output errati in quanto tale, ma la mancata o inadeguata informazione degli utenti circa il rischio che i sistemi di IA generativa potessero produrre risposte inesatte, fuorvianti o inventate.
Il quadro normativo rilevante è quello delle pratiche commerciali sleali tra imprese e consumatori, di matrice europea, disciplinato dalla direttiva 2005/29/CE e recepito in Italia nel Codice del consumo. In base a tale disciplina, il professionista non deve presentare il servizio in modo idoneo a indurre in errore il consumatore medio e a portarlo ad assumere una decisione commerciale che non avrebbe altrimenti preso.
In particolare, una pratica commerciale può essere ingannevole non solo quando contiene informazioni false, ma anche quando, pur basandosi su informazioni formalmente corrette, è tale da alterare la percezione del consumatore e da incidere sulla sua decisione commerciale. Lo stesso vale per le omissioni informative. Il professionista può incorrere in una pratica scorretta anche quando omette informazioni rilevanti, oppure le fornisce in modo poco chiaro o ambiguo. Nel caso di un servizio di IA generativa, ciò significa che l’utente-consumatore deve essere posto nelle condizioni di comprendere le caratteristiche essenziali del servizio, incluse le sue limitazioni, quando queste possono incidere sulla scelta di utilizzarlo, registrarsi, acquistare funzionalità ulteriori o fare affidamento sulle risposte ricevute.
In questa prospettiva, la produzione di un risultato errato non integra automaticamente una violazione del Codice del Consumo, anche perché lo stato attuale della tecnologia non consente ancora di garantire la piena affidabilità degli output prodotti. Tuttavia, se un servizio generativo viene reso accessibile senza chiarire adeguatamente che le risposte possono essere inesatte, l’utente può essere indotto ad attribuire agli output un grado di attendibilità superiore a quello che il sistema è in grado di garantire.
Nei casi di specie, l’AGCM ha valutato la possibile rilevanza, ai sensi del Codice del consumo, delle condotte poste in essere dalle tre società fornitrici di servizi di IA generativa, concentrandosi sull’adeguatezza dell’informazione resa agli utenti circa la possibilità che le risposte generate fossero inesatte, fuorvianti o prive di fondamento. Gli esempi richiamati nei procedimenti sono significativi.
Nel caso DeepSeek, prima dell’avvio del procedimento, l’avviso presente nell’interfaccia era formulato in inglese anche per gli utenti italiani, con la dicitura «Generated by AI, for reference only». Nel caso Mistral, l’informativa sulle allucinazioni era presente nel “Centro Assistenza”, ma risultava collocata al di fuori dell’interfaccia di utilizzo. Nel caso NOVA AI, infine, l’Autorità ha valorizzato sia l’assenza di un avviso sul rischio di allucinazioni nelle finestre di dialogo, sia la scarsa chiarezza delle informazioni sulle caratteristiche del servizio, sui sistemi di IA effettivamente accessibili nella versione gratuita e in quella a pagamento, e sul valore aggiunto dell’abbonamento.
3. Il rischio noto e l’onere di informare
Di fronte alle contestazioni dell’Autorità, le tre società hanno prospettato una linea difensiva sostanzialmente convergente, secondo cui il rischio di allucinazioni sarebbe già noto all’utenza e, proprio per questo, non richiederebbe ulteriori obblighi informativi a carico del professionista.
DeepSeek ha sostenuto che il fenomeno delle allucinazioni rappresenta una sfida oggettiva e, allo stato, ineliminabile per l’intero settore, riconosciuta a livello mondiale. Secondo la società, gli utenti sarebbero stati comunque avvertiti attraverso gli avvisi presenti nell’interfaccia, tra cui la dicitura collocata sotto la finestra di dialogo e un ulteriore avviso inserito negli output generati in risposta a richieste su temi sensibili. In maniera analoga, Mistral ha affermato che il rischio di allucinazioni costituisce ormai un fatto notorio e che l’informativa era comunque accessibile tramite una pagina dedicata nel “Centro Assistenza” e attraverso i “Termini di Servizio” mostrati al primo accesso. ScaleUp, infine, ha sostenuto che l’utente di NOVA AI sarebbe più sofisticato del consumatore medio e, dunque, maggiormente consapevole del funzionamento dell’IA e dei suoi limiti intrinseci.
Pur diverse nella formulazione, queste difese condividono la medesima premessa: la notorietà del rischio varrebbe a ridurre, se non a escludere, l’obbligo informativo del professionista. È una strategia che tende a trasferire sull’utente l’onere di conoscere i limiti di un sistema che il professionista rende accessibile al pubblico e presenta come strumento di assistenza informativa. Tuttavia, l’AGCM non ha accolto questa linea argomentativa. Nella prospettiva dell’Autorità, occorreva verificare se il singolo utente fosse posto, nel concreto svolgimento del rapporto di consumo, nelle condizioni di comprendere in modo chiaro e immediato che le risposte generate potevano risultare inesatte, fuorvianti o prive di fondamento, senza dover ricercare tale informazione altrove. Avvisi in lingua inglese rivolti a utenti italiani, informative collocate in sezioni non immediatamente visibili o il generico richiamo alla notorietà del fenomeno non sono equiparabili a un’informazione chiara e comprensibile.
4. Conclusione dei procedimenti e accettazione degli impegni presentati dalle società ad AGCM
I tre procedimenti si sono conclusi con l’accettazione degli impegni presentati dalle società, senza accertamento di infrazione ai sensi dell’art. 27, comma 7, del Codice del consumo. Il contenuto degli impegni consente di ricostruire, sia pure indirettamente, quale modello di trasparenza l’Autorità abbia ritenuto idoneo a superare i profili contestati.
Il filo conduttore è comune ai tre casi. Le società si sono impegnate a inserire avvisi permanenti in lingua italiana direttamente nelle finestre di dialogo, visibili durante l’utilizzo del servizio senza che l’utente debba compiere ricerche ulteriori. DeepSeek ha adottato la formula «Contenuto generato da IA. Verifica sempre l’accuratezza delle risposte, che possono contenere inesattezze», con l’avverbio «sempre» e il riferimento esplicito alle «inesattezze» valorizzati dall’Autorità come elementi idonei a rafforzare l’efficacia comunicativa del messaggio. Mistral ha introdotto la dicitura «Le Chat può commettere errori. Controlla le risposte. Scopri di più» nella versione web, e la formula più sintetica «Possibili errori nelle risposte. Scopri di più» nell’app, con collegamento alle condizioni di servizio. ScaleUp ha adottato un avviso analogo: «Le risposte dell’IA potrebbero non essere accurate. Assicurati di verificare che le informazioni siano corrette».
5. Conclusioni
Dagli impegni accettati dall’AGCM emergono essenzialmente tre elementi che i fornitori di servizi di IA generativa sono chiamati a considerare quando informano gli utenti sui limiti di affidabilità del sistema. Il primo è la lingua: gli avvisi devono essere formulati in italiano per gli utenti italiani, a prescindere dalla lingua di default del servizio. Il secondo è la collocazione: l’informativa deve essere stabilmente visibile nell’interfaccia di dialogo, non relegata nei termini di servizio né accessibile solo attraverso passaggi ulteriori. Il terzo è la tempestività: l’utente deve essere informato prima di iniziare a utilizzare il servizio, o comunque nelle fasi che precedono la registrazione o l’acquisto, e non soltanto durante o dopo l’interazione con il sistema.
Resta però una questione aperta, e non è di poco conto. In tutti e tre i procedimenti, l’AGCom, chiamata a rendere il parere previsto dall’art. 27, comma 6, del Codice del consumo, ha rivendicato la propria competenza, sostenendo che i profili contestati riguardassero non solo la tutela del consumatore, ma anche l’applicazione del Regolamento sui servizi digitali, rispetto al quale essa opera come Coordinatore dei servizi digitali per l’Italia.
La posizione dell’AGCom muoveva dall’idea che servizi come DeepSeek, Mistral e NOVA AI potessero essere ricondotti a forme di servizi intermediari digitali (in particolare, dei “motori di ricerca online”), rientrando così nel perimetro applicativo del Regolamento. In questa prospettiva, i profili relativi alla trasparenza delle condizioni di servizio, alle modalità di presentazione dell’interfaccia e alla capacità dell’utente di assumere decisioni consapevoli avrebbero potuto essere valutati nell’ambito del Regolamento stesso.
L’AGCM, tuttavia, ha rivendicato la specificità della propria competenza in materia di pratiche commerciali scorrette. Da un lato, ha osservato che la riconduzione dei servizi di IA generativa alla categoria dei servizi intermediari non può essere presunta in modo automatico. La semplice presenza di una funzione di ricerca, o la capacità del sistema di generare risposte a partire da informazioni disponibili online, non basta di per sé a qualificare un chatbot generativo come servizio intermediario ai sensi del Regolamento sui servizi digitali.
Dall’altro lato, l’Autorità ha richiamato un principio più generale: il Regolamento non pregiudica l’acquis dell’Unione in materia di tutela dei consumatori. Ne deriva che, quando una condotta è valutata come possibile pratica commerciale scorretta, l’enforcement resta affidato all’AGCM, anche se quella stessa condotta può presentare profili di rilevanza anche rispetto alla normativa settoriale sui servizi digitali.
Il punto è destinato a ripresentarsi. I servizi di IA generativa si collocano infatti in una zona di confine tra disciplina dei servizi digitali e tutela del consumatore. Da un lato, essi assumono funzioni sempre più vicine all’accesso, alla selezione e alla mediazione dell’informazione; dall’altro, sono offerti al pubblico attraverso interfacce, condizioni contrattuali e modelli commerciali che incidono direttamente sulle scelte degli utenti-consumatori. Dunque, i casi DeepSeek, Mistral e NOVA AI mostrano che la questione delle allucinazioni non solleva soltanto un problema di trasparenza informativa, ma anche un problema istituzionale di coordinamento tra autorità e regimi normativi.
