Questa non è una pipa. Le rappresentazioni emergenti nei modelli linguistici

Abstract

Durante la fase di addestramento, i grandi modelli linguistici sviluppano rappresentazioni interne che codificano regolarità apprese dai dati su cui vengono addestrati. Comprendere come tali rappresentazioni si organizzino, quali strutture vi emergano e in che modo concorrano a generare il comportamento osservabile dei modelli, costituisce oggi un importante campo di ricerca, sebbene ancora nelle sue fasi iniziali. Studiare ciò che avviene all’interno di questi sistemi può contribuire a renderne più comprensibile il funzionamento, ma apre anche una domanda più ampia: che cosa significa rendere trasparente un sistema di intelligenza artificiale e quali forme di conoscenza sono realmente necessarie per comprenderlo, governarlo e attribuirgli responsabilità?

La scatola nera

Nell’aprile del 2025 Dario Amodei, cofondatore e amministratore delegato di Anthropic, ha pubblicato un intervento dal titolo The Urgency of Interpretability, nel quale sottolinea che mentre costruiamo sistemi sempre più capaci, la nostra possibilità di comprendere nel dettaglio come producano i loro risultati procede troppo lentamente. Immagina una sorta di “MRI for AI”, una risonanza magnetica dell’intelligenza artificiale capace di osservare ciò che avviene all’interno dei modelli e di individuare meccanismi associati a comportamenti rilevanti[1].

Questa necessità dipende dal modo in cui l’AI si è evoluta. Nei sistemi simbolici tradizionali i programmatori definivano le regole e le rappresentazioni con cui il programma doveva operare. Con il machine learning, e soprattutto con il deep learning, il paradigma è cambiato e invece di specificare una per una le regole necessarie a risolvere un compito, si costruisce una rete con moltissimi parametri e la si addestra su grandi quantità di dati, modificandone progressivamente i parametri per ridurne l’errore. Gli attuali Large Language Model, generalmente basati sull’architettura Transformer, portano questo approccio all’estremo.

Come sintetizza OpenAI in una ricerca sui circuiti sparsi, progettiamo le regole dell’addestramento, ma non i singoli comportamenti che emergono[2].

Per questa ragione oggi l’interpretabilità è diventata un problema scientifico che cerca di colmare lo spazio tra ciò che abbiamo progettato e ciò che il modello ha appreso. E la questione scientifica incontra quella giuridica quando sistemi così complessi entrano nelle decisioni, nei servizi, nel lavoro e nelle amministrazioni.

 

Il diritto chiede trasparenza

La trasparenza è un concetto ricorrente nella regolazione europea dell’intelligenza artificiale, ma applicata a sistemi complessi non può essere ridotta alla semplice disponibilità di informazioni sul loro funzionamento. Più informazioni non producono necessariamente più comprensione. Secondo Ida Koivisto, rendere qualcosa trasparente sembra promettere un accesso immediato alla realtà e, attraverso la visione, alla possibilità di comprenderla e controllarla. L’autrice parla di truth-legitimacy trade-off, sostenendo che nelle pratiche concrete la trasparenza non possa garantire entrambe e diventi uno strumento di costruzione delle apparenze. Un obbligo formalmente adempiuto può lasciare intatta l’opacità che avrebbe dovuto ridurre[3].

Neppure il diritto europeo identifica la trasparenza con l’accesso indiscriminato all’interno della macchina, ma la declina in relazione alle informazioni necessarie per comprendere e governare l’impiego dei sistemi di intelligenza artificiale. Per i sistemi ad alto rischio, l’AI Act costruisce un insieme di garanzie, gestione dei rischi, documentazione tecnica, registrazione degli eventi, sorveglianza umana, accuratezza, robustezza e cybersicurezza, e richiede che il loro funzionamento sia sufficientemente trasparente da consentire al deployer di interpretarne l’output e utilizzarlo adeguatamente. In casi determinati, l’AI Act riconosce inoltre alla persona interessata il diritto di ricevere spiegazioni sul ruolo svolto dal sistema nella decisione che la riguarda e sui principali elementi che l’hanno determinata.

Il GDPR muove da presupposti diversi e costruisce la trasparenza come un obbligo generale, applicabile a ogni trattamento di dati personali. Riserva poi una tutela specifica alle decisioni automatizzate riconoscendo inoltre all’interessato il diritto ad ottenere informazioni significative sulla logica utilizzata. La Corte di Giustizia dell’Unione Europea (Prima Sezione, 27 febbraio 2025, C-203/22) ha chiarito che questo diritto richiede una spiegazione della procedura e dei principi concretamente applicati, formulata in modo da permettere all’interessato di comprendere e contestare la decisione.

Dalla lettura di queste disposizioni emerge una trasparenza orientata allo scopo: il deployer deve poter utilizzare e sorvegliare adeguatamente il sistema, mentre la persona interessata deve poter comprendere il ruolo che esso ha avuto nella decisione e, quando ne ricorrono i presupposti, contestarne l’esito.

Per la trasparenza giuridicamente significativa, dunque, un sistema può essere sottoposto a regole sull’impiego, documentazione, test, registrazione degli eventi, controllo umano e contestabilità anche se non è disponibile una spiegazione meccanicistica completa della sua computazione.  Si tratta, infatti, di esigenze differenti. Carlotta Buttaboni e Luciano Floridi propongono di distinguere trasparenza, tracciabilità, interpretabilità e spiegabilità come dimensioni diverse ma interdipendenti dell’opacità dei sistemi di AI. Ognuna permette di osservare una parte del problema, nessuna è sufficiente da sola[4].

 

Le rappresentazioni dell’AI

Tra queste diverse forme di conoscenza, l’interpretabilità pone una domanda particolare: che cosa possiamo comprendere delle strutture che il modello ha sviluppato durante l’addestramento e del ruolo che svolgono nella produzione dei suoi risultati? Per affrontarla occorre prima capire, almeno nelle linee essenziali, che cosa accade quando un modello linguistico viene addestrato.

Un LLM viene esposto a enormi quantità di testi e, durante il pre-addestramento, impara a prevedere il token successivo: ogni previsione viene confrontata con il token atteso e l’errore viene utilizzato per modificare progressivamente i parametri. Ripetuto su enormi quantità di dati, questo processo permette al modello di apprendere regolarità riutilizzabili anche in contesti nuovi. Una parte dei dati di addestramento può essere memorizzata, ma, per generalizzare, il modello deve anche sfruttare strutture ricorrenti, come relazioni linguistiche, associazioni semantiche, entità, luoghi, tempi e molte altre regolarità presenti nei dati.

Quando un input attraversa la rete, i neuroni artificiali, cioè le unità computazionali che la compongono, producono valori numerici chiamati attivazioni. Questi valori cambiano in funzione dell’input e del contesto e, considerati insieme, formano configurazioni molto complesse. I ricercatori studiano se determinate informazioni siano codificate in queste configurazioni in modo abbastanza sistematico da poter essere individuate e, in alcuni casi, utilizzate dalle elaborazioni successive. In questo ambito si parla di rappresentazioni interne.

Non si tratta di un archivio, né si deve pensare che ad ogni neurone corrisponda un concetto. Una stessa informazione può dipendere dall’attività combinata di molti neuroni e gli stessi neuroni possono contribuire, in combinazioni diverse, a informazioni differenti. I ricercatori chiamano questo fenomeno sovrapposizione, o superposition: la rete codifica più informazioni di quanti siano i suoi neuroni, accavallandole su combinazioni che si intersecano.

Rappresentazioni interne, neuroni, intelligenza… quasi impossibile non fare un paragone tra “la conoscenza” delle macchine e quella dell’uomo. Ma dobbiamo tenere salda una premessa fondamentale: durante l’addestramento al modello viene chiesto di migliorare la propria prestazione rispetto all’obiettivo assegnato. Le strutture che emergono possono riflettere luoghi, oggetti, relazioni o altre proprietà presenti nei dati, ma si formano perché risultano utili alla computazione. Possono corrispondere anche ad alcuni aspetti della realtà, ma questa corrispondenza non è il criterio che le seleziona.

 

Mappe emergenti

Negli ultimi anni diversi esperimenti hanno cercato di capire quali informazioni possano essere rintracciate negli stati interni dei modelli e quale ruolo svolgano nella produzione degli output.

Wes Gurnee e Max Tegmark hanno analizzato le attivazioni della famiglia Llama 2 utilizzando strumenti statistici chiamati probe, o sonde, addestrati a verificare se dagli stati interni sia possibile ricavare una determinata informazione. Hanno trovato rappresentazioni lineari (recuperabili con una combinazione semplice dei valori di attivazione) dello spazio e del tempo. Dalle attivazioni era possibile, per esempio, recuperare informazioni sulle coordinate associate a luoghi o sulla collocazione temporale di persone ed eventi[5].

Ma trovare un’informazione negli stati interni non significa ancora aver dimostrato che il modello la utilizzi. È il limite dell’evidenza ottenuta attraverso le sonde. Per studiare questo rapporto in condizioni più controllabili, alcuni esperimenti hanno utilizzato modelli basati su architetture simili in domini più semplici, nei quali era possibile intervenire sulle rappresentazioni interne e osservare gli effetti sul comportamento. È ciò che è stato fatto con Othello, un gioco su un tavoliere di otto caselle per otto nel quale, per stabilire quali mosse siano consentite, occorre tenere conto ad ogni turno della posizione e del colore delle pedine in campo. Nel 2023, un modello simile a GPT è stato addestrato soltanto su sequenze di mosse, senza ricevere una rappresentazione esplicita del tavoliere. È emerso che dalle attivazioni della rete era possibile ricostruire lo stato della partita e, modificando quella rappresentazione interna, cambiavano in modo coerente anche le mosse previste dal modello. La rappresentazione non era quindi solo decodificabile, ma svolgeva un ruolo causale nel comportamento[6].

Il caso Othello ha fornito un’evidenza causale, ma quello del gioco è un piccolo mondo chiuso, con regole finite e stati verificabili. Che cosa accade quando l’ambiente a cui si riferiscono i dati è più complesso e la struttura interna del modello può essere confrontata con il mondo reale? Nel 2024 un altro studio ha analizzato alcuni modelli generativi addestrati su sequenze di spostamenti nella rete stradale di New York, precisamente Manhattan, senza che venisse fornita loro una mappa della città. I modelli producevano con buona accuratezza dei percorsi validi, ma quando i ricercatori hanno cercato di valutare la struttura geografica implicita nel loro comportamento, hanno rilevato che le mappe ricostruite contenevano strade con orientamenti impossibili e sovrappassi casuali, o addirittura inesistenti, [7]. I modelli avevano sviluppato strutture interne sufficientemente utili a prevedere gli spostamenti, che però non costituivano una buona mappa della città.

Le rappresentazioni emergenti, pertanto, non dicono necessariamente che cosa la macchina “sa” del mondo, mostrano piuttosto quali strutture computazionali abbia sviluppato per produrre il proprio comportamento. Al momento si può solo osservare che in alcuni modelli emergono strutture coerenti con quello che conosciamo, in altri no, e non è ancora chiaro cosa distingua i primi dai secondi.

 

Ingegneria inversa

L’interpretabilità meccanicistica lavora come una sorta di ingegneria inversa applicata ad una rete di cui si conoscono l’architettura e il processo di addestramento, ma non l’organizzazione interna che ne è risultata. Sono studi complessi perché, come già visto, le informazioni apprese dai modelli non si presentano necessariamente in elementi già separati e riconoscibili (fenomeno della sovrapposizione). Per rendere più leggibili queste configurazioni, vengono utilizzate anche altre reti neurali, come gli sparse autoencoder, che analizzano le attivazioni e cercano di scomporle in configurazioni più semplici e ricorrenti, chiamate feature. Una feature, però, è soltanto una struttura matematica e per interpretarla si osservano gli input che la attivano maggiormente, cercando le caratteristiche che hanno in comune e formulando un’ipotesi sul significato che può esserle attribuito.

Nel 2024 i ricercatori di Anthropic hanno applicato questa tecnica a uno strato di Claude 3 Sonnet e hanno osservato che una delle feature individuate reagiva al Golden Gate Bridge in contesti diversi, compresi riferimenti testuali, immagini e lingue differenti. Hanno pertanto associato quella struttura matematica al ponte e rilevato che, quando aumentavano artificialmente l’intensità di quella feature (forzandone l’attivazione anche in contesti in cui normalmente sarebbe rimasta inattiva), Claude tendeva a introdurre il Golden Gate Bridge anche in conversazioni nelle quali non era pertinente. L’intervento sul modello forniva quindi un’evidenza ulteriore del ruolo di quella struttura nel comportamento osservato[8], ma gli stessi ricercatori hanno riconosciuto che le feature estratte erano incomplete e che non erano ancora disponibili metodi rigorosi per stabilire quanto catturassero fedelmente la computazione originale.

Non stiamo dunque “leggendo i pensieri” delle macchine, stiamo costruendo strumenti sperimentali per formulare ipotesi sulle strutture matematiche sviluppate dai modelli, sulla funzione che svolgono e sui meccanismi attraverso i quali contribuiscono agli output. Questa cautela linguistica è importante, perché espressioni come “intelligenza”, “scatola nera” e “allucinazione” rendono fenomeni complessi più facili da immaginare e comprendere, ma possono anche trasferire sui sistemi artificiali categorie e presupposti che appartengono ad altri domini[9].

 

Rappresentazioni di rappresentazioni

Il problema non riguarda soltanto le parole con cui descriviamo le macchine, ma anche il rapporto tra la rappresentazione e ciò che rappresenta. La trahison des images è il titolo di un dipinto di René Magritte del 1929, nel quale è raffigurata con grande precisione una pipa accompagnata dalla frase Ceci n’est pas une pipe (Questa non è una pipa). Quella sulla tela è solo la rappresentazione della pipa e la stessa parola “pipa” non è l’oggetto, ma un segno che utilizziamo per riferirci a esso. Riconosciamo immediatamente la pipa e, proprio perché la rappresentazione funziona, tendiamo a far coincidere l’immagine con ciò che rappresenta. Magritte rende visibile la distanza tra una cosa, la sua rappresentazione e i segni con cui la indichiamo.

Con i modelli linguistici questa distanza si moltiplica. Un modello, sia esso puramente linguistico o multimodale, non viene addestrato direttamente sul mondo, ma su dati che ne rappresentano aspetti diversi. Testi, immagini, registrazioni, misurazioni e altri materiali costituiscono già una selezione e una codifica della realtà. Il modello apprende regolarità dai contenuti che sono rappresentazioni del mondo e il suo output viene poi sottoposto ad interpretazione da parte dell’uomo. Ad ogni passaggio qualcosa viene conservato, qualcosa selezionato e qualcosa trasformato.

Le rappresentazioni emergenti che troviamo negli LLM sono dunque rappresentazioni costruite a partire da altre rappresentazioni. Questo non le rende false o irrilevanti, ma significa che domandarsi quale “conoscenza del mondo” sia contenuta al loro interno rischia di incorporare nella domanda ciò che dovrebbe essere dimostrato.

La domanda sperimentalmente più prudente riguarda quali relazioni presenti nei dati siano state incorporate nelle strutture interne del modello, in quale forma e con quale funzione nella computazione. Il caso Manhattan, infatti, mostra che una struttura interna può essere imperfetta rispetto al territorio, ma utile rispetto all’obiettivo per il quale si è formata.

 

Le regole del futuro

Interpretabilità e trasparenza si incontrano senza coincidere. Sarebbe un errore far dipendere la possibilità di governare un sistema dalla capacità di spiegarne integralmente il funzionamento interno, perché la trasparenza utile a comprendere e contestare una decisione può non richiedere la ricostruzione dei circuiti del modello.

La metafora della scatola nera descrive qualcosa di reale, una parte dell’opacità dei sistemi di AI è effettivamente interna alla macchina. Ma dice anche dove guardare[10], suggerendo che l’opacità sia circoscritta all’interno del modello e che, una volta ricostruiti i suoi meccanismi, possa dissolversi. Molte delle decisioni che contano non stanno però dentro la scatola. Quali dati utilizzare, quale sistema acquistare, da chi e con quali garanzie contrattuali. Quale compito affidargli e quale no, quanto peso attribuire al suo output quando contraddice il giudizio di una persona. Quali controlli predisporre, con quali competenze e a quale costo; chi risponde delle conseguenze. Sono tutte decisioni umane e organizzative, databili, documentabili, riferibili a qualcuno. Quando un sistema di intelligenza artificiale produce un danno, il punto cieco può trovarsi fuori dal modello, in un’opacità che non dipende dalla complessità della rete e che non deve attendere il progresso della ricerca, perché è già accessibile oggi.

Questo non riduce l’importanza dell’interpretabilità. Molto potrebbe cambiare se diventasse possibile individuare in modo affidabile determinati meccanismi interni, verificarne la stabilità o riconoscere configurazioni causalmente associate a comportamenti indesiderati.

Agli audit sugli output e sui processi potrebbe allora aggiungersi una nuova forma di verifica capace di integrare, senza sostituirli, la governance dei dati, i test, la valutazione dei rischi, la sicurezza e la sorveglianza umana. Ma siamo ancora lontani da questo. Servono metodi validati, riproducibili e scalabili e criteri condivisi per stabilire quando un’interpretazione sia sufficientemente fedele al meccanismo che pretende di descrivere. Serviranno inoltre condizioni che consentano alla ricerca indipendente di verificare risultati che oggi provengono in parte dai laboratori delle stesse imprese che sviluppano i modelli.

L’interpretabilità è necessaria e lo sarà di più. Ma la trasparenza che permette a una persona di comprendere e contestare una decisione si costruisce anche fuori dalla rete, nelle scelte, nei documenti e nelle responsabilità di chi ha voluto, acquistato e messo al lavoro quel sistema. Le regole del futuro dovranno richiedere entrambe, sapendo perché le chiedono e senza confonderle.

 

---

NOTE

[1] Dario Amodei, The Urgency of Interpretability, consultabile qui.

[2] OpenAI, Understanding neural networks through sparse circuits.

[3]Ida Koivisto, The Transparency Paradox: Questioning an Ideal, Oxford University Press, 2022, consultabile qui.

[4] (Carlotta Buttaboni, Luciano Floridi, A regulatory taxonomy of AI opacity in the EU, AI and Ethics, 6, 100, 2026, https://doi.org/10.1007/s43681-025-00940-0).

[5] Wes Gurnee, Max Tegmark, Language Models Represent Space and Time, ICLR 2024, consultabile qui.

[6] Kenneth Li et al., Emergent World Representations: Exploring a Sequence Model Trained on a Synthetic Task, ICLR 2023, consultabile qui.

[7] Keyon Vafa et al., Evaluating the World Model Implicit in a Generative Model, NeurIPS 2024, consultabile qui.

[8] Anthropic, Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet, consultabile qui.

[9] Claudio Novelli, Luciano Floridi, Stefan Larsson, Mariarosaria Taddeo, Steven L. Winter, The Artificial in “Artificial Intelligence”: How Imagination Shapes AI Regulation, International Journal for the Semiotics of Law, 2026, consultabile qui.

[10] Novelli et al., cit.