Il nuovo Genio Maligno: dal pensiero aumentato al pensiero alterato 

Abstract

Il filosofo Cartesio postulò un Genio del Male in grado di controllare la stessa realtà sensibile dell’osservatore, frapponendosi tra il reale e il percepito: un “Grande Ingannatore” il cui unico scopo è rendere ogni decisione arbitraria in quanto frutto di dati manipolati. Nel mondo dell’algoritmo e delle AI, il Genio del Male veste i panni del benevolo assistente virtuale e della “bolla social” che ci mostra ciò che potrebbe manipolarci illudendoci che sia quello di cui abbiamo bisogno. AI Act, DSA e simili strumenti normativi e culturali diventano il paradigma con cui Cartesio proponeva di combattere “tutte le astuzie di questo grande ingannatore”, insidioso perché egli stesso inconsapevole di essere null’altro che il nostro stesso oscuro riflesso tecnologico.

Introduzione

Non è facile rileggere la modernità senza partire dalla distopia e dal filosofico, tema conduttore di molti interventi sui passati numeri di questa testata. Il fatto è che semplicemente prospettive che il genere umano percepiva come problemi lontani nel tempo, problemi filosofici e sfide del pensiero, sono arrivati nel reale prima che ci si potesse preparare per tempo.

Strumenti normativi come AI Act e DSA, e strumenti culturali come IDMO, EDMO e IFCN (osservatori sulla veridicità delle notizie online e sul fenomeno della fake news) intervengono nel momento in cui il Genio del Male di Cartesio, ente del pensiero e da esso generato, fuoriesce dalla lampada come una profezia autoavverante che nutre il pensiero con dati e informazioni alterati e manipolati per omissione, manipolazione o falsificazione diretta, consapevole o meno, con pochi strumenti per distinguere il vero dal falso.

Non è un caso che ben si adatti la metafora del Genio: il “genio in bottiglia” tipico della cultura mediorientale è un essere di grande potere, in grado di esaudire ogni desiderio del suo padrone ma, limitato dai confini dei desideri espressi, incline a diventare un Ifrit pronto a deviare ed alterare quello che chiameremmo l’output finale dei desideri per condurre gli umani alla rovina (come nella Storia del Pescatore). E il Genio in Bottiglia, una volta liberato, non può essere semplicemente rinchiuso senza pagar dazio, a meno che non si usi la saggezza intenzionale dell’uomo e non del Djinn.

Una AI non è intenzionale, è pensiero digitale senza volontà, collazione statistica di dati tutt’altro che perfetta, evoluzione suprema del “Dio Algoritmo” che nei Social Network si spinge a riscrivere e ridefinire la realtà in bolle tribali di scontro e sopraffazione, echo chamber in cui la realtà simulata diventa decisione alterata. Diversi gruppi di utenti credono ormai in diverse realtà generate dal Genio Malvagio, tutte egualmente valide, tutte egualmente false, rendendo l’esperienza sensibile stessa l’obiettivo impossibile descritto da Cartesio.

Io supporrò, dunque, che vi sia, non già un vero Dio, che è fonte sovrana di Verità, ma un certo cattivo genio [genium aliquem malignum], non meno astuto e ingannatore che possente, che abbia impiegato tutta la sua industria ad ingannarmi. Io penserò che il cielo, l’aria, la terra, i colori, le figure, i suoni e tutte le cose esterne che vediamo, non siano che illusioni e inganni, di cui egli si serve per sorprendere la mia credulità. (Sesta Meditazione, R. Descartes, Opere, Laterza, Bari, 1967, vol. I), diceva quindi Cartesio, raccomandandosi di preparare così bene il mio spirito a tutte le astuzie di questo grande ingannatore, che, per potente ed astuto ch’egli sia, non mi potrà mai imporre nulla (Ibidem).

 

Le astuzie del Grande Ingannatore

Non si ritenga che il Grande Ingannatore sia esclusivamente composto dal suo mezzo di azione più recente, ovvero l’AI, bensì il sovrano del Pensiero Alterato si poggia anche sulla natura dionisiaca e non apollinea dell’algoritmo. I social non sono trasparenti, anche se il nostro Grande Ingannatore sa simulare bene la trasparenza, offrendo contenuti che parlano alla pancia e non alla mente, a Dioniso e non ad Apollo, sussurrando alle orecchie dell’ascoltatore la descrizione di una realtà basata sui suoi stessi pregiudizi, come il Grima Vermilinguo de Il Signore degli Anelli corrompeva Re Theoden spingendolo ad azioni contrarie al suo usuale sentire.

L’effetto immediato è il trionfo della bolla: i Social che smettono di premiare il contenuto di peso per premiare il bad actor in grado di suscitare le emozioni più forti, con l’effetto di controllare la realtà stessa agendo sulla percezione digitale. Il Grande Ingannatore può ora riempire quella bolla di esperienze che sembrano sensoriali ma non lo sono, testimonianze “più vere del vero” create integralmente con mezzi virtuali. Se ad esempio l’utente viene esposto a presunte “foto del Presidente Ucraino con Epstein”, astutamente ritoccate per evitare il marchio SynthID inserito da Google (che pure non è di immediata percezione, ma richiede verifiche che non tutti gli utenti compiono) o sottoposto come a Southport nel Regno Unito di un anno fa ad una vera e propria realtà alternativa di fake news xenofobe e pronte ad incitare all’odio, allora le astuzie del Grande Ingannatore sono andate oltre l’umano per tracimare nel disumano. Nell’era del deepfake, ingegneria sociale, revenge porn e fake news sono entrati nello stesso dominio del Grande Ingannatore pronto a fornire i suoi servizi al bad actor di turno ma in un modo così assoluto da sopravvivere alla volontà dell’umano che l’ha invocato.

Si tratta del Teorema di Brandolini o asimmetria della disinformazione: il Grande Ingannatore può generare quantità di dati alterati in grado di diventare informazioni alterate pronte a tracimare nel pensiero alterato, realizzando l’incubo di Cartesio, senza alcuna possibilità di una facile difesa, che dopo l’uso restano come sedimenti nella Rete, immortalati nei motori di ricerca e nelle condivisioni.

Una difesa esiste, ma per i motivi di seguito precisati non può che passare da un movimento multidisciplinare che abbracci sia la società che il diritto e la tecnica.

 

Gli strumenti per combattere il Grande Ingannatore

Su queste pagine è stato recentemente pubblicato un intervento su come sopravvivere alla Singolarità Tecnologica, dal quale è possibile trarre indizi per il prosieguo.

Quello che il lettore avrà sicuramente notato è una assenza tra gli strumenti proposti per “contrastare la AI” dei “mezzi di analisi a mezzo AI”: la materia non segue infatti la regola fisica del simile che dissolve o attira il simile. Al contrario per una serie di diverse ragioni (che si può ragionevolmente prevedere saranno anche affrontate da altri relatori su queste pagine) tali strumenti sono inclini al falso positivo e aggiungono all’inganno del Grande Ingannatore il duplice inganno della falsa accusa e della falsa assoluzione. In un esperimento tecnico il Dottor Carlo Santagostino, decano della Cultura Digitale Italiana ha dimostrato come i “rivelatori di testo AI” falliscono a tal punto da accusare testi redatti con regole di composizione rigorose e/o assurti al rango di fonte primaria per testi di altro tipo, come la Costituzione Italiana stessa, di essere redatti con la AI, mentre Filogico (ex Bufale.net) ha individuato almeno due casi di foto e video AI di scarsissima riconoscibilità “promossi” dalle “AI di verifica”.

Gli strumenti della ingenuità (perplexity) e del ritmo (burstiness) possono distinguere la spontaneità umana, ma incartarsi davanti ad un contenuto tecnico: chi vi scrive ha sottoposto la prima revisione di questo testo a tre diversi AI Detector ottenendo due certificazioni di “umanità” ed un invito a rivedere “una frase ad alto rischio” ed una “a rischio medio”. Su portali come il citato Filogico si potrà notare un numero di creazioni del Grande Ingannatore nate dal prompt “Grok, dimmi se questa notizia è vera”, che in più di un caso ha restituito output erronei basati su feroci bias di conferma, false accuse ed errori fattuali, arrivando in un caso ad inventare una completa falsa biografia per un soggetto invece chiaramente identificato dalla stampa.

La soluzione è ricorrere all’intervento umano: in questa chiave possiamo leggere il Digital Service Act, ovvero il DSA, che coinvolge le c.d. VLOPS (“Piattaforme online molto grandi”) e i VLOSE (“Grandi Motori di Ricerca”, per comprendere si parla di social, motori di ricerca e piattaforme di e-commerce quali X, TikTok, Instagram, Wikipedia, Zalando, AliExpress, Amazon, Apple AppStore, Bing, Booking, Facebook, Google Search, Google Play, Google Maps, Google Shopping, LinkedIn, Pinterest, Snapchat e YouTube) imponendo una serie di obblighi di trasparenza alle piattaforme.

Cartesio si liberava dall’inganno del Genio comprendendo che se nulla era reale tranne il cogito, ergo sum, l’uomo moderno potrà trarre giovamento dal fatto che nell’egida del DSA diventa impossibile esibire all’utente annunci profilati su orientamento sessuale, religione, simpatie politiche o altri dati sensibili, fornendo altresì strumenti di trasparenza per capire come un ad lo ha raggiunto e da quale finanziamento esso deriva, togliendo al Genio la capacità di presentare contenuti c.d. astroturfing, ovvero calati dall’alto m in grado di simulare il contenuto dal basso.

Altresì, il DSA impone a VLOPS e VLOSE la predisposizione di strumenti per il contrasto del contenuto illegale (contenuti di odio, fake news, pedopornografia e cyberbullismo), in base ai principi cardine di trasparenza (art. 17), accountability (art. 34), verifica (art. 40), nonché i principi essenziali di conformità (art. 14), rendendo trasparente quello che finora è stato descritto coi termini della filosofia e delle scienze umane ma con il linguaggio dell’informatica diventa il dark pattern, la collezione di algoritmi che raffigurano e descrivono la linea di azione del Grande Ingannatore, ente esponenziale nato dalla combinato dell’elemento umano e della sua intenzionalità con la grande capacità di produzione, diffusione e interpolazione dei dati dell’Algoritmo e degli strumenti informatici che di esso si servono, condividendo dati rilevanti con autorità e ricercatori.

Si eviterà così l’insorgere di nuove campagne di profilazione occulta e massiva come il caso Cambridge Analytica, emblema in un 2018 ormai lontano dalla memoria dell’uso filibustiero dei social come mezzo di data mining teso alla creazione di pattern di influenza e pensiero che se sei anni fa sembrava una futuristica e imprevedibile distorsione della vita collettiva del cittadino 2.0 è ora una minaccia costante incarnata in nuovi bad actors.

Non è affatto peregrino ritenere che tale scoperta dell’uso della profilazione massiccia come mezzo per dirigere e influenzare il pensiero altrui non abbia cessato di esistere assieme al suo primo operatore noto, ma abbia anzi accresciuto il suo raggio di azione: questa disquisizione parte proprio dal concetto che il Genio Maligno è in realtà un moderno Djinn, come tale riottoso se non incapace per natura a tornare nella sua bottiglia e pronto a tornare in nuove forme il cui scopo è “giurare di aprire tutti i tesori della terra a chiunque [lo] avesse liberato” e, allo stesso tempo “[farlo] tosto morire, non accordandogli verun’altra grazia, fuorché la scelta della morte” (Le Mille e una Notte, Notte X, Traduzione dall’arabo di A. Galland, E. Destains, A. F. Falconetti – 1852). Lo “schiavo della lampada” diventa così una “macchina infernale” priva di intenzionalità ma ancora capace di amministrare dannazione e ricompensa con una singola azione.

Il che ci porta all’AI Act, regolamento (UE) 2024/1689, primo quadro giuridico a livello mondiale di regolamentazione della AI che, proseguendo la metafora del Genio Maligno come moderno Genio della Lampada, Djinn benevolo o demoniaco Ifrit, guarda in faccia l’Astuto Ingannatore e ne prende le misure, scegliendo un approccio basato sul rischio. Se c’è una cosa che le storie di Aladino e del Pescatore hanno insegnato a generazioni di discenti è che il rischio dello stringere patti con un Genio Ingannatore è insito nella natura del Genio (un Disneyano Robin Williams potrebbe avere “salvaguardie etiche” superiori a quelle di un Ifrit furioso per essere stato imprigionato dal Re Salomone) ma anche nel desiderio espresso. L’AI Act comprende un approccio risk based, suddividendo le attività delle AI secondo la duplice direttrice cartesiana della probabilità di verificarsi e la gravità del danno cagionato.

Esprimere il desiderio sbagliato al Genio è una fonte di rischio, vederlo esaudito distorto è parimenti fonte di rischio e, sommate, abbiamo la portata del risultato finale del patto col Grande Ingannatore.

Al vertice di una ipotetica piramide del rischio risulta il rischio inaccettabile, la distopia accertata, la creazione di sistemi di social score o “sorveglianza premiale” che crei una “patente a punti” dei diritti fondamentali basata su una profilazione algoritmica di massa. Segue il rischio elevato, applicazioni in cui, proseguendo la metafora, il Genio si presenta benevolo e non maligno e ingannatore, ma non può essere lasciato senza supervisione umana: si pensi al caso delle vetture a guida automatica, delle applicazioni di valutazione e scoring del credito, dei sistemi di sorveglianza e dell’analisi medica aumentata. A tutti piacerebbe un chatbot in grado di diagnosticare malattie, un’auto in grado di guidare da sola sollevandoci dall’alea del sinistro e un database che identifichi potenziali criminali e allerti le autorità. Ma casi come GoogleMed che inventa il Ganglio Basilare (organo nato da un errore sulla parola basale), la “contaminazione” comprovata da NewsGuard dei mezzi di ricerca su AI mediante creazione di dataset alterati (finti siti di notizie) e la pesante influenza delle citate fake news “powered by AI” in algoritmi e bolle social fino a tracimare nell’erosione di libertà fondamentali come quella elettorale tali attività non dovranno mai prescindere da una profonda supervisione e revisione umana con chiari criteri di trasparenza, e per questo è necessario un forte controllo umano sotto l’egida della norma. Seguono le operazioni a rischio limitato, ad esempio i sistemi diffusi di AI Generativa, cui viene demandata assoluta trasparenza, arrivando così a limitare il deepfake (la cui portata verrebbe ridotta ancorché non azzerata da una chiara annotazione del contenuto artificiale in quanto tale) e ridurre la proliferazione del “fotoromanzo social”, la storia virale generata e diffusa con AI che agisce sulle emozioni più dionisiache per diffondersi, seguite dalle operazioni a minimo rischio senza rischi di privacy e sicurezza.

In ogni caso, l’AI Act predilige e suggerisce anche nei casi di assenza di obbligo legale la presenza di codici etici e morali nell’uso delle AI, ponendosi nella situazione delle Tre Leggi di Asimov che nella sci-fi conferiscono al robot sia una (almeno parziale) sicurezza nell’uso che la mimesi di una personalità retta e carica di principi umani.

Le due citate normative vanno viste e rilette alla luce di una sinergia: considerando la metafora del Genio Ingannatore, AI Act rappresenta le manette che costringono i “fenomenali poteri cosmici” del genio di Aladdin (film del 1992) in un “minuscolo spazio vitale”, o almeno in un spazio di manovra sorvegliato, mentre DSA agisce non già sull’utente finale, ma sull’utilizzatore primario di una pletora di strumenti tra cui anche le AI, come algoritmi e Dark Patterns: colpisce quindi il “Padrone della Lampada” spingendolo ad usare il potere del Genio nel modo responsabile di Aladino e non dello sfacciato Jafar.

I detti strumenti normativi non possono prescindere dagli strumenti di consapevolezza: restano ancora seminali le azioni degli osservatori nazionali e internazionali (IDMO, EDMO) sulla diffusione di deepfake e fake news e quel genere di educazione alla cultura digitale cara al progetto Digeat: se per Cartesio bastava sapere di esistere e accettare l’inganno, diventa ora essenziale conoscere oltre noi stessi i mille volti del Grande Ingannatore. D’altronde, premessa fondamentale e neppure occulta della figura del Genio in Le Mille e una Notte è la consapevolezza che il Re Salomone avrebbe potuto semplicemente bandire i Djinn dal mondo (ne brandiva l’autorità), ma persino l’uomo più saggio del Mito abbia invece preferito incidere simboli arcani su lampade e bottiglie (equivalente mistico delle “salvaguardie etiche”) per fornire loro confini.

 

Ostacoli e resistenze

Il 5 Dicembre 2025, per una serie di ragioni X, di Elon Musk è diventato il Jafar di questa storia: la grafica ingannevole delle spunte blu (che non garantiscono un uso corretto della risorsa, ma la liquidità e solvibilità dell’abbonato), l’assenza di trasparenza e cooperazione ed altre mancanze tra quelle sin’ora citate hanno portato ad una sanzione da 120 milioni di dollari.

Sanzioni cui è seguita una feroce reprimenda dell’Amministrazione Statunitense, un j’accuse di 200 pagine che sembra considerare la responsabilità di VLOP e VLOSE equipollente alla censura, citando esplicitamente ed in modo anche sfacciato la limitazione di contenuti transfobici diffusi durante le elezioni Slovacche del 2023 con lo scopo (malcelato) di contribuire al pensiero alterato e influenzato come esempio di “censura inaccettabile”.

Effettivamente, in tempi di instabilità geopolitica il controllo del Genio del Male diventa un atto di forza, e in un mondo in cui le Big Tech ed i loro interessi si fondono e si intersecano con la politica nazionale e internazionale imporre limiti alle stesse è un atto politico ancor prima che tecnico e colui che viene chiamato da alcuni Bad Actor per altri è espressione di interessi politici ed economici.

Si sommi a tali riflessioni l’abbandono con cui l’utente finale è più incline ad accettare i vantaggi di una nuova tecnologia che affrontarne gli svantaggi, regolamentandone l’uso, e si tornerà alla dialettica tra futuristi e luddisti, sabotatori e araldi delle nuove tecnologie, e nell’illusione di poter essere sempre l’Aladino elevato dalla povertà al trono di Agrabah e mai il soggetto in balia delle illusioni del Genio.

 

Il caso Emily Hart

“La potenza è nulla senza controllo”, ricordava un noto spot del 1995, e la cronaca è piena di casi di Chatbot usati come succedanei dell’interazione umana e latori di manie e ideazioni suicidarie, nonché fenomeni ancora più strani.

In un caso recentissimo che dimostra la necessità di avere una regolamentazione delle AI, uno studente di medicina indiano diventato truffatore online (scammer) è riuscito in una tripletta di infrazioni: alterazione del processo decisionale del pubblico, furto di identità e dati biometrici e scam. Lo studente ha infatti creato Emily Hart, pasionaria moderna dell’attuale POTUS con le sembianze dell’attrice Jennifer Lawence, il nome dell’attrice Emily Hart (sorella della più famosa Melissa Joan) e lo scopo di raccogliere soldi per il suo creatore vendendo nudi virtuali e campagne elettorali improvvisate. Sarebbe ingenuo pensare che simili inganni non siano esistiti in passato, colpisce l’attenzione il fatto che il creatore della Emily 2.0 dichiari di “aver lavorato solo 30-50 minuti al giorno” per raccogliere “più soldi di quanto un professionista nel mio paese potrebbe guadagnare”, oltre a consensi.

Abbiamo quindi non più un Genio Ingannatore, ma eserciti di Geni Ingannatori liberati da Aladini di varia consapevolezza, ed abbiamo l’ammissione esplicita che la creazione Emily è sfuggita ad ogni controllo etico e morale di VLOSE e VLOPS prima di interrompere la sua avventura.

 

Conclusione

L’approccio alle AI non può passare dal proibizionismo, e neppure dal lassismo. Una combinazione di approccio culturale (vedasi Digeat 8: Signs of digital life), legislativo e della mobilitazione consapevole e non filibustiera delle Big Tech consentirà di superare il Grande Ingannatore opponendogli non già il penso quindi esisto ma il mio pensiero umano non sarà alterato dal pensiero non umano.