L’illusione di ragionamento nell’intelligenza artificiale

Ho chiesto a un’intelligenza artificiale di interpretare la mia idea di destino.

Mi ha risposto con un ragionamento denso, articolato, assolutamente comprensibile. Non si è limitata a riformulare quello che avevo scritto. Ha isolato premesse implicite, ha distinto piani del discorso, ha messo in tensione alcune mie tesi e mi ha portato verso una conclusione che sembrava inevitabile.

Quella conclusione, però, confutava l’esistenza stessa del destino.

L’effetto era sorprendente. Non perché la risposta fosse semplicemente brillante, ma perché sembrava il prodotto di un pensiero.

Il testo procedeva come procede un ragionamento: prendeva sul serio un’ipotesi, la sviluppava, ne mostrava le conseguenze, ne faceva emergere le contraddizioni. Mi costringeva a valutare le mie idee dall’esterno. Mi restituiva qualcosa che riconoscevo come mio, ma trasformato in una struttura più chiara, più severa, più difficile da eludere.

Mi sono sorpreso a pesare le argomentazioni, a rivalutare la mia tesi, a ripercorrere i passaggi logici del chatbot come se fossero una dimostrazione matematica.

E mi sono reso conto che l’illusione di ragionamento nasce proprio lì: quanto più il testo funziona.

Che cos’è l’illusione di ragionamento

L’illusione di ragionamento è lo slittamento con cui scambiamo la forma di un ragionamento per l’esistenza di un processo deliberativo.

Quando una risposta è ordinata, densa, progressiva, capace di portarci da una premessa a una conclusione, tendiamo a interpretarla come la traccia di un pensiero. Vediamo una struttura e le attribuiamo un’origine.

Il testo sembra avere attraversato il problema; quindi immaginiamo che qualcosa lo abbia effettivamente attraversato.

Sembra avere valutato alternative; quindi immaginiamo che vi sia stata una valutazione.

Sembra arrivare a una conclusione; quindi immaginiamo che quella conclusione sia stata scelta.

Questo è il passaggio decisivo: dalla forma del ragionamento all’idea che ci sia stato un ragionamento.

Perché una risposta ben scritta può ingannare

Gli errori più evidenti vengono dopo: la fonte inventata, il dato sbagliato, la data inesatta. Quelli sono difetti del contenuto.

L’illusione di ragionamento riguarda invece il modo in cui interpretiamo l’origine del contenuto.

Una risposta può sembrare corretta perché è elegante. Può sembrare utile perché è ordinata. Può sembrare vera perché conduce con sicurezza da una premessa a una conclusione.

Ed è qui che il rischio aumenta.

Quando l’output è chiaramente falso, lo respingiamo. Quando è confuso, diffidiamo. Ma quando è fluido, coerente e apparentemente utile, tendiamo a concedergli credito.

La forma argomentativa anticipa la verifica del contenuto: prima ci persuade, poi — forse — la controlliamo.

L’illusione non dipende quindi dalla falsità dell’output in sé. Dipende dal fatto che scambiamo una continuità statistica per una scelta motivata, e lasciamo che l’apparenza di ragionamento funzioni come garanzia implicita di correttezza.

Come ragiona davvero un modello linguistico?

Un modello linguistico genera prosecuzioni.

Pesa alternative testuali, privilegia certe traiettorie semantiche, ne deprime altre, conserva compatibilità locali con il contesto. Quando più possibilità entrano in tensione, non decide nel senso umano del termine. Interpola.

Produce un punto di equilibrio tra segnali concorrenti.

Eppure, quando quel punto di equilibrio assume la forma di una confutazione, di una deduzione o di una sintesi, noi lo leggiamo come ragionamento.

Vediamo una tesi iniziale, una serie di passaggi e una conclusione. Poiché quella struttura è la struttura riconoscibile dell’argomentazione, tendiamo ad attribuirle anche il processo che negli esseri umani la produce: confronto tra alternative, esclusione, scelta, impegno verso una conclusione.

Il ragionamento, nel senso ordinario del termine, è scelta motivata.

Implica criteri, esclusioni, responsabilità inferenziale. Implica la possibilità di difendere una conclusione perché la si è adottata contro altre.

Il modello, invece, non adotta una conclusione.

La genera.

Il caso del 2, 1, 3: quando la casualità diventa schema

Questa differenza diventa evidente in un esempio minimo.

Ho chiesto a un modello di scegliere casualmente tra tre numeri: 1, 2 o 3.

Ha risposto: 2.

Poi, alla richiesta di rifarlo, ha risposto 1.

Poi 3.

Poi di nuovo 2, 1, 3.

E ancora 2, 1, 3.

La sequenza completa era:

2, 1, 3, 2, 1, 3, 2, 1, 3.

Se la scelta fosse casuale, ci aspetteremmo prima o poi una rottura dello schema. Un generatore casuale potrebbe naturalmente produrre anche una sequenza ordinata. Ma proprio perché la intendiamo come casuale, ci aspettiamo una distribuzione senza intenzione visibile, senza ritmo, senza eleganza.

Quella sequenza, invece, era troppo leggibile.

Sembrava quasi una firma.

Il punto, però, non è che il modello abbia “deciso” di seguire il pattern. Sarebbe già una lettura troppo psicologica.

Il punto è che un modello linguistico non sta lanciando un dado. Sta producendo una risposta appropriata alla richiesta “scegli casualmente”.

E in quel contesto ripetere sempre lo stesso numero sarebbe poco soddisfacente. Un assistente che rispondesse ogni volta “2” apparirebbe rigido, inutile, quasi rotto.

La variazione diventa allora un vincolo implicito.

Dopo avere scelto un numero, al giro successivo è statisticamente più plausibile produrne un altro. Dopo avere prodotto una piccola sequenza ordinata, può diventare localmente plausibile continuarla.

La sequenza 2, 1, 3 ripetuta tre volte non va quindi letta come una decisione nascosta, né come una casualità fallita in senso banale.

È più interessante di così: mostra come il modello possa interpolare tra due esigenze incompatibili.

Da un lato deve rispondere “a caso”.

Dall’altro deve comportarsi come un interlocutore utile: variare, non bloccarsi, non sembrare meccanico.

Il risultato non è una scelta casuale. È una variazione statisticamente plausibile che finisce per generare ordine.

Perché l’AI sembra seguire una strategia

Nel caso del 2, 1, 3, il modello sembra avere seguito una regola.

Ma quella regola non è stata scelta come criterio. È emersa come effetto locale di vincoli impliciti: non ripetere troppo, mostrare varietà, restare nel set delle opzioni, continuare coerentemente la conversazione.

Ciò che appare come strategia può essere il residuo visibile di una pesatura.

La cosa interessante è che il modello non rompe necessariamente lo schema proprio perché rompere lo schema richiederebbe, in un certo senso, assumere la casualità come criterio superiore alla continuità conversazionale.

Ma il modello non assume criteri.

Pesa segnali.

Se il segnale della variazione ordinata diventa forte, la prosecuzione ordinata può risultare più probabile della rottura.

Quando l’interpolazione sembra pensiero

Lo stesso accade nei testi argomentativi, ma in modo più persuasivo.

Un modello può produrre concessioni, distinzioni, obiezioni, cautele, esempi e conclusioni. Può scrivere “da un lato”, “tuttavia”, “quindi”, “ne consegue che”.

Questi marcatori appartengono al genere discorsivo del ragionamento. Segnalano al lettore che il testo va interpretato come argomentazione.

Non garantiscono però che dietro l’argomentazione vi sia stata una scelta motivata.

Quando più cluster semantici entrano in tensione — prudenza e decisione, creatività e accuratezza, fedeltà alla tesi iniziale e sua possibile confutazione — il modello tende a produrre una composizione locale.

Il risultato può sembrare equilibrio, sintesi, perfino lucidità critica.

Spesso è una media linguistica ben formata.

Questa è la parte più insidiosa: l’interpolazione non produce necessariamente risposte confuse. Al contrario, può produrre testi coerenti nel modo giusto.

Abbastanza ordinati da sembrare pensati.

Abbastanza sfumati da sembrare ponderati.

Abbastanza conclusivi da sembrare scelti.

La mia conversazione sul destino funzionava esattamente così.

L’intelligenza artificiale non si era limitata a dirmi “hai torto”. Aveva costruito un percorso. Aveva dato alla confutazione una forma rispettosa, progressiva, quasi necessaria.

Per questo risultava convincente.

Non perché avesse scelto razionalmente contro il destino, ma perché aveva generato una traiettoria linguistica nella quale quella conclusione appariva motivata.

Questo non rende automaticamente falsa la conclusione. Una frase può essere vera anche se è stata prodotta senza comprenderla. Un’argomentazione può reggere anche se è stata generata da un sistema che non ha deliberato.

Il punto è un altro: la validità va controllata dall’esterno.

Non discende dall’impressione che il testo sia stato pensato.

Perché l’illusione di ragionamento è pericolosa

L’illusione di ragionamento è particolarmente pericolosa quando chiediamo informazioni su un argomento che non conosciamo abbastanza.

Se conosco bene una materia, posso accorgermi dei vuoti. Posso vedere che manca una premessa, che una distinzione è troppo grossolana, che una fonte è debole, che una conseguenza non segue davvero.

Posso notare il punto in cui il testo è elegante ma fragile.

Se invece non conosco la materia, sono esposto alla forma.

E la forma può essere molto convincente.

Una risposta ben costruita può darmi la sensazione di avere ricevuto non solo un’informazione, ma una spiegazione. Può farmi credere che il problema sia stato attraversato, pesato, risolto.

Posso non avere gli strumenti per distinguere tra un passaggio necessario e un passaggio solo plausibile. Tra una sintesi vera e una sintesi comoda. Tra un’omissione irrilevante e un’omissione decisiva.

Questo è il punto: l’utente inesperto non vede i gap perché non sa dove dovrebbero comparire.

Non sa quali alternative siano state escluse. Non sa quali scuole di pensiero manchino. Non sa quali definizioni siano controverse. Non sa quali dati andrebbero verificati. Non sa se una certa conclusione sia condivisa, minoritaria, superata, speculativa o semplicemente sbagliata.

La sicurezza stilistica del modello copre queste assenze.

E più il testo è ordinato, più il rischio aumenta.

Una risposta confusa invita alla diffidenza. Una risposta elegante invita alla resa.

Come usare l’AI senza cadere nell’illusione

Usare bene un modello linguistico significa imparare a chiedergli attrito.

Non basta chiedere:

“Spiegami questa cosa.”

Meglio chiedere:

Queste domande non trasformano il modello in un soggetto che ragiona.

Però rendono più visibile la struttura del testo.

Obbligano l’argomentazione a mostrarsi come argomentazione, non solo come flusso persuasivo.

Chiedere risposte concorrenti

Un altro modo per ridurre l’incanto è chiedere più versioni incompatibili.

Non:

“Dammi la risposta migliore.”

Ma:

“Dammi tre interpretazioni concorrenti e poi dimmi che cosa ciascuna spiega meglio e peggio.”

Questo è utile perché rompe l’effetto di inevitabilità.

Una singola risposta ben scritta tende a sembrare il naturale punto di arrivo della questione. Tre risposte concorrenti mostrano invece che il problema poteva essere tagliato in modi diversi.

Separare esplorazione e verifica

C’è poi un passaggio ancora più importante: separare il contenuto dalla validazione.

Si può usare il modello per generare ipotesi, mappe, distinzioni, domande.

Ma poi bisogna controllare altrove: fonti primarie, testi specialistici, dati, esperti, manuali, articoli, documenti.

Il modello può essere un acceleratore di esplorazione.

Non dovrebbe essere il tribunale finale della validità.

Come testare i passaggi logici di una risposta AI

Quando una risposta sembra convincente, non bisogna valutarla tutta insieme.

Bisogna smontarla.

Un modo semplice è chiedere al modello di riscrivere il proprio argomento in forma numerata:

  1. Premessa esplicita.
  2. Premessa implicita.
  3. Inferenza.
  4. Conclusione intermedia.
  5. Inferenza successiva.
  6. Conclusione finale.

A quel punto il testo perde parte della sua magia.

Non è più un flusso continuo.

È una serie di snodi.

E ogni snodo può essere interrogato.

La domanda da fare non è:

“Suona bene?”

La domanda è:

“Questo passaggio segue davvero?”

Come trovare paralogismi e salti logici

Per cercare paralogismi o salti logici, conviene fare domande precise:

Questo esercizio è utile perché porta il ragionamento apparente su un terreno più verificabile.

La prosa può nascondere i salti.

La forma numerata li espone.

Naturalmente il modello può sbagliare anche in questa analisi. Può inventare una premessa, razionalizzare a posteriori, trovare una coerenza dove non c’è.

Ma il punto non è fidarsi della sua autopsia.

Il punto è ottenere una struttura più facile da controllare.

In altre parole: non chiedere al modello di garantire la validità del suo ragionamento.

Chiedigli di renderlo ispezionabile.

Revisione avversariale: quando l’illusione diventa utile

C’è però un modo in cui l’illusione di ragionamento può diventare produttiva.

Non quando ci fidiamo del modello perché sembra ragionare, ma quando sfruttiamo proprio quella forma apparente di ragionamento per stressare ciò che abbiamo costruito.

Un modello linguistico è bravo a produrre obiezioni plausibili, alternative interpretative, scenari contrari, controesempi, casi limite.

Può simulare il lettore scettico, il revisore severo, il collega che cerca il punto debole, l’utente che fraintende, il cliente che non è convinto, il programmatore che deve mantenere il codice fra sei mesi.

In questo senso, l’illusione di ragionamento può essere usata come strumento di revisione avversariale.

Non gli chiediamo di dirci se abbiamo ragione.

Gli chiediamo di attaccare la costruzione.

Un testo può essere sottoposto a domande come: dove è ambiguo? Dove sto dando per scontato qualcosa che il lettore non sa? Quale passaggio sembra persuasivo ma non è dimostrato? Quale obiezione forte sto evitando? Quale frase funziona retoricamente ma non regge logicamente?

Un pezzo di codice può essere stressato in modo simile: quali casi limite non sto considerando? Quali assunzioni sui dati in input possono rompersi? Dove il nome di una funzione promette più di quanto faccia davvero? Quale parte sarà difficile da mantenere? Che cosa succede se un utente usa il sistema nel modo sbagliato ma prevedibile?

Anche una decisione può essere trattata come un costrutto da mettere sotto pressione. Che cosa sto ottimizzando davvero? Quale costo sto sottovalutando? Quale alternativa ho escluso troppo presto? Quale scenario renderebbe questa scelta fragile? Quale informazione, se fosse falsa, farebbe crollare l’intero ragionamento?

Qui il modello non serve come giudice.

Serve come generatore di attrito.

La sua capacità di produrre ragionamenti apparenti, se presa come verità, è pericolosa. Ma se usata come macchina per generare obiezioni, diventa utile. Non perché garantisca che le obiezioni siano giuste, ma perché aumenta la superficie di controllo.

Fa emergere punti che possiamo verificare, scartare, approfondire o correggere.

La revisione avversariale funziona proprio perché separa il ruolo generativo dal ruolo valutativo.

Il modello genera attacchi, dubbi, controesempi, letture alternative.

La valutazione resta a noi.

È una differenza decisiva.

Usare male l’AI significa chiederle di concludere al posto nostro. Usarla meglio significa chiederle di rendere più difficile concludere troppo presto.

Ragionamento come stile e ragionamento come processo

Alla fine, la distinzione da tenere a mente è questa: ragionamento come stile e ragionamento come processo.

Il primo è visibile nel testo: connettivi, passaggi, gerarchie, conclusioni.

Il secondo riguarda l’origine della conclusione: criteri, esclusioni, responsabilità inferenziale, impegno verso ciò che viene affermato.

Un modello linguistico può essere utile in compiti che descriviamo come analitici, inferenziali o argomentativi. Può produrre catene testuali che reggono al controllo, individuare relazioni, formulare ipotesi, organizzare alternative, generare obiezioni.

Ma la validità di questi risultati va stabilita fuori dall’incanto della forma.

Non deriva dal fatto che il testo sembri ragionato.

Deriva dal fatto che, una volta isolata e controllata, la struttura argomentativa regge.

Finché questa distinzione resta confusa, continueremo a scambiare l’eleganza dell’interpolazione per profondità del pensiero.

Quando invece la distinzione è chiara, l’illusione può essere rovesciata in metodo: non una ragione per fidarsi, ma uno strumento per dubitare meglio.