L’effetto Lestrade
L’intelligenza artificiale e il vizio di avere ragione
L’ispettore Lestrade non è uno stupido. È un professionista di Scotland Yard, conosce il proprio mestiere, raccoglie indizi e applica le procedure.
Il problema è che poi arriva Sherlock Holmes e, osservando gli stessi indizi, risolve il caso.
A Lestrade non mancano necessariamente le informazioni. Gli manca il passaggio successivo: capire quali conseguenze si possano ricavare da quello che ha già scoperto.
Recentemente ho incontrato il suo equivalente digitale.
Si chiamava Winston.
Elementare, Winston
Stavamo ragionando sulla sicurezza di un RMM, un sistema che permette di monitorare e amministrare computer da remoto, al quale volevamo aggiungere piccoli modelli AI locali.
Questi modelli avrebbero interagito con altri componenti attraverso MCP (Model Context Protocol), un protocollo che consente alle applicazioni AI di utilizzare strumenti e risorse esterne, per esempio per ottenere informazioni diagnostiche su un computer.
Uno dei principi che stavamo valutando era semplice: invece di lasciare il componente AI in ascolto, perché non fare in modo che sia lui ad aprire la connessione verso un componente MCP sotto il nostro controllo?
Un servizio in ascolto offre un punto d’ingresso a chi riesca a raggiungerlo. E ogni punto d’ingresso è una possibile superficie d’attacco.
Invertendo l’iniziativa della connessione, avremmo potuto eliminare quell’esposizione diretta sul componente AI, lasciando che le richieste e le risposte viaggiassero in entrambe le direzioni sul collegamento già stabilito.
Per verificare la solidità del principio avevamo convocato una squadra di revisori AI virtuali, ciascuno con il proprio ruolo.
Winston, l’architetto, ha sollevato un’obiezione:
«Se togliete a un componente la possibilità di accettare connessioni, qualcun altro dovrà pur accettarle. Quindi state semplicemente spostando il punto d’ingresso».
Impeccabile.
Anche se, con lo stesso rigore, avrebbe potuto osservare che per entrare in un edificio bisogna pur passare da qualche porta.
Il mistero della porta
Winston aveva ragione: qualcuno doveva accettare la connessione.
Ma si era fermato lì.
Un ingresso diretto verso un modello AI e uno verso un componente MCP non espongono necessariamente lo stesso rischio.
Un modello AI può interpretare istruzioni in linguaggio naturale, elaborare contesti complessi e scegliere come utilizzare le capacità che gli sono state concesse. Chi riesce a interagirvi può tentare di manipolarne il comportamento attraverso istruzioni costruite appositamente.
Un componente MCP sotto il nostro controllo, invece, può esporre un insieme definito di funzioni. Anche una sola di queste potrebbe essere devastante, se dotata dei privilegi necessari. Ma almeno abbiamo un perimetro esplicito di capacità da esaminare e governare.
E c’è il verso della connessione: se il componente AI non accetta nuovi collegamenti arbitrari, un attaccante perde quella modalità diretta di raggiungerlo.
Il fatto che una porta debba comunque esistere non rende indifferente dove la mettiamo, né cosa ci sia dietro.
Winston aveva formulato correttamente un principio generale, ma non ne aveva esplorato le conseguenze rispetto alla scelta che stavamo valutando.
Quando gli abbiamo fatto notare la differenza, ha ritirato l’obiezione.
Bene. Ma perché non ci era arrivato prima?
Il cugino istruito del Bizona Effect
Avevo già raccontato il Bizona Effect, prendendo in prestito il celebre 5-5-5 di Oronzo Canà.
Un’intelligenza artificiale può proporre con grande disinvoltura un modulo calcistico 4-3-4, plausibile nella forma, dimenticando che undici giocatori di movimento più il portiere fanno dodici.
L’effetto Lestrade è quasi il suo contrario.
Nel Bizona Effect l’AI padroneggia il linguaggio di un dominio, ma ne trascura una regola fondamentale.
Nell’effetto Lestrade la regola è corretta, ma il modello la applica in modo scolastico, senza svilupparne le conseguenze e correlarle al problema concreto.
Il principio invocato da Winston avrebbe dovuto essere il punto di partenza di un ragionamento più articolato.
Invece era diventato la conclusione.
E il guaio è che suona molto professionale.
Da un’osservazione corretta a una decisione sbagliata
Nel nostro caso è andata bene.
Conoscevamo il dominio, abbiamo riconosciuto ciò che mancava nell’obiezione e Winston l’ha ritirata.
Ma immaginiamo che a interpellarlo fosse stato un progettista meno esperto.
Winston non avrebbe avuto bisogno di aggiungere nulla.
«State semplicemente spostando il punto d’ingresso».
Detta da un revisore tecnico, quella frase potrebbe essere interpretata come una bocciatura della soluzione: se stiamo soltanto spostando il problema, perché complicarci la vita?
Il progettista potrebbe quindi decidere di lasciare direttamente esposto il componente AI.
Winston non avrebbe mai detto che le due soluzioni erano equivalenti dal punto di vista della sicurezza. Sarebbe bastato che il progettista lo deducesse da solo.
Ed è questo l’aspetto più insidioso dell’effetto Lestrade.
L’AI può formulare un’osservazione corretta, fermarsi prima di esplorarne le implicazioni e lasciare che sia chi si affida al suo giudizio a trarne una conclusione sbagliata.
A quel punto potremmo avere un programma che realizza perfettamente una decisione che non avremmo dovuto prendere.
Watson, Lestrade e i nove investigatori
Avevo pensato anche di chiamarlo sindrome di Watson.
Watson è intelligente, osserva, partecipa alle indagini e spesso dispone delle stesse informazioni di Holmes. Ma non sempre riesce a seguirne le deduzioni.
C’è però una differenza importante.
Watson è soprattutto un interlocutore. Le sue domande e le sue osservazioni possono aiutare Holmes a sviluppare il ragionamento.
Lestrade è un investigatore professionista. Conduce l’indagine, valuta gli indizi e formula conclusioni in virtù del proprio ruolo.
Ed è questo che chiediamo a un’AI quando la incarichiamo di revisionare un progetto e individuare ragioni per modificarlo.
Nel nostro esperimento avevamo convocato diversi revisori virtuali: architetti, sviluppatori, specialisti di sicurezza e critici di vario genere. Nove agenti in tutto.
Una riunione di Scotland Yard al completo.
Ma nove personaggi AI non garantiscono nove ragionamenti indipendenti. Possono condividere gli stessi assunti e fermarsi tutti alla medesima banalità.
Nella revisione sono emerse anche obiezioni utili. Il punto è che il numero degli investigatori non dice quanto a fondo abbiano indagato.
Il problema delle risposte giuste
Nel Bizona Effect l’AI può utilizzare il linguaggio di un dominio senza rispettarne tutti i vincoli.
Nella sindrome di Zelig l’accordo progressivo durante una conversazione rischia di essere scambiato per una validazione.
Nell’effetto Lestrade un principio corretto, applicato senza esplorarne le implicazioni, può orientare una decisione sbagliata anche senza che l’AI abbia mai formulato una conclusione falsa.
In fondo, Lestrade aveva ragione.
Una porta serviva.
Sherlock Holmes, però, avrebbe cercato di capire se la sua posizione potesse spiegare come l’assassino fosse entrato sulla scena del crimine.
