La condizionalizzazione (learning) Bayesiano non è (solo) regola di Bayes


Questo post è la traduzione in italiano di questo, che a sua volta è stato messo insieme con l'aiuto di un LLM partendo dalla trascrizione di un mio audio.

Il teorema di Bayes viene spesso spiegato con esempi molto semplici: ci sono alcune urne, ciascuna contiene palline di colori diversi, estraiamo una pallina e, osservandone il colore, cerchiamo di capire da quale urna provenga.

In un problema del genere, tutto è stabilito fin dall'inizio. Le urne hanno una composizione ben precisa, le probabilità sono determinate e l'osservazione di una pallina non cambia certo la composizione delle urne. Il teorema di Bayes permette semplicemente di calcolare le probabilità che ci interessano, usando le normali regole della probabilità.

Fin qui, nessun problema.

Ma che cosa succede quando passiamo dalle urne alle nostre credenze?

Supponiamo che le probabilità non rappresentino più le frequenze di eventi in un esperimento già definito, ma il grado di fiducia che attribuiamo a determinate ipotesi. In questo caso, osservare qualcosa di nuovo potrebbe portarci a modificare non soltanto le probabilità delle ipotesi, ma anche il modello statistico che avevamo in mente.

Per esempio, immaginiamo di effettuare un esperimento scientifico con uno strumento di misura che consideriamo affidabile. Otteniamo un risultato molto sorprendente. Dovremmo semplicemente aggiornare le probabilità delle nostre ipotesi, oppure dovremmo cominciare a sospettare che lo strumento sia difettoso?

In altre parole, l'osservazione potrebbe cambiare anche il modo in cui interpretiamo l'esperimento stesso.

Due cose che sembrano uguali, ma non lo sono


Il punto è che esistono due affermazioni diverse, spesso confuse tra loro.

La prima è il teorema di Bayes. Si tratta di un'identità matematica che mette in relazione alcune probabilità all'interno di uno stesso modello statistico. È una conseguenza delle leggi elementari della probabilità.

La seconda è il principio di aggiornamento bayesiano, chiamato anche condizionalizzazione bayesiana. Questo principio ci dice come dovremmo modificare le nostre credenze quando riceviamo nuove informazioni.

La distinzione è sottile, ma importante.

Una cosa è calcolare, prima di un esperimento, quanto dovremmo credere a una certa ipotesi supponendo di osservare un certo risultato. Un'altra cosa è affermare che, dopo aver effettivamente osservato quel risultato, la nostra nuova credenza debba necessariamente coincidere con quel calcolo.

La seconda affermazione non segue automaticamente dalla prima.

Le leggi della probabilità ci dicono quali relazioni devono rispettare le nostre probabilità in un dato momento. Non ci dicono, da sole, come le nostre credenze debbano cambiare nel tempo.

Ramsey lo aveva già capito nel 1926


Questa distinzione non è affatto nuova. Era già stata osservata quasi un secolo fa da Frank P. Ramsey, uno dei fondatori dell'interpretazione soggettiva della probabilità.

Nel suo celebre saggio Truth and Probability, scritto nel 1926, Ramsey osservava che venire a conoscenza di un fatto potrebbe, per ragioni psicologiche, modificare profondamente l'intero sistema di credenze di una persona.

Ramsey non stava dicendo che qualsiasi cambiamento delle nostre credenze sia razionale. Stava semplicemente mettendo in evidenza la differenza tra una probabilità condizionata, calcolata all'interno di un modello, e il cambiamento effettivo delle credenze di una persona.

La domanda interessante diventa allora: quando è razionale aggiornare le nostre credenze seguendo la regola di Bayes?

Quando è giusto usare Bayes?


Il problema è stato studiato a lungo nella filosofia della probabilità.

Per esempio, Richard Jeffrey ha chiarito che il normale aggiornamento bayesiano è appropriato quando l'osservazione rende certa una nuova informazione, senza modificare le nostre precedenti valutazioni probabilistiche una volta assunta quella informazione.

La seconda condizione è particolarmente importante: significa che imparare qualcosa di nuovo non deve portarci a riconsiderare anche il modello probabilistico sottostante.

Ma non è detto che questo accada sempre.

In un articolo del 2016, Sylvia Wenmackers e Jan-Willem Romeijn raccontano un esempio interessante. Un ispettore sanitario effettua cinque test consecutivi per la salmonella, ottenendo sempre un risultato positivo. Inizialmente considera soltanto due possibilità: il ristorante rispetta le norme igieniche oppure non le rispetta.

Dopo cinque risultati positivi, però, gli viene in mente una terza ipotesi: forse sono i test stessi a essere contaminati!

Questa possibilità non faceva parte del suo modello iniziale. La nuova osservazione non lo ha semplicemente portato ad aggiornare le probabilità di due ipotesi già note, ma gli ha suggerito una nuova spiegazione.

Naturalmente, se l'eventualità di un test difettoso fosse già stata inclusa nel modello iniziale, potremmo continuare a usare il normale aggiornamento bayesiano. Il problema nasce quando l'osservazione ci porta a mettere in discussione il modello stesso.

Perché, allora, dovremmo seguire Bayes?


Se la regola di aggiornamento bayesiana non è una semplice conseguenza delle leggi della probabilità, come possiamo giustificarla?

Esistono diverse risposte.

Una si basa sulla coerenza delle nostre decisioni nel tempo. David Lewis, per esempio, ha studiato come determinate strategie di aggiornamento non bayesiane possano portare un individuo ad accettare una successione di scommesse che, nel complesso, gli garantiscono una perdita.

Un'altra risposta, sviluppata da Hilary Greaves e David Wallace, si basa sull'idea di scegliere la strategia che massimizza l'utilità epistemica attesa, cioè, in un certo senso, la qualità attesa delle nostre future credenze.

Una terza possibilità è il principio del minimo cambiamento: quando riceviamo una nuova informazione, dovremmo modificare le nostre credenze soltanto nella misura necessaria per tenerne conto, senza cambiare arbitrariamente tutto il resto.

Se formulato matematicamente in modo appropriato, anche questo principio porta alla regola di aggiornamento di Bayes. Ne ho parlato più in dettaglio in un altro articolo di questo blog.

Questi approcci sono diversi, ma hanno qualcosa in comune: non ricavano la regola di aggiornamento dalle sole leggi della probabilità. Aggiungono invece un principio di razionalità o di coerenza che permette di selezionarla.

Ovviamente, ciascuna giustificazione vale sotto determinate ipotesi. Non significa che qualsiasi cambiamento razionale delle nostre credenze debba necessariamente seguire la regola di Bayes.

In conclusione


Il teorema di Bayes è una semplice identità matematica, valida ogni volta che le probabilità sono definite correttamente.

Ma quando usiamo quella stessa formula per descrivere come un osservatore dovrebbe imparare dall'esperienza, stiamo facendo un passo concettuale in più.

Questo non significa che l'aggiornamento bayesiano sia sbagliato. Al contrario, significa che la sua giustificazione è più interessante di quanto possa sembrare quando lo si presenta soltanto attraverso il solito esempio delle urne.

La distinzione diventa ancora più importante quando cerchiamo di generalizzare la regola di Bayes alla teoria quantistica, dove non esiste un'unica generalizzazione immediata della formula classica e occorre capire quali principi rendano una certa regola di inferenza preferibile alle altre.

In definitiva, il punto è semplice:

Il teorema di Bayes ci dice come sono collegate le probabilità. La regola di aggiornamento bayesiana ci dice come dovremmo cambiare le nostre credenze.

Il primo è un teorema matematico. La seconda è un principio di inferenza razionale, che richiede una giustificazione ulteriore.

Confondere le due cose significa attribuire a una semplice identità matematica un significato che, da sola, non possiede.

Per approfondire


@fisica
@scienze