Il paradosso di Simpson

La statistica è una disciplina tanto potente quanto insidiosa e, nonostante gli strumenti che mette a nostra disposizione per studiare e comprendere fenomeni di ogni genere siano utili e spesso indispensabili, in questo articolo vediamo come sia necessario esercitare sempre una certa cautela nell’usarla e analizzarne i risultati.

L’argomento di questo articolo è il cosiddetto “Paradosso di Simpson” dal nome dello statistico inglese Edward H. Simpson che lo descrisse dettagliatamente nel 1951, anche se spesso viene denominato “Paradosso di Yule-Simpson” per ricordare anche il matematico George Udny Yule che ne aveva parlato già nel 1903. L’immagine di Homer Simpson, riportata in apertura di questo articolo, quindi non ha nessuna “correlazione” con il paradosso che porta lo stesso nome, ma è simpaticamente efficace nell’attrarre l’attenzione del lettore. Per rispetto nei confronti degli autori cui il paradosso è intitolato, li vediamo comunque nei ritratti sotto riportati, il primo a sinistra, Simpson e il secondo a destra, Yule.

Il paradosso di Simpson si manifesta quando, analizzando due insiemi di dati si verifica che essi, considerati separatamente, sono a sostegno di una ipotesi, mentre risultano essere a favore della conclusione opposta quando sono considerati insieme.
Oggi il paradosso di Simpson viene spesso inserito nei corsi di statistica proprio per mettere in guardia dal rischio di trarre delle conclusioni errate da un’analisi poco approfondita. Vediamone alcuni esempi classici.

California sessista?

Un esempio che ha fatto scuola su come un uso improprio della statistica possa avere ripercussioni deleterie risale al 1973.
Nell’autunno di quell’anno infatti, ai corsi specialistici dell’Università della California a Berkeley, furono ammessi il 44% di candidati uomini contro un 35% di candidate donne. Questo dato saltò all’occhio dei dirigenti scolastici i quali, per timore di una denuncia per discriminazione, incaricarono Peter Bickel, oggi professore emerito di statistica alla stessa università, di analizzare i dati per accertare se realmente ci fossero stati dei casi di favoritismo verso i candidati maschili. Curiosamente, quando questa vicenda viene citata negli articoli che parlano del paradosso di Simpson, la denuncia viene riportata come effettivamente avvenuta, ma, in realtà, questo dettaglio rappresenta una vera e propria leggenda urbana volta ad aggiungere un pizzico di drammaticità all’argomento.

Quando si analizzano dei dati per estrarne delle statistiche, c’è la convinzione, valida nella gran parte dei casi, che maggiore sia la numerosità del campione, maggiore sia l’affidabilità delle conclusioni in termini di rappresentatività riguardo alla popolazione nel complesso.
Nel caso in esame, il primo dato che fu osservato fu quindi la percentuale di ammissione, divisa per genere, considerando tutta la popolazione studentesca. I dati rilevati erano i seguenti:

Il dato inaspettato emerse quando Bickel e i suoi collaboratori analizzarono i dati dei singoli dipartimenti separatamente. Per brevità indichiamo i dipartimenti con le lettere dalla A alla F:

Come si può vedere da questi dati, lo scenario risultante appare pressoché ribaltato. Si nota come le percentuali della popolazione femminile sia generalmente più alta di quella maschile o comunque molto vicina.
Quindi, se da un lato l’università non aveva ragione di temere alcuna denuncia, dall’altro bisogna domandarsi come mai si possano trarre conclusioni così contraddittorie dall’analisi degli stessi dati!

La soluzione al paradosso è possibile quando si analizza il fenomeno con maggiore attenzione alla ricerca delle variabili nascoste da cui dipendono i dati e che non sono state opportunamente incluse nell’osservazione.
Nel caso dell’università di Berkeley, per completare il quadro è necessario considerare la numerosità dei campioni nei diversi raggruppamenti.
Si verifica infatti che il numero totale delle donne, da un lato, era sensibilmente inferiore a quello degli uomini e dall’altro la loro preferenza nella scelta delle materie per cui sottoporre la candidatura era maggiormente orientata verso corsi scientifici, più selettivi, per i quali era più difficile superare i test di ammissione. Gli uomini al contrario preferivano corsi umanistici per cui era ben più facile superare i test.
In pratica la preferenza femminile verso corsi di più difficile accessibilità si traduceva in una “preferenza” collettiva al maggior superamento dei test da parte degli uomini! A questo link è possibile sperimentare l’insorgenza del paradosso variando in tempo reale i valori di partecipazione e le numerosità dei campioni.