Prima parte

In cui si parla

di relazioni causali

di dati aggregati e disaggregati

di casi paradossali

dei Simpson (!)

e… di discriminazioni

Causa ed effetto

• Perché studiare statistica? Perché cercare di capire cause ed effetti?

• Per dare un senso ai dati.

• la malaria è causata dalla “mala aria” o trasmessa dalle zanzare?

• Prefereirei scoprire una singola relazione causale che essere il re della Persia (Democrito)

• L’analisi dei dati permette di studiare le associazioni tra fenomeni

• Putroppo questo non basta per capire le relazioni causali

Un esperimento su un farmaco

• Un gruppo di 700 pazienti ha una malattia. In ospedale viene data loro l’opzione di provare un nuovo farmaco.

• Ecco le statistiche sui tassi di guarigione dei pazienti.

• 350 hanno scelto di prendere il farmaco e 350 hanno scelto di non usarlo.

• Farmaco usato	Farmaco non usato
  273 di 350 guariti	289 di 350 guariti
  78 %	83 %

• Il tasso di guarigione è migliore per i pazienti che NON hanno scelto il nuovo farmaco.

Teniamo conto del genere del paziente

• Per i maschi il tasso di guarigione è migliore se si prende il farmaco

• Per le femmine il tasso di guarigione è migliore se si prende il farmaco

• Invece nel complesso il tasso di guarigione è migliore per i pazienti che NON hanno scelto il nuovo farmaco.

Paradosso di Simpson

• Dati i risultati di questo studio un dottore dovrebbe prescrivere il farmaco a una donna? A un uomo?

• A livello del sistema sanitario nazionale è necessario valutare l’efficacia del farmaco per la popolazione in generale: si deve usare il tasso di guarigione complessivo o quelli a livello di sottopopolazione maschile o femminile?

• Non Homer Simpson. Ecco vero Simpson

Analisi del paradosso

Capire la storia dietro ai dati

• Individuare il processo generatore
• Per esempio, supponiamo di avere più informazioni
• gli estrogeni hanno un effetto negativo sulla guarigione
• le donne hanno una una maggiore propensione a prendere il farmaco degli uomini
• La ragione per cui il farmaco risulta dannoso complessivamente è che seleziondo casualmente una persona che ha preso il farmaco è più probabile che quella persona sia una donna e quindi abbia meno probabilità di guarire di una persona pescata casualmente tra quelle che non hanno preso il farmaco.

Associazione in una tabella

• C’è associazione tra fumo e genere? La proporzione di fumatori nella classe è la stessa tra maschi e femmine?

• Genere	Fuma	Non fuma	Totale
  Maschio	11	4	15
  Femmina	1	4	5
  Totale	12	8	20

• Proporzione di maschi che fumano \(11/15 = 0.73 = 73\%\)

• Proporzione di femmine che fumano \(1/5 = 0.20 = 20\%\)

• Proporzione di fumatori: \(12/20 = 0.6 = 60\%\).

Probabilità

• Genere	Fuma	Non fuma	Totale	Proporzioni
  Maschio	11	4	15	0.73
  Femmina	1	4	5	0.20
  Totale	12	8	20	0.60

• Le proporzioni sono stime di probabilità

• Ci sono probabilità non condizionate
  \[ \Pr(fumo) = \frac{n.\; fumatori}{n. \; studenti} = 12/20 = 0.60 \]

• e probabilità condizionate \[ \Pr(fumo \mid Maschio) = \frac{n. fumatori\; maschi}{n.\; maschi} = 11/15 = 0.73 \]

• NOTA: La condizione è scritta DOPO il segno |

Indipendenza

• In questo esempio la proporzione di fumatrici è diversa delle proporzione di fumatori e quindi c’è associazione tra fumo e genere.

• forse è più veritiera la situazione in cui le proporzioni sono le stesse \[ \Pr(fumo \mid maschio) = \Pr(fumo \mid femmina) \]
• In questo caso si dice che fumo e genere sono indipendenti.

• Genere	Fuma	Non fuma	Totale	Proporzioni
  Maschio	9	6	15	0.60
  Femmina	3	2	5	0.60
  Totale	12	8	20	0.60

Come si misura l’associazione?

• Possiamo semplicemente usare la differenza tra le porporzioni di fumatori e fumatrici \[ 0.73 - 0.20 = 0.53 \]

• oppure il rapporto \[ \frac{0.73}{0.20} = 3.65 \] la proporzione di fumatori è più di tre volte la proporzione di fumatrici.

• Anche se c’è associazione non vuol dire che ci sia una relazione causale tra genere e fumo.

Torniamo ai dati sulle guarigioni

• 350 hanno scelto il farmaco e 350 no
• dei primi, 273 sono guariti e dei secondi, 289 sono guariti
• Costruiamo una tabella ordinata \[ \begin{array}{lrrr}\hline Risultato & Farmaco\; sì & Farmaco\; no & Totale \\ \hline Guariti & 273 & 289 & 562 \\ Non\; guariti & 77 & 61 & 138 \\ Totale & 350 & 350 & 700 \\ \hline Proporzione & 0.78 & 0.83 & 0.80 \\ \hline \end{array} \]
• Attenzione! le proporzioni stavolta sono per colonna .
• C’è associazione: \[ \Pr(Guarire \mid Farmaco) = 0.78 < 0.83 = \Pr(Guarire \mid Non\; farmaco) \]
• Ma non c’è nesso causale.

Alcune convinzioni errate

• Se due variabili sono indipendenti sicuramente non ci può essere una relazione fra di esse.

• Pena capitale in Florida (USA) per casi gravi di omicidio \[ \begin{array}{lrrr} \hline Accusato & Pena\; capitale & Ergastolo & Totale\\ \hline bianco & 7 & 63 & 70 \\ nero & 3 & 27 & 30\\ \hline Totale & 10 & 90 & 100\\ \end{array} \]
• La pena capitale è indipendente dalla razza dell’accusato?

• 

Analisi

• Vediamo le proporzioni (i rischi di pena capitale) \[ \begin{array}{lrrrr} \hline Accusato & Pena\; capitale & Ergastolo & Totale & Proporzione\\ \hline bianco & 7 & 63 & 70 & 0.10 \\ nero & 3 & 27 & 30 & 0.10\\ \hline Totale & 10 & 90 & 100 & 0.10\\ \end{array} \]
• La pena capitale appare indipendente dalla razza. \[ \Pr(Pena\; capitale \mid bianco) = 0.10 = \Pr(Pena \; capitale \mid nero) \]

La storia dietro i dati

• A livello disaggregato la situazione può essere molto diversa.
• Dividiamo i casi a seconda della razza della vittima
• Ecco i dati \[ \begin{array}{lrrrr}\hline Vittima & Accusato & Pena\; capitale & Ergastolo & Totale & Proporzione\\ \hline bianco & bianco & 5 &45 & 50& 0.10\\ & nero & 2 & 8 & 10& 0.20\\ \hline nero & bianco & 2 &18 & 20& 0.10\\ & nero & 1 &19 & 20& 0.05 \\\hline \end{array} \]
• Notate che la somma delle due tabelle produce la tabella iniziale.
• Ma non per le proporzioni!

Che succede?

\[ \begin{array}{lrrrr}\hline Vittima & Accusato & Pena\; capitale & Ergastolo & Totale & Proporzione\\ \hline bianco & bianco & 5 &45 & 50& 0.10\\ & nero & 2 & 8 & 10& 0.20\\ \hline nero & bianco & 2 &18 & 20& 0.10\\ & nero & 1 &19 & 20& 0.05 \\\hline \end{array} \]

• Ignorando la razza della vittima, se l’accusato è nero il rischio di essere condannato è il 10% \[ \Pr(Pena\; capitale \mid nero) = \frac{n. \;neri \;condannati}{n.\; neri\; accusati} = \frac{3}{30} = 0.10 \]
• Sapendo che la vittima è un bianco, se l’accusato è nero il rischio è il doppio! \[ \Pr(Pena\; capitale \mid nero, vittima \; bianco) = \frac{n. \;neri \;condannati, vittima\; bianco}{n.\; neri\; accusati, vittima\; bianco} = \frac{2}{10} = 0.20 \]
• Quindi la condanna dipende dalla razza dell’accusato e dalla razza della vittima = discriminazione.

Relazioni apparenti

• Nella regione X vogliamo studiare se c’è discriminazione tra laureati maschi e femmine nel trovare lavoro.

• I dati aggregati per 100 laureati sono \[ \begin{array}{r|ccc} & Femmina & Maschio \\ \hline Non\;lavora & 20 & 20 \\ Lavora & 20 & 40 \\ \hline Totale & 40 & 60 \\ Proporzione & 0.5 & 0.67\\ \end{array} \]

• La probabilità di lavorare è più alta per i maschi che per le femmine.

Una storia diversa

• Abbiamo anche dati disaggregati per laurea, in Ingegneria e Lettere. \[ \begin{array}{r|ccc|ccc} & Lettere & & & Ingegneria & & \\ & Femmina & Maschio & & Femmina & Maschio & \\ Non\;lavora & 18 & 12 & & 2 & 8 & \\ Lavora & 12 & 8 & & 8 & 32 & \\ Totale & 30 & 20 & & 10 & 40 & \\ \end{array} \]

• Qual è la probabilità di lavorare separatamente per gli ingegneri e i non ingegneri?
• \[ \begin{array}{rcccccc} & Lettere & & & Ingegneria & & \\ & Femmina & Maschio & & Femmina & Maschio & \\ Proporzione\;occupati & \frac{12}{30}= 0.4& \frac{8}{20} =0.4 & & \frac{8}{10}=0.8 & \frac{32}{40}=0.8 \\ \end{array} \]
• La proporzione di occupati è la stessa per maschi e femmina se si tiene conto del tipo di laurea

• C’è una relazione apparente perché le femmine sono in maggioranza laureate in lettere e i maschi in ingegneria e la probabilità di lavorare è maggiore per i laureati in ingegneria.

Seconda parte

In cui si parla:

di esperimenti controllati

di relazioni lineari approssimate

di correlazione e di regressione

e riappare … il solito Simpson.

L’esperimento di Forbes

• Sulla cima delle montagne l’acqua bolle a temperature più basse di 100 gradi.

• Il fisico scozzese Forbes cercò di stimare l’altezza sul livello del mare a partire dalla misura del punto di ebollizione dell’acqua.

• L’altitudine si poteva ricavare dalla relazione con la pressione atmosferica. Ma un barometro era uno strumento di misura difficile da trasportare.

• I diverse zone delle Alpi misurò \(Y\): la pressione atmosferica (con un barometro, in mm di Hg) e \(X\): il punto di ebollizione dell’acqua (in gradi Celsius)

I dati

temperatura:
 90.28 90.17 92.17 92.44 93 93.28 93.83 93.94 94.11 94.06 
 95.33 95.89 98.61 98.11 99.28 99.94 100.1 

pressione:
 528.1 528.1 569 575.8 588 593.1 606.8 609.3 610.1 609.9 
 638.6 674.9 723.6 705.1 737.6 759 763.5 

• I dati sono rappresentati su uno scatter
  

Andamento lineare

• A giudicare dallo scatter sembra i dati seguano una legge lineare \[ Pressione \approx a + b \cdot (Punto\; di\; ebollizione) \]

• I punti non sono perfettamente allineati perché ci sono imprecisioni dovute ad errori di misura

Legge di Forbes

• Forbes aveva una teoria secondo cui il Logaritmo della pressione era legato al punto di ebollizione da una legge \[ \log_{10}(Pressione) = a + b \cdot (Punto\; di\; ebollizione) \]

• Ecco lo scatter (migliore?)

• Noi per semplicità useremo la nostra legge lineare come approssimazione.

Relazioni matematiche

• Il concetto base è quello di funzione \(y = f(x)\).
• Permettono di descrivere delle leggi semplici come una retta, una parabola, una sinusoide, un polinomio…
• 

La retta

• La relazione più semplice è quella lineare \[ y = a + b x \] dove \(a\) è l’intercetta e \(b\) è la pendenza.
• Trovale sulla figura
• \[ y = intercetta + pendenza\cdot x = 2 + \frac{1}{2}x \]

Relazioni statistiche

• Segnale più rumore \[ Y = f(x) + residuo \]
• 

Stima dei minimi quadrati

• Come si ottengono i coefficienti della legge lineare?
• Si adatta la retta dei minimi quadrati, la retta che passa FRA i punti ed è ad essi più vicina

• 

• Si dice anche retta di regressione tra \(Y\) e \(X\)

• Dopo vedremo meglio come si calcola.

Risultati e interpretazione

• 
• Si stimano i due coefficienti \(a\) e \(b\) della retta dai dati \[ pressione = -1634.0 + 23.9\cdot temperatura \]
• Per ogni grado di aumento del punto di ebollizione la pressione aumenta di 23.9 millimetri.
• È una legge di natura? No è una approssimazione lineare.

Una associazione lineare tra misure antropometriche

• C’è una relazione tra altezza e numero di scarpe?
• Si possono raccogliere i dati facilmente in classe
• Per fortuna ho dei dati di una mia classe di studenti a Sassari

Lo scatter

• La relazione contiene più eterogeneità di prima
• C’è evidenza di una relazione crescente tra altezza e numero di scarpa

La relazione lineare stimata

• Retta di regressione ottenuta col metodo dei minimi quadrati

• Interpretazione: \(altezza = 60.9 + 2.7 \cdot n.\; scarpa\)

• \(b = 2.7\) cm in più per ogni numero di scarpa in più.

Minimi quadrati

• La retta si trova minimizzando la somma dei quadrati delle distanze verticali tra i punti e la retta
• Idea di Gauss

Minimi quadrati

• Non sono le distanze euclidee tra i punti e la retta
• 

Minimi quadrati

• La retta dei minimi quadrati ha due proprietà
• Passa sicuramente per il punto \((\bar x, \bar y)\) (media di \(X\), media di \(Y\)).
• ha pendenza \[ b = \frac{\sum_{i} (x_i - \bar x) (y_i- \bar y)}{\sum_i(x_i - \bar x)^2} \]
• I calcoli si fanno meglio con un programma…

Relazioni con andamento decrescente

• Abbiamo visto situazioni in cui a valori sopra la media di \(X\) corrispondono valori sopra la media di \(Y\)
• Esistono anche situazioni in cui le variabili hanno un andamento discordante
• Relazione tra percorrenza di un auto (km/l) e potenza (kW = 1.36 CV)

• 

• \[ Percorrenza\; (km/l) = 24.3 - 0.1 \cdot Potenza\;(kW) \]
• per ogni 10 kW in più si percorre in media 1 km in meno.

Forza della relazione lineare

• È più forte la relazione tra pressione e punto di ebollizione o quella tra altezza e numero di scarpe?
• La forza dell’associazione lineare si misura con un indice chiamato coefficiente di correlazione lineare.
• Idea di Karl Pearson (1900)
• È uguale a \[ r = \frac{\sum (x_i-\bar x)(y_i- \bar y)}{\sqrt{\sum (x_i - \bar x)^2\sum (y_i-\bar y)^2}} \]
• Somiglia al coefficiente \(b\) della retta dei minimi quadrati, ma ha due vantaggi
• È simmetrico: \(\mathrm{corr}(X,Y) = \mathrm{corr}(Y,X)\)
• È sempre compreso tra \(-1\) e \(1\).
• Correlazione tra temperatura e punto di ebollizione: \(r = 0.9972\).
• Correlazione tra altezza e numero di scarpe: \(r = 0.855\).
• Correlazione tra potenza e percorrenza: \(r = -0.6356\).

Esempi di correlazione lineare

Strumenti sul web

• Disegnare e adattare una retta di regressione con questa Applet

• Indovina la correlazione (giochino virale!) guess the correlation

Incorrelazione

• Se il coefficiente di correlazione è nullo si dice che \(X\) e \(Y\) sono incorrelate

• È un modo per dire che non esiste una relazione lineare fra le variabili

• Succede se adattando la retta di regressione risulta \(b = 0\) cioè la retta indica che \(Y\) non varia linearmente al variare di \(X\).

• 

Incorrelazione non è indipendenza!

• 

• Verifichiamo in pratica!

Variabili multiple

• Abbiamo studiato la relazione tra una \(Y\) (variabile dipendente) e una \(X\) (variabile esplicativa)
• È fondamentale studiare la relazione tra una variabile \(Y\) e una \(X\) considerando anche altre variabili. Perché?

Esempio

• In una classe si fa un dettato in italiano e si dà il voto \(y\) (in base agli errori commessi). Poi si calcola la correlazione tra peso \(x\) dello studente e il voto \(y\)

• ???? Non ha senso!

• Non ha senso, ma se la classe è composta di bambini delle elementari, ragazzi delle medie e delle superiori si troverà probabilmente una correlazione positiva tra \(x\) e \(y\)!

• Questo ci ricorda che un correlazione lineare non implica una relazione di causa-effetto

• Adesso consideriamo studenti della stessa età delle superiori. È noto che le ragazze pesano in media meno dei ragazzi, ma hanno voti in media più alti. Stavolta troviamo una correlazione negativa!

Associazione tra esercizio fisico e tasso di colesterolo

• Questa associazione dipende dall’età della persona
• Se consideriamo persone tutte della stessa età all’aumentare dell’esercizio diminuisce il tasso di colesterolo
• ovviamente il tasso di colesterolo è più basso per i più giovani e cresce con l’età.

Che succede quando si ignora l’età?

• 
• Troviamo una correlazione positiva tra tasso di colesterolo ed esercizio fisico!
• Questa è dovuta al fatto che all’aumentare dell’età aumenta sia il tasso di colesterolo che l’esercizio fisico
• Questa associazione è spuria, mentre l’associazione che interessa è ottenuta disaggregando per età.
• È una riapparizione del paradosso di Simpson

Che cosa abbiamo imparato?