Teoria degli errori e fondamenti di statistica/12.1

by Maurizio Loreti

12.1 La distribuzione del χ²

../12 ../12.2 IncludiIntestazione 1 settembre 2022 100% Da definire

Questo testo è stato riletto e controllato.

Maurizio Loreti - Teoria degli errori e fondamenti di statistica (2006)

12.1 La distribuzione del χ²

◄

12

12.2

►

12.1 La distribuzione del $\chi ^{2}$

Se le N variabili casuali $x_{i}$, tra loro statisticamente indipendenti, sono variabili normali standardizzate (ovverosia distribuite secondo la legge normale con media 0 e varianza 1), si può dimostrare che la nuova variabile casuale

$X=\sum _{i=1}^{N}{x_{i}}^{2}$

(ovviamente non negativa) è distribuita con una densità di probabilità data dalla

${\frac {\mathrm {d} p}{\mathrm {d} X}}=f(X;N)=K_{N}\,X^{\left({\frac {N}{2}}-1\right)}e^{-{\frac {X}{2}}}$

(12.1)

(distribuzione del chi quadro); la costante $K_{N}$ viene fissata dalla condizione di normalizzazione, ed il parametro $N$ prende il nome di numero di gradi di libertà della distribuzione.

La funzione caratteristica della $X$ si può trovare facilmente considerando che, se la $x$ è una variabile normale standardizzata, il suo quadrato $y=x^{2}$ ha una funzione caratteristica

$\phi _{y}(t)$	$=E{\bigl (}e^{ity}{\bigr )}$
	$=E\left(e^{itx^{2}}\right)$
	$=\int _{-\infty }^{+\infty }\!e^{itx^{2}}{\frac {1}{\sqrt {2\pi }}}\,e^{-{\frac {x^{2}}{2}}}\,\mathrm {d} x$
	$=\int _{-\infty }^{+\infty }{\frac {1}{\sqrt {2\pi }}}\,e^{-{\frac {x^{2}}{2}}(1-2it)}\,\mathrm {d} x$
	$={\frac {1}{\sqrt {1-2it}}}\int _{-\infty }^{+\infty }{\frac {1}{\sqrt {2\pi }}}\,e^{-{\frac {u^{2}}{2}}}\,\mathrm {d} u$
	$=(1-2it)^{-{\frac {1}{2}}}$

(si è eseguita la sostituzione di variabile $u=x{\sqrt {1-2it}}$; l’integrale definito è quello di una distribuzione normale $N(u;0,1)$ e vale dunque 1). Di conseguenza, applicando l’equazione (6.11), la funzione caratteristica della $X$ vale

$\phi _{X}(t)=(1-2it)^{-{\frac {N}{2}}}$.

(12.2)

Per dimostrare che la funzione di frequenza della $X$ è effettivamente la (12.1), si parte poi dall’espressione (12.2) della funzione caratteristica e le si applica la trasformazione inversa di Fourier già definita nella (6.10).

Con simili passaggi si potrebbe ricavare la funzione generatrice dei momenti, che vale

$M_{X}(t)=(1-2t)^{-{\frac {N}{2}}}$

---

Figura 12a - La distribuzione del $\chi ^{2}$ per alcuni valori del parametro N.

---

---

e, da queste, si ottiene infine che il valore medio e la varianza di una variabile casuale distribuita come il

$\chi ^{2}$ a $N$ gradi di libertà sono

$E(X)=N$

e

${\text{Var}}(X)=2N$

mentre i coefficienti di asimmetria e di curtosi valgono

$\gamma _{1}=2{\sqrt {\frac {2}{N}}}$

e

$\gamma _{2}={\frac {12}{N}}$.

La distribuzione del $\chi ^{2}$ tende asintoticamente ad una distribuzione normale con la stessa media $N$ e la stessa varianza $2N$; infatti la funzione caratteristica della variabile standardizzata

$y\;=\;{\frac {X-N}{\sqrt {2N}}}\;=\;{\frac {X}{\sqrt {2N}}}-{\frac {N}{\sqrt {2N}}}$

vale, ricordando la (6.17),

$\phi _{y}(t)=e^{-{\frac {iNt}{\sqrt {2N}}}}\left[1-{\frac {2it}{\sqrt {2N}}}\right]^{-{\frac {N}{2}}}$.

Passando ai logaritmi naturali,

$\ln \phi _{y}(t)=-\,{\frac {iNt}{\sqrt {2N}}}-{\frac {N}{2}}\ln \left(1-{\frac {2it}{\sqrt {2N}}}\right)$

e, sviluppando in serie di McLaurin il logaritmo,

$\ln \phi _{y}(t)$	$=-{\frac {iNt}{\sqrt {2N}}}-{\frac {N}{2}}\left[-\,{\frac {2it}{\sqrt {2N}}}-{\frac {1}{2}}\left({\frac {2it}{\sqrt {2N}}}\right)^{2}+{\mathcal {O}}\left(N^{-{\frac {3}{2}}}\right)\right]$
	$=-{\frac {t^{2}}{2}}+{\mathcal {O}}\left(N^{-{\frac {1}{2}}}\right)$

da cui

$\lim _{N\to \infty }\phi _{y}(t)=e^{-{\frac {t^{2}}{2}}}$

che è appunto la funzione caratteristica di una distribuzione normale standardizzata.

In definitiva:

• Quando $N$ assume valori sufficientemente grandi, la distribuzione del $\chi ^{2}$ è ben approssimata da una distribuzione normale avente la stessa media $N$ e la stessa varianza $2N$; tale approssimazione si può ritenere in pratica già buona quando $N$ è superiore a 30.
• Inoltre si potrebbe analogamente dimostrare che la variabile casuale ${\sqrt {2X}}$, anche per valori relativamente piccoli di $N$, ha una distribuzione che è assai bene approssimata da una funzione normale con media ${\sqrt {2N-1}}$ e varianza 1; l’approssimazione è già buona per $N\gtrsim 8$.

Dalla definizione (o dalla funzione caratteristica (12.2)) discende immediatamente la cosiddetta regola di somma del $\chi ^{2}$ ossia che, se $X$ ed $Y$ sono due variabili casuali statisticamente indipendenti entrambe distribuite come il $\chi ^{2}$, con $N$ ed $M$ gradi di libertà rispettivamente, la loro somma $Z=X+Y$ è una variabile casuale ancora distribuita come il $\chi ^{2}$; però con $N+M$ gradi di libertà.

Ovviamente, se le $x_{i}$ (con $i=1,\ldots ,N$) sono $N$ variabili casuali statisticamente indipendenti tra loro e provenienti da una stessa distribuzione normale con media $\mu$ e varianza $\sigma ^{2}$, discende da quanto detto che la nuova variabile casuale

$X'=\sum _{i=1}^{N}\left({\frac {x_{i}-\mu }{\sigma }}\right)^{2}$

è distribuita come il $\chi ^{2}$ a $N$ gradi di libertà. Indichiamo ora, al solito, con ${\bar {x}}$ la media aritmetica delle $x_{i}$: vogliamo dimostrare che la variabile casuale

$X''=\sum _{i=1}^{N}\left({\frac {x_{i}-{\bar {x}}}{\sigma }}\right)^{2}$

è distribuita ancora come il $\chi ^{2}$, ma con $N-1$ gradi di libertà.

A questo scopo facciamo dapprima alcune considerazioni, indipendenti dalle ipotesi prima fatte sulle $x_{i}$ e che risultano quindi valide per variabili casuali qualunque: supponiamo di definire $N$ nuove variabili $y_{i}$ come generiche combinazioni lineari delle $x_{j}$, con coefficienti che indicheremo col simbolo $A_{ij}$; in modo insomma che risulti

$y_{i}=\sum _{j=1}^{N}A_{ij}\,x_{j}$.

La somma dei quadrati delle $y_{i}$ è data da

$\sum _{i=1}^{N}{y_{i}}^{2}=\sum _{i=1}^{N}\left(\sum _{j=1}^{N}A_{ij}\,x_{j}\right)\left(\sum _{k=1}^{N}A_{ik}\,x_{k}\right)=\sum \nolimits _{jk}x_{j}\,x_{k}\sum \nolimits _{i}A_{ij}\,A_{ik}$

è possibile che questa somma risulti uguale alla somma dei quadrati delle $x_{i}$ qualunque sia il valore di queste ultime? Ovviamente questo avviene se e solo se vale la

$\sum \nolimits _{i}A_{ij}\,A_{ik}=\delta _{jk}={\begin{cases}0&{\text{per }}j\neq k\\1&{\text{per }}j=k\end{cases}}$

(12.3)

(il simbolo $\delta _{jk}$, che assume il valore 1 quando gli indici sono uguali e 0 quando sono invece diversi, si chiama simbolo di Kronecker o delta di Kronecker).

Consideriamo gli $A_{ij}$ come gli elementi di una matrice quadrata ${\boldsymbol {A}}$ di ordine $N$; gli $x_{j}$ e le $y_{i}$ si possono invece considerare come le componenti di due vettori ${\boldsymbol {X}}$ ed ${\boldsymbol {Y}}$ definiti in uno spazio $N$-dimensionale — ossia come gli elementi di due matrici rettangolari con $N$ righe ed 1 colonna.

La trasformazione che muta ${\boldsymbol {X}}$ in ${\boldsymbol {Y}}$ si può scrivere, in forma matriciale, come ${\boldsymbol {Y}}={\boldsymbol {A}}{\boldsymbol {X}}$; la somma dei quadrati delle $x_{j}$ o delle $y_{i}$ altro non è se non il prodotto scalare, di ${\boldsymbol {X}}$ ed ${\boldsymbol {Y}}$ rispettivamente, per loro stessi: ovverosia la loro norma, il quadrato della loro lunghezza nello spazio a $N$ dimensioni. Quella che abbiamo ricavato adesso è la condizione perché una trasformazione lineare applicata ad un vettore ne conservi la lunghezza: occorre e basta che la matrice ${\boldsymbol {A}}$ sia ortogonale. Infatti la (12.3) si può scrivere

${\boldsymbol {\widetilde {A}}}{\boldsymbol {A}}={\boldsymbol {1}}$

ossia

${\boldsymbol {\widetilde {A}}}={\boldsymbol {A}}^{-1}$

(${\boldsymbol {\widetilde {A}}}$ è la matrice trasposta di ${\boldsymbol {A}}$, di elementi ${\boldsymbol {\widetilde {A}}}_{ij}=A_{ji}$; ${\boldsymbol {1}}$ è la matrice unità, di elementi ${\boldsymbol {1}}_{ij}=\delta _{ij}$; ${\boldsymbol {A}}^{-1}$ è la matrice inversa di ${\boldsymbol {A}}$; ed una matrice per cui ${\boldsymbol {\widetilde {A}}}={\boldsymbol {A}}^{-1}$ si dice, appunto, ortogonale).

Consideriamo adesso una trasformazione lineare definita dalle seguenti relazioni:

${\begin{cases}y_{1}=\displaystyle {\frac {1}{\sqrt {N}}}\,(x_{1}+x_{2}+\cdots +x_{N})\\y_{2}=\displaystyle {\frac {1}{\sqrt {2}}}\,(x_{1}x_{2})\\y_{3}=\displaystyle {\frac {1}{\sqrt {6}}}\,(x_{1}+x_{2}-2x_{3})\\\cdots \\y_{N}=\displaystyle {\frac {1}{\sqrt {N(N-1)}}}\,{\bigl [}x_{1}+x_{2}+\cdots +x_{N-1}-(N-1)x_{N}{\bigr ]}\end{cases}}$

(12.4)

e per la quale la matrice di trasformazione abbia, insomma, elementi $A_{ij}$ definiti come

$A_{ij}\equiv {\begin{cases}i=1:&{\frac {1}{\sqrt {N}}}\\[4ex]i>1:&{\begin{cases}j<i:&{\frac {1}{\sqrt {i(i-1)}}}\\[2ex]j=i:&-{\frac {i-1}{\sqrt {i(i-1)}}}\\[2ex]j>i:&0\end{cases}}\end{cases}}$

Non è difficile controllare che la matrice ${\boldsymbol {A}}$ è ortogonale; inoltre la prima riga è stata scelta in modo tale che

$y_{1}\;=\;\sum _{i=1}^{N}{\frac {1}{\sqrt {N}}}\,x_{i}\;=\;{\frac {1}{\sqrt {N}}}\cdot N{\bar {x}}\;=\;{\sqrt {N}}\,{\bar {x}}$

e quindi

$\sum _{i=1}^{N}{x_{i}}^{2}\;=\;\sum _{i=1}^{N}{y_{i}}^{2}\;=\;N{\bar {x}}^{2}+\sum _{i=2}^{N}{y_{i}}^{2}.$

Inoltre risulta (per $i>1$)

$\sum _{j=1}^{N}A_{ij}\;=\;\sum _{j=1}^{i-1}{\frac {1}{\sqrt {i(i-1)}}}\,-\,{\frac {i-1}{\sqrt {i(i-1)}}}\;=\;0$

(12.5)

e, per ogni $i$,

$\sum _{j=1}^{N}{A_{ij}}^{2}\;=\;\left({\boldsymbol {A}}{\boldsymbol {\widetilde {A}}}\right)_{ii}\;=\;\delta _{ii}\;=\;1$.

(12.6)

Tornando al nostro problema, supponiamo ora che tutte le $x_{j}$ siano variabili aventi distribuzione normale; che abbiano tutte valore medio $\mu$ e varianza $\sigma ^{2}$; ed inoltre che siano tra loro tutte statisticamente indipendenti. Una qualsiasi loro combinazione lineare, quindi anche ognuna delle $y_{i}$ legate alle $x_{j}$ da quella particolare matrice di trasformazione (12.4) che abbiamo prima definita, è anch’essa distribuita secondo la legge normale; inoltre risulta

${\frac {1}{\sigma ^{2}}}\sum _{i=1}^{N}\left(x_{i}-{\bar {x}}\right)^{2}$	$={\frac {1}{\sigma ^{2}}}\left(\sum _{i=1}^{N}{x_{i}}^{2}-N{\bar {x}}^{2}\right)$
	$={\frac {1}{\sigma ^{2}}}\left(N{\bar {x}}^{2}+\sum _{i=2}^{N}{y_{i}}^{2}-N{\bar {x}}^{2}\right)$
	$=\sum _{i=2}^{N}{\frac {{y_{i}}^{2}}{\sigma ^{2}}}$.

Applicando alle $y_{i}=\sum _{j}A_{ij}x_{j}$ le formule per la media e la varianza delle combinazioni lineari di variabili casuali statisticamente indipendenti già ricavate nel capitolo 5, si trova facilmente (tenendo presenti la (12.5) e la (12.6)) che la varianza di ognuna di esse è ancora $\sigma ^{2}$; e che, per $i\neq 1$, il loro valore medio è 0. Di conseguenza, per $i\geq 2$ le $y_{i}/\sigma$ sono variabili casuali normali aventi media 0 e varianza 1: e questo implica che

$X''=\sum _{i=1}^{N}\left({\frac {x_{i}-{\bar {x}}}{\sigma }}\right)^{2}$

(12.7)

sia effettivamente distribuita come il $\chi ^{2}$ a $N-1$ gradi di libertà.

È interessante confrontare questo risultato con quello precedentemente ricavato, e riguardante la stessa espressione — in cui però gli scarti erano calcolati rispetto alla media della popolazione $\mu$. Nel primo caso la distribuzione era ancora quella del $\chi ^{2}$, ma con $N$ gradi di libertà: riferendoci invece alla media aritmetica del campione, i gradi di libertà diminuiscono di una unità. Questo è conseguenza di una legge generale, secondo la quale il numero di gradi di libertà da associare a variabili che seguono la distribuzione del $\chi ^{2}$ è dato dal numero di contributi indipendenti: ovvero il numero di termini con distribuzione normale sommati in quadratura (qui $N$, uno per ogni determinazione $x_{i}$) diminuito del numero di parametri che compaiono nella formula e che sono stati stimati dai dati stessi (qui uno: appunto la media della popolazione, stimata usando la media aritmetica delle misure).

Un’ultima notevole conseguenza del fatto che la variabile casuale $X''$ definita dalla (12.7) sia distribuita come il $\chi ^{2}$ a $N-1$ gradi di libertà è la seguente: la stima della varianza della popolazione ottenuta dal campione, $s^{2}$, vale

$s^{2}=X''\,{\frac {\sigma ^{2}}{N-1}}$

(12.8)

e, essendo proporzionale a $X''$, è anch’essa distribuita come il $\chi ^{2}$ a $N-1$ gradi di libertà; quindi la sua densità di probabilità è data dalla (12.1) e dipende solamente da N; non dipende, in particolare, dalla media del campione ${\bar {x}}$. Quindi:

Il valore medio ${\bar {x}}$ e la varianza campionaria $s^{2}$, calcolati su valori estratti a caso da una stessa popolazione normale, sono due variabili casuali statisticamente indipendenti tra loro.

Questo risulta anche intuitivamente comprensibile; se infatti ci è noto che un certo campione di dati ha una dispersione più o meno grande, questo non deve alterare la probabilità che il suo valore medio abbia un valore piuttosto che un altro; né, viceversa, il fatto che il campione sia centrato attorno ad un certo valore deve permetterci di prevedere in qualche modo la sua dispersione.