Teoria degli errori e fondamenti di statistica/B

by Maurizio Loreti

B L'errore della varianza

../A.7 ../C IncludiIntestazione 3 settembre 2022 100% Da definire

Questo testo è stato riletto e controllato.

Maurizio Loreti - Teoria degli errori e fondamenti di statistica (2006)

B L'errore della varianza

◄

A.7

C

►

---

Appendice B

L’errore della varianza

---

Può a volte essere utile valutare l’errore della stima della varianza ricavata da un campione di dati sperimentali. Facendo un esempio concreto, supponiamo di disporre di un ampio insieme di valutazioni della stessa grandezza fisica: $N\cdot M$ misure ripetute $x_{1},x_{2},\ldots ,x_{N\cdot M}$. Dividiamo questi valori in $M$ sottoinsiemi costituiti da $N$ dati ciascuno, e per ognuno di questi $M$ sottocampioni calcoliamo la media aritmetica dei dati; otterremo così $M$ medie parziali, che indicheremo con i simboli ${\bar {x}}_{1},\ldots ,{\bar {x}}_{M}$.

Lo scopo di queste operazioni può essere quello di verificare che le medie di questi sottocampioni sono distribuite su un intervallo di valori più ristretto di quello su cui si distribuisce l’insieme dei dati originali: in sostanza, per verificare che le medie di $N$ dati hanno errore quadratico medio inferiore a quello dei dati di partenza.

L’errore delle medie dei sottocampioni può essere stimato sperimentalmente calcolandone la varianza:

${\sigma _{\bar {x}}}^{2}={\frac {1}{M-1}}\,\sum _{i=1}^{M}\left({\bar {x}}_{i}-\langle {\bar {x}}\rangle \right)^{2}$

(sperimentale)

intendendo con $\langle {\bar {x}}\rangle$ la media delle $M$ medie parziali, che coinciderà necessariamente con la media complessiva dell’intero campione di $N\cdot M$ dati.

Questo valore può essere poi confrontato con quello previsto dalla teoria per la varianza della media di un gruppo di dati, allo scopo di verificare in pratica l’adeguatezza della teoria stessa; tale previsione teorica è come sappiamo data dal rapporto tra la varianza di ognuno dei dati che contribuiscono alla media ed il numero dei dati stessi:

${\sigma _{\bar {x}}}^{2}={\frac {\sigma ^{2}}{N}}$

(teorico).

Come stima di $\sigma$ si può usare l'errore quadratico medio dell'insieme di tutti gli $N\cdot M$ dati; ma, naturalmente, perché il confronto tra questi due numeri abbia un significato, occorre conoscere gli errori da cui sia la valutazione sperimentale che la previsione teorica di $\sigma _{\bar {x}}$ sono affette.

Consideriamo (come già fatto precedentemente) una popolazione a media zero per semplificare i calcoli:

$E(x)\;\equiv \;x^{*}\;=\;0$;

i risultati si potranno in seguito facilmente estendere ad una popolazione qualsiasi, tenendo presente il teorema di pagina 52 ed i ragionamenti conseguenti. La varianza di una qualsiasi variabile casuale $x$, indicata di seguito come ${\text{Var}}(x)$, si può scrivere come

${\text{Var}}(x)=E\left(x^{2}\right)-\left[E(x)\right]^{2}$

e, usando questa formula per calcolare la varianza della varianza di un campione di $N$ misure $s^{2}$, avremo

${\text{Var}}\left(s^{2}\right)=E\left(s^{4}\right)-\left[E\left(s^{2}\right)\right]^{2}$.

Ora

$s^{4}$	$=\left[{\frac {\sum _{i}{x_{i}}^{2}}{N}}-\left({\frac {\sum _{i}x_{i}}{N}}\right)^{2}\right]^{2}$
	$={\frac {1}{N^{2}}}\left(\sum \nolimits _{i}{x_{i}}^{2}\right)^{2}-{\frac {2}{N^{3}}}\left(\sum \nolimits _{i}{x_{i}}^{2}\right)\left(\sum \nolimits _{i}x_{i}\right)^{2}+{\frac {1}{N^{4}}}\left(\sum \nolimits _{i}x_{i}\right)^{4}.$

Sviluppiamo uno per volta i tre termini a secondo membro; per il primo risulta

$\left(\sum \nolimits _{i}{x_{i}}^{2}\right)^{2}$	$=\left(\sum \nolimits _{i}{x_{i}}^{2}\right){\Bigl (}\sum \nolimits _{j}{x_{j}}^{2}{\Bigr )}$
	$=\sum \nolimits _{i}\left({x_{i}}^{2}\sum _{j=i}{x_{j}}^{2}\right)+\sum \nolimits _{i}\left({x_{i}}^{2}\sum _{j\neq i}{x_{j}}^{2}\right)$
	$=\sum _{i}{x_{i}}^{4}+\sum _{\begin{array}{c}i,j\\j\neq i\end{array}}{x_{i}}^{2}{x_{j}}^{2}$
	$=\sum _{i}{x_{i}}^{4}+2\sum _{\begin{array}{c}i,j\\j<i\end{array}}{x_{i}}^{2}{x_{j}}^{2}$.

La prima sommatoria comprende $N$ addendi distinti; la seconda è estesa a tutte le possibili combinazioni dei valori distinti di $i$ e $j$ presi a due a due: è costituita quindi da

$C_{2}^{N}={\frac {N\,(N-1)}{2}}$

addendi distinti.

Il fattore 2 che compare davanti ad essa è dovuto al fatto che una coppia di valori degli indici si presentava nella sommatoria su $i\neq j$ una volta come ${x_{i}}^{2}{x_{j}}^{2}$ e un’altra come ${x_{j}}^{2}{x_{i}}^{2}$, termini diversi per l’ordine ma con lo stesso valore. In definitiva, passando ai valori medi e tenendo conto dell’indipendenza statistica di $x_{i}$ e $x_{j}$ quando è $i\neq j$, risulta

$E\left\{\left(\sum \nolimits _{i}{x_{i}}^{2}\right)^{2}\right\}=N\,E{\bigl (}x^{4}{\bigr )}+N\,(N-1)\,\left[E{\bigl (}x^{2}{\bigr )}\right]^{2}$.

Con simili passaggi, si ricava per il secondo termine

$\left(\sum \nolimits _{i}{x_{i}}^{2}\right){\Bigl (}\sum \nolimits _{j}x_{j}{\Bigr )}^{2}=\left(\sum \nolimits _{i}{x_{i}}^{2}\right)\left(\sum _{j}{x_{j}}^{2}+\sum _{\begin{array}{c}j,k\\j\neq k\end{array}}x_{j}x_{k}\right)$

$=\sum _{i}{x_{i}}^{4}+\sum _{\begin{array}{c}i,j\\i\neq j\end{array}}{x_{i}}^{2}{x_{j}}^{2}+\sum _{\begin{array}{c}i,j\\i\neq j\end{array}}{x_{i}}^{3}x_{j}+\sum _{\begin{array}{c}i,j,k\\i\neq j\neq k\end{array}}{x_{i}}^{2}x_{j}\,x_{k}$

dove gli indici aventi simboli diversi si intendono avere anche valori sempre diversi tra loro nelle sommatorie.

Il valore medio del terzo e del quarto termine si annulla essendo $E(x)=0$; inoltre gli addendi nella prima sommatoria sono in numero di $N$ e quelli nella seconda in numero di $N\,(N-1)/2$ e vanno moltiplicati per un fattore 2. Pertanto anche

$E\left\{\left(\sum \nolimits _{i}x_{i}^{2}\right)\left(\sum \nolimits _{i}x_{i}\right)^{2}\right\}=N\,E{\bigl (}x^{4}{\bigr )}+N\,(N-1)\,\left[E{\bigl (}x^{2}{\bigr )}\right]^{2}$.

Infine avremo, con la medesima convenzione sugli indici,

$\left(\sum \nolimits _{i}x_{i}\right)^{4}=\left(\sum \nolimits _{i}x_{i}\right){\Bigl (}\sum \nolimits _{j}x_{j}{\Bigr )}\left(\sum \nolimits _{k}x_{k}\right)\left(\sum \nolimits _{l}x_{l}\right)$

$=\sum _{i}{x_{i}}^{4}+\sum _{\begin{array}{c}i,j\\i\neq j\end{array}}{x_{i}}^{3}x_{j}+\sum _{\begin{array}{c}i,j\\i\neq j\end{array}}{x_{i}}^{2}{x_{j}}^{2}+\sum _{\begin{array}{c}i,j,k\\i\neq j\neq k\end{array}}{x_{i}}^{2}x_{j}x_{k}+\sum _{\begin{array}{c}i,j,k,l\\i\neq j\neq k\neq l\end{array}}x_{i}x_{j}x_{k}x_{l}$.

I valori medi del secondo, quarto e quinto termine (che contengono potenze dispari delle $x$) sono nulli. Gli addendi nella prima sommatoria sono in numero di $N$; nella terza vi sono $N\,(N-1)/2$ termini distinti: ma ciascuno appare in 6 modi diversi solo per l’ordine, corrispondenti al numero $C_{2}^{4}$ di combinazioni dei quattro indici originari $i$, $j$, $k$ ed $l$ presi a due a due. Allora

$E\left(\sum \nolimits _{i}x_{i}\right)^{4}=N\,E{\bigl (}x^{4}{\bigr )}+3\,N\,(N-1)\,\left[E{\bigl (}x^{2}{\bigr )}\right]^{2}$;

e, riprendendo la formula di partenza,

$E{\bigl (}s^{4}{\bigr )}={\frac {(N-1)^{2}}{N^{3}}}\,E{\bigl (}x^{4}{\bigr )}+{\frac {(N-1)(N^{2}-2N+3)}{N^{3}}}\,\left[E{\bigl (}x^{2}{\bigr )}\right]^{2}.$

Per il valore medio di $s^{2}$, già sappiamo come risulti per la varianza del campione

$E{\bigl (}s^{2}{\bigr )}=\sigma ^{2}-{\sigma _{\bar {x}}}^{2}$

inoltre

$\sigma ^{2}\;=\;E\left\{\left(x-x^{*}\right)^{2}\right\}\;=\;E{\bigl (}x^{2}{\bigr )}$

(essendo $x^{*}=0$) e

${\sigma _{\bar {x}}}^{2}\;=\;E\left\{\left({\bar {x}}-x^{*}\right)^{2}\right\}\;=\;{\frac {\sigma ^{2}}{N}}$

da cui abbiamo ottenuto a suo tempo la

$E{\bigl (}s^{2}{\bigr )}\;=\;{\frac {N-1}{N}}\,\sigma ^{2}\;=\;{\frac {N-1}{N}}\,E{\bigl (}x^{2}{\bigr )}$.

Per la varianza di $s^{2}$, che vogliamo determinare:

${\text{Var}}{\bigl (}s^{2}{\bigr )}$	$=E{\bigl (}s^{4}{\bigr )}-\left[E{\bigl (}s^{2}{\bigr )}\right]^{2}$
	$={\frac {(N-1)^{2}}{N^{3}}}\,E{\bigl (}x^{4}{\bigr )}+$
	$+\left[\,{\frac {(N-1)(N^{2}-2N+3)}{N^{3}}}\,-\,{\frac {(N-1)^{2}}{N^{2}}}\,\right]\left[E{\bigl (}x^{2}{\bigr )}\right]^{2}$
	$={\frac {(N-1)^{2}}{N^{3}}}\,E{\bigl (}x^{4}{\bigr )}\,-\,{\frac {(N-1)(N-3)}{N^{3}}}\,\left[E{\bigl (}x^{2}{\bigr )}\right]^{2}$
	$={\frac {N-1}{N^{3}}}\,\left\{(N-1)\,E{\bigl (}x^{4}{\bigr )}\,-\,(N-3)\,\left[E{\bigl (}x^{2}{\bigr )}\right]^{2}\right\}$.

Questa relazione ha validità generale. Nel caso poi che la popolazione ubbidisca alla legge normale, potremo calcolare il valore medio di $x^{4}$ usando la forma analitica della funzione di Gauss: per distribuzioni normali qualsiasi, i momenti di ordine pari rispetto alla media sono dati dalla formula (8.5), che qui ricordiamo:

$\mu _{2k}\;=\;E\left\{{\bigl [}x-E(x){\bigr ]}^{2k}\right\}\;=\;{\frac {(2k)!}{2^{k}\,k!}}\,{\mu _{2}}^{k}\;=\;{\frac {(2k)!}{2^{k}\,k!}}\,\sigma ^{2k}.$

Per la varianza di $s^{2}$ se ne ricava

$E{\bigl (}x^{4}{\bigr )}=3\sigma ^{4}$

e, sostituendo,

${\text{Var}}{\bigl (}s^{2}{\bigr )}\;=\;{\frac {2(N-1)}{N^{2}}}\,\left[E{\bigl (}x^{2}{\bigr )}\right]^{2}\;=\;{\frac {2(N-1)}{N^{2}}}\,\sigma ^{4};$

insomma l’errore quadratico medio della varianza $s^{2}$ del campione vale

$\sigma _{s^{2}}={\frac {\sqrt {2(N-1)}}{N}}\,\sigma ^{2}$.

La varianza, invece, della stima della varianza della popolazione

$\sigma ^{2}={\frac {N}{N-1}}\,s^{2}$

vale

${\text{Var}}{\bigl (}\sigma ^{2}{\bigr )}\;=\;\left({\frac {N}{N-1}}\right)^{2}\,{\text{Var}}{\bigl (}s^{2}{\bigr )}\;=\;{\frac {2}{N-1}}\,\sigma ^{4}$;

ed infine l’errore quadratico medio della stima della varianza della popolazione ricavata dal campione è

$\sigma _{\sigma ^{2}}={\sqrt {\dfrac {2}{N-1}}}\sigma ^{2}$

Sottolineiamo ancora come queste formule che permettono di calcolare, per una popolazione avente distribuzione normale, gli errori quadratici medi sia della varianza di un campione di $N$ misure che della stima della varianza della popolazione ricavata da un campione di $N$ misure, siano esatte.

Se si vuole invece calcolare l’errore da attribuire agli errori quadratici medi, cioè alle quantità $s$ e $\sigma$ radici quadrate delle varianze di cui sopra, non è possibile dare delle formule esatte: la ragione ultima è che il valore medio di $s$ non può essere espresso in forma semplice in termini di grandezze caratteristiche della popolazione.

Per questo motivo è sempre meglio riferirsi ad errori di varianze piuttosto che ad errori di scarti quadratici medi; comunque, in prima approssimazione, l’errore di $\sigma$ si può ricavare da quello su $\sigma ^{2}$ usando la formula di propagazione:

${\text{Var}}(\sigma )\;\approx \;\left({\frac {1}{\tfrac {\mathrm {d} \left(\sigma ^{2}\right)}{\mathrm {d} \sigma }}}\right)^{2}{\text{Var}}{\bigl (}\sigma ^{2}{\bigr )}\;=\;{\frac {1}{4\,\sigma ^{2}}}\,{\text{Var}}{\bigl (}\sigma ^{2}{\bigr )}\;=\;{\frac {\sigma ^{2}}{2\,(N-1)}};$

cioè

$\sigma _{\sigma }\approx {\dfrac {\sigma }{\sqrt {2\,(N-1)}}}$

(B.1)

(il fatto che questa formula sia approssimata risulta chiaramente se si considera che la relazione tra $\sigma ^{2}$ e $\sigma$ è non lineare).

Una conseguenza dell’equazione (B.1) è che l’errore relativo di $\sigma$ dipende solo dal numero di misure; diminuisce poi all’aumentare di esso, ma questa diminuzione è inversamente proporzionale alla radice quadrata di $N$ e risulta perciò lenta.

In altre parole, per diminuire l’errore relativo di $\sigma$ di un ordine di grandezza occorre aumentare il numero delle misure di due ordini di grandezza; $\sigma _{\sigma }/\sigma$ è (circa) il 25% per 10 misure, il 7% per 100 misure ed il 2% per 1000 misure effettuate: e questo è sostanzialmente il motivo per cui, di norma, si scrive l’errore quadratico medio dando per esso una sola cifra significativa.

Due cifre significative reali per $\sigma$ corrisponderebbero infatti ad un suo errore relativo compreso tra il 5% (se la prima cifra significativa di $\sigma$ è 1, ad esempio $\sigma =10\pm 0.5$) e lo 0.5% ($\sigma =99\pm 0.5$); e presupporrebbero quindi che siano state effettuate almeno 200 misure nel caso più favorevole e quasi 20^·000 in quello più sfavorevole.