Teoria degli errori e fondamenti di statistica/C.5

by Maurizio Loreti

C.5 Applicazioni alla stima di parametri

../C.4.7 ../D IncludiIntestazione 3 settembre 2022 100% Da definire

Questo testo è stato riletto e controllato.

Maurizio Loreti - Teoria degli errori e fondamenti di statistica (2006)

C.5 Applicazioni alla stima di parametri

◄

C.4.7

D

►

C.5 Applicazioni alla stima di parametri

Se la densità di probabilità $f(x;\theta )$ di una variabile casuale $x$ dipende da un parametro di valore vero ignoto $\theta ^{*}$, abbiamo visto nel capitolo 11 che una stima ${\widehat {\theta }}$ di tale valore può essere ottenuta col metodo della massima verosimiglianza; e che è possibile ricavare dalla derivata seconda della funzione di verosimiglianza (che ne misura la concavità nel punto di massimo) l’errore di questa stima, attraverso l’equazione (11.5).

Il metodo si può ovviamente estendere alla stima contemporanea di più parametri (e lo abbiamo in effetti usato, ad esempio, per ricavare i due coefficienti della retta interpolante nel paragrafo 11.4.1): se $x$ è la variabile misurata, di densità di probabilità $f(x;\theta _{1},\theta _{2},\ldots ,\theta _{M})$ dipendente da $M$ parametri $\theta _{k}$, le stime di massima verosimiglianza ${\widehat {\theta }}_{k}$ si ricavano risolvendo il sistema ottenuto annullando contemporaneamente ognuna delle derivate parziali prime (ed esaminando poi ognuna delle eventuali soluzioni per controllare se corrisponde ad un massimo).

I punti enunciati nel paragrafo 11.2 continuano a rimanere validi anche nel caso multidimensionale: in particolare, ognuna delle stime ${\widehat {\theta }}_{k}$ è asintoticamente normale; e si troverebbe che le derivate seconde della funzione di verosimiglianza nel punto di minimo sono legate all’inversa della matrice delle covarianze delle $M$ stime attraverso la

$\left({\boldsymbol {V}}^{\mathbf {-1} }\right)_{ij}=-N\cdot E\left\{{\frac {\partial ^{2}\,\ln f(x;\theta _{1},\theta _{2},\ldots ,\theta _{M})}{\partial \theta _{i}\,\partial \theta _{j}}}\right\}$

(C.16)

che si può pensare come la generalizzazione a più stime contemporanee dell’equazione (11.5).

Come esempio, abbiamo già visto nel paragrafo 11.5 come stimare contemporaneamente i due parametri $\mu$ e $\sigma$ di una popolazione normale da un campione di $N$ determinazioni indipendenti col metodo della massima verosimiglianza; e vogliamo ora ricavare gli errori di quelle stime dalla (C.16).

Ricordiamo dal paragrafo 11.5 che il logaritmo della densità di probabilità vale

$\ln f(x;\mu ,\sigma )\;=\;-\ln \sigma -\ln {\sqrt {2\pi }}-{\frac {1}{2}}\left({\frac {x-\mu }{\sigma }}\right)^{2}$;

e che le due stime di massima verosimiglianza per $\mu$ e $\sigma$ sono

${\widehat {\mu }}={\bar {x}}={\frac {1}{N}}\sum _{i=1}^{N}x_{i}$

e

${\widehat {\sigma }}^{2}={\frac {1}{N}}\sum _{i=1}^{N}\left(x_{i}-{\widehat {\mu }}\right)^{2}$

rispettivamente. Le derivate prime di $\ln f$ sono

${\frac {\partial }{\partial \mu }}\ln f={\frac {x-\mu }{\sigma ^{2}}}$

${\frac {\partial }{\partial \sigma }}\ln f=-{\frac {1}{\sigma }}+{\frac {(x-\mu )^{2}}{\sigma ^{3}}}$

e le derivate seconde

${\frac {\partial ^{2}}{\partial \mu ^{2}}}\ln f={\frac {1}{\sigma ^{2}}}$

${\frac {\partial ^{2}}{\partial \mu \,\partial \sigma }}\ln f=-2\,{\frac {x-\mu }{\sigma ^{3}}}$

${\frac {\partial ^{2}}{\partial \sigma \,\partial \mu }}\ln f=-2\,{\frac {x-\mu }{\sigma ^{3}}}$

${\frac {\partial ^{2}}{\partial \sigma ^{2}}}\ln f={\frac {1}{\sigma ^{2}}}-3\,{\frac {(x-\mu )^{2}}{\sigma ^{4}}}$

di valori medi

$E\left({\frac {\partial ^{2}}{\partial \mu ^{2}}}\ln f\right)=-{\frac {1}{\sigma ^{2}}}$

$E\left({\frac {\partial ^{2}}{\partial \mu \,\partial \sigma }}\ln f\right)=0$

$E\left({\frac {\partial ^{2}}{\partial \sigma \,\partial \mu }}\ln f\right)=0$

$E\left({\frac {\partial ^{2}}{\partial \sigma ^{2}}}\ln f\right)=-{\frac {2}{\sigma ^{2}}}$;

per cui, dalla (C.16), l’inverso della matrice delle covarianze (che è diagonale) è

${\boldsymbol {V}}^{\mathbf {-1} }=\left\|{\begin{array}{cc}{\dfrac {N}{{\widehat {\sigma }}^{2}}}&0\\0&{\dfrac {2N}{{\widehat {\sigma }}^{2}}}\end{array}}\right\|$

e la matrice ${\boldsymbol {V}}$ stessa vale

${\boldsymbol {V}}=\left\|{\begin{array}{cc}{\dfrac {{\widehat {\sigma }}^{2}}{N}}&0\\0&{\dfrac {{\widehat {\sigma }}^{2}}{2N}}\end{array}}\right\|$.

Insomma, oltre alla consueta espressione della varianza della media

${\text{Var}}({\widehat {\mu }})={\frac {{\widehat {\sigma }}^{2}}{N}}$

abbiamo ottenuto quella della varianza di ${\widehat {\sigma }}$

${\text{Var}}({\widehat {\sigma }})={\frac {{\widehat {\sigma }}^{2}}{2N}}$

da confrontare con la (B.1), in cui però ${\widehat {\sigma }}$ era già stato corretto, moltiplicandolo per un fattore $N/(N-1)$, per eliminare la distorsione della stima; e la riconferma del fatto, già visto nel paragrafo 12.1 a pagina 203, che valore medio e varianza di un campione di stime indipendenti sono variabili casuali statisticamente indipendenti tra loro (le covarianze infatti sono nulle).