Teoria degli errori e fondamenti di statistica/C.1

by Maurizio Loreti

C.1 La covarianza

../C ../C.2 IncludiIntestazione 3 settembre 2022 100% Da definire

Questo testo è stato riletto e controllato.

Maurizio Loreti - Teoria degli errori e fondamenti di statistica (2006)

C.1 La covarianza

◄

C

C.2

►

C.1 La covarianza

Per due variabili casuali $x$ ed $y$ si definisce la covarianza, che si indica con uno dei due simboli ${\text{Cov}}(x,y)$ o $K_{xy}$, nel seguente modo:

${\text{Cov}}(x,y)$	$=E\left\{\left[x-E(x)\right]\left[y-E(y)\right]\right\}$
	$=E(xy)-E(x)\cdot E(y)$.

Per provare l’equivalenza delle due forme, basta osservare che¹

${\text{Cov}}(x,y)$	$=E\left\{\left[x-E(x)\right]\left[y-E(y)\right]\right\}$
	$=\sum \nolimits _{ij}P_{ij}\left[x_{i}-E(x)\right]\left[y_{j}-E(y)\right]$
	$=\sum \nolimits _{ij}P_{ij}\,x_{i}\,y_{j}\;-\;E(x)\sum \nolimits _{ij}P_{ij}\,y_{j}\;-\;E(y)\sum \nolimits _{ij}P_{ij}\,x_{i}\;+$
	$+E(x)\,E(y)\sum \nolimits _{ij}P_{ij}$
	$=E(xy)\;-\;E(x)\sum \nolimits _{j}q_{j}\,y_{j}\;-\;E(y)\sum \nolimits _{i}p_{i}\,x_{i}\;+\;E(x)\,E(y)$
	$=E(xy)\;-\;E(x)\cdot E(y)$

ricordando alcune relazioni già ricavate nel capitolo 5, e valide per variabili casuali qualunque: in particolare, anche non statisticamente indipendenti.

È chiaro come per variabili statisticamente indipendenti la covarianza sia nulla: infatti per esse vale la

$E(xy)=\sum \nolimits _{ij}P_{ij}\,x_{i}\,y_{j}\;=\;\sum \nolimits _{ij}\,p_{i}\,q_{j}\,x_{i}\,y_{j}\;=\;E(x)\cdot E(y)$.

Non è però vero l’inverso: consideriamo ad esempio le due variabili casuali $x$ ed $y=x^{2}$, ovviamente dipendenti l’una dall’altra: la loro covarianza vale

${\text{Cov}}(x,y)\;=\;E(xy)-E(x)\cdot E(y)\;=\;E(x^{3})-E(x)\cdot E(x^{2})$

ed è chiaramente nulla per qualunque variabile casuale $x$ con distribuzione simmetrica rispetto allo zero; quindi l’annullarsi della covarianza è condizione necessaria ma non sufficiente per l’indipendenza statistica di due variabili casuali.

Possiamo ora calcolare la varianza delle combinazioni lineari di due variabili casuali qualunque, estendendo la formula già trovata nel capitolo 5 nel caso particolare di variabili statisticamente indipendenti; partendo ancora da due variabili $x$ e $y$ con media zero per semplificare i calcoli, per la loro combinazione lineare $z=ax+by$ valgono le:

$E(z)$	$=a\,E(x)+b\,E(y)=0$
${\text{Cov}}(x,y)$	$=E(xy)-E(x)\cdot E(y)=E(xy)$
${\text{Var}}(z)$	$=E\left\{{\bigl [}z-E(z){\bigr ]}^{2}\right\}$
	$=E{\bigl (}z^{2}{\bigr )}$
	$=E\left[(ax+by)^{2}\right]$
	$=\sum \nolimits _{ij}P_{ij}(a\,x_{i}+b\,y_{j})^{2}$
	$=a^{2}\sum \nolimits _{ij}P_{ij}\,{x_{i}}^{2}\;+\;b^{2}\sum \nolimits _{ij}P_{ij}\,{y_{j}}^{2}\;+\;2ab\sum \nolimits _{ij}P_{ij}\,x_{i}\,y_{j}$
	$=a^{2}\sum \nolimits _{i}p_{i}{x_{i}}^{2}\;+\;b^{2}\sum \nolimits _{j}q_{j}{y_{j}}^{2}\;+\;2ab\,E(xy)$

ed infine

${\text{Var}}(z)=a^{2}\,{\text{Var}}(x)+b^{2}\,{\text{Var}}(y)+2ab\,{\text{Cov}}(x,y)$.

(C.1)

Questa si estende immediatamente a variabili casuali con media qualsiasi: introducendo ancora le variabili ausiliarie

$\xi =x-E(x)$

ed

$\eta =y-E(y)$

per le quali già sappiamo che vale la

$E(\xi )=E(\eta )=0$

con le

${\text{Var}}(\xi )={\text{Var}}(x)$

e

${\text{Var}}(\eta )={\text{Var}}(y)$;

basta osservare infatti che vale anche la

${\text{Cov}}(x,y)\;=\;E{\Bigl \{}\left[x-E(x)\right]\left[y-E(y)\right]{\Bigr \}}={\text{Cov}}(\xi ,\eta )$.

La (C.1) si può poi generalizzare, per induzione completa, ad una variabile $z$ definita come combinazione lineare di un numero qualsiasi $N$ di variabili casuali: si trova che, se

$z=\sum _{i=1}^{N}a_{i}\,x_{i}$

risulta

${\text{Var}}(z)=\sum _{i}{a_{i}}^{2}\,{\text{Var}}(x_{i})+\sum _{\begin{array}{c}i,j\\j>i\end{array}}2\,a_{i}\,a_{j}\,{\text{Cov}}(x_{i},x_{j})$.

(C.2)

Per esprimere in modo compatto la (C.2), si ricorre in genere ad una notazione che usa la cosiddetta matrice delle covarianze delle variabili $x$; ovverosia una matrice quadrata ${\boldsymbol {V}}$ di ordine $N$, in cui il generico elemento $V_{ij}$ è uguale alla covarianza delle variabili casuali $x_{i}$ e $x_{j}$:

$V_{ij}\;=\;{\text{Cov}}(x_{i},x_{j})\;=\;E(x_{i}\cdot x_{j})-E(x_{i})\cdot E(x_{j})$.

(C.3)

La matrice è ovviamente simmetrica ($V_{ij}=V_{ji}$); e, in particolare, gli elementi diagonali $V_{ii}$ valgono

$V_{ii}\;=\;E({x_{i}}^{2})-{\bigl [}E(x_{i}){\bigr ]}^{2}\;\equiv \;{\text{Var}}(x_{i})$.

Consideriamo poi le $a_{i}$ come le $N$ componenti di un vettore ${\boldsymbol {A}}$ di dimensione $N$ (che possiamo concepire come una matrice rettangolare di $N$ righe ed una colonna); ed introduciamo la matrice trasposta di ${\boldsymbol {A}}$, ${\boldsymbol {\widetilde {A}}}$, che è una matrice rettangolare di una riga ed $N$ colonne i cui elementi valgono

${\widetilde {A}}_{i}=A_{i}$.

Possiamo allora scrivere la (C.2) nella forma

${\text{Var}}(z)=\sum _{i,j}{\widetilde {A}}_{i}\,V_{ij}\,A_{j}$

(la simmetria di ${\boldsymbol {V}}$ e quella tra ${\boldsymbol {\widetilde {A}}}$ ed ${\boldsymbol {A}}$ produce, nello sviluppo delle sommatorie, il fattore 2 che moltiplica le covarianze); o anche, ricordando le regole del prodotto tra matrici,

${\text{Var(z)}}={\boldsymbol {\widetilde {A}}}\,{\boldsymbol {V}}\,{\boldsymbol {A}}$

Si può poi facilmente dimostrare il seguente teorema, che ci sarà utile più avanti:

Teorema: due differenti combinazioni lineari delle stesse variabili casuali sono sempre correlate.

Infatti, dette $A$ e $B$ le due combinazioni lineari:

$A=\sum _{i=1}^{N}a_{i}\,x_{i}$	$\Rightarrow$	$E(A)=\sum _{i=1}^{N}a_{i}\,E(x_{i})$
$B=\sum _{j=1}^{N}b_{j}\,x_{j}$	$\Rightarrow$	$E(B)=\sum _{j=1}^{N}b_{j}\,E(x_{j})$

abbiamo che la covarianza di $A$ e $B$ vale

${\text{Cov}}(A,B)$	$=E{\Biggl \{}{\Bigl [}A-E(A){\Bigr ]}\,{\Bigl [}B-E(B){\Bigr ]}{\Biggr \}}$
	$=E\left\{\sum _{i,j}a_{i}\,b_{j}\,{\Bigl [}x_{i}-E{\bigl (}x_{i}{\bigr )}{\Bigr ]}\,{\Bigl [}x_{j}-E{\bigl (}x_{j}{\bigr )}{\Bigr ]}\right\}$
	$=\sum _{i,j}a_{i}\,b_{j}E{\Biggl \{}{\Bigl [}x_{i}-E{\bigl (}x_{i}{\bigr )}{\Bigr ]}\,{\Bigl [}x_{j}-E{\bigl (}x_{j}{\bigr )}{\Bigr ]}{\Biggr \}}$
	$=\sum _{i}a_{i}\,b_{i}{\text{Var}}(x_{i})+\sum _{\begin{array}{c}i,j\\i\neq j\end{array}}a_{i}\,b_{j}{\text{Cov}}(x_{i},x_{j})$

e non è in genere nulla. In forma matriciale e con ovvio significato dei simboli,

${\text{Cov}}(A,B)={\boldsymbol {\widetilde {A}}}\,{\boldsymbol {V}}\,{\boldsymbol {B}}$.

È da notare come $A$ e $B$ siano di norma sempre correlate anche se le variabili di partenza $x_{i}$ sono tutte tra loro statisticamente indipendenti: in questo caso infatti tutti i termini non diagonali della matrice delle covarianze si annullano, e risulta

${\text{Cov}}(A,B)=\sum _{i=1}^{N}a_{i}\,b_{i}\,{\text{Var}}(x_{i})$.

(C.4)

Note

1. Nel seguito useremo per la varianza, per le probabilità di ottenere i vari valori $x_{i}$ o $y_{j}$ e così via, le stesse notazioni già introdotte nel capitolo 5.