Matriu de covariància

En estadística i teoria de la probabilitat, la matriu de covariància és una matriu que conté la covariància entre els elements d'un vector. És la generalització natural a dimensions superiors del concepte de variància d'una variable aleatòria escalar.

Definició

Si les entrades del vector-columna

$X=\left[\begin{array}{c}{X}_1\\ ⋮\\ X_n\end{array}\right]$

són variables aleatòries, cadascuna amb variància finita, llavors la matriu de covariància Σ és la matriu l'entrada ( i , j ) és la covariància

${\mathrm{\Sigma }}_{ij}=\mathrm{I}\left[\begin{array}{c}(X_i-{\mu }_i)(X_j-{\mu }_j)\end{array}\right]$

on

${\mathrm{M}}_i=\mathrm{I}(X_i)$

és el valor esperat de l'entrada i -èsima del vector X . En altres paraules, tenim

$\mathrm{\Sigma }=\left[\begin{array}{cccc}\mathrm{E}[(X_1-{\mu }_1)(X_1-{\mu }_1)]& \mathrm{E}[(X_1-{\mu }_1)(X_2-{\mu }_2)]& \cdots & \mathrm{E}[(X_1-{\mu }_1)(X_n-{\mu }_n)]\\ \\ \mathrm{E}[(X_2-{\mu }_2)(X_1-{\mu }_1)]& \mathrm{E}[(X_2-{\mu }_2)(X_2-{\mu }_2)]& \cdots & \mathrm{E}[(X_2-{\mu }_2)(X_n-{\mu }_n)]\\ \\ ⋮& ⋮& \ddots & ⋮\\ \\ \mathrm{E}[(X_n-{\mu }_n)(X_1-{\mu }_1)]& \mathrm{E}[(X_n-{\mu }_n)(X_2-{\mu }_2)]& \cdots & \mathrm{E}[(X_n-{\mu }_n)(X_n-{\mu }_n)]\end{array}\right].$

Com una generalització de la variància

L'anterior definició és equivalent a la igualtat matricial

$\mathrm{\Sigma }=\mathrm{I}\left[(\mathbf{\text{X}}-\mathrm{I}[\mathbf{\text{X}}]){(\mathbf{\text{X}}-\mathrm{I}[\mathbf{\text{X}}])}^{\mathrm{\top }}\right]$

Per tant, s'entén que això generalitza a majors dimensions el concepte de variància d'una variable aleatòria escalar X , definida com

${\mathrm{\Sigma }}^2=\mathrm{v}\mathrm{a}\mathrm{r}(X)=\mathrm{I}[(X-\mu {)}^2],$

on

$\mathrm{M}=\mathrm{I}(X).$

Propietats

Per $\mathrm{\Sigma }=\mathrm{I}\left[(\mathbf{\text{X}}-\mathrm{I}[\mathbf{\text{X}}]){(\mathbf{\text{X}}-\mathrm{I}[\mathbf{\text{X}}])}^{\mathrm{\top }}\right]$ i $\mu =\mathrm{I}(\mathbf{\text{X}})$, les següents propietats fonamentals es demostren correctes:

1. $\mathrm{\Sigma }=\mathrm{I}(𝐗{𝐗}^{\mathrm{\top }})-\mathit{\mu }{\mathit{\mu }}^{\mathrm{\top }}$
2. $\mathrm{\Sigma }$ és semidefinida positiva
3. $\mathrm{var}(𝐀𝐗+𝐚)=𝐀\mathrm{var}(𝐗){𝐀}^{\mathrm{\top }}$
4. $\mathrm{cov}(𝐗,𝐈)=\mathrm{cov}(𝐈,𝐗{)}^{\mathrm{\top }}$
5. $\mathrm{cov}({𝐗}_{\mathrm{𝟏}}+{𝐱}_{\mathrm{𝟐}},𝐈)=\mathrm{cov}({𝐗}_{\mathrm{𝟏}},𝐈)+\mathrm{cov}({𝐱}_{\mathrm{𝟐}},𝐈)$
6. Si els vectors $𝐗$ i $𝐈$ són d'igual dimensió, llavors $\mathrm{var}(𝐗+𝐈)=\mathrm{var}(𝐗)+\mathrm{cov}(𝐗,𝐈)+\mathrm{cov}(𝐈,𝐗)+\mathrm{var}(𝐈)$
7. $\mathrm{cov}(𝐀𝐗,𝐁𝐘)=𝐀\mathrm{cov}(𝐗,𝐈){𝐁}^{\mathrm{\top }}$
8. Si $𝐗$ i $𝐈$ són independents, llavors $\mathrm{cov}(𝐗,𝐈)=0$

on $𝐗,{𝐗}_{\mathrm{𝟏}}$ i ${𝐱}_{\mathrm{𝟐}}$ són vectors aleatoris de dimensió $\mathbf{(}𝐩\mathbf{\times }\mathrm{𝟏}\mathbf{)}$, $𝐈$ és un vector aleatori $\mathbf{(}𝐪\mathbf{\times }\mathrm{𝟏}\mathbf{)}$, $𝐚$ és $\mathbf{(}𝐩\mathbf{\times }\mathrm{𝟏}\mathbf{)}$, $𝐀$ i $𝐁$ són matrius de $\mathbf{(}𝐩\mathbf{\times }𝐪\mathbf{)}$.

La matriu de covariància (encara que molt simple) és una eina molt útil en diversos camps. A partir d'ella es pot derivar una transformació lineal que pot de-correlacionar les dades o, des d'un altre punt de vista, trobar una base òptima per representar les dades de forma òptima (vegeu quocient de Rayleigh per la prova formal i altres propietats de les matrius de covariància). Això es diu anàlisi del component principal (PCA per les seves sigles en anglès) en estadística, i transformada de Karhunen-Loev a processament de la imatge.

Bibliografia addicional

• Covariance Matrix a MathWorld
• Van Kampen, N. G. Teoria processes in physics and chemistry . New York: North-Holland, 1981.