Desigualtat de Cramér-Rao

En estadística, el llindar de Cramér-Rao (abreujada CRB per les seves sigles de l'anglès) o llindar inferior de Cramér-Rao (CRLB), anomenat així en honor de Harald Cramér i Calyampudi Radhakrishna Rao, expressa una cota inferior per a la variància d'un estimador no esbiaixat, basat en la informació de Fisher.

Estableix que la inversa multiplicativa de la informació de Fisher d'un paràmetre $\theta$,$ℐ(\theta )$, és una cota inferior per a la variància d'un estimador no esbiaixat del paràmetre (denotat mitjançant $\hat{\theta }$). $f$ és la funció de versemblança.

$\mathrm{v}\mathrm{a}\mathrm{r}\left(\hat{\theta }\right)\ge \frac{1}{ℐ(\theta )}=\frac{1}{\mathrm{E}\left[{[\frac{\partial }{\partial \theta }\log f(X;\theta )]}^2\right]}$

En alguns casos, no existeix un estimador no esbiaixats que pugui aconseguir aquest llindar inferior.

A aquesta cota la hi coneix també com la desigualtat de Cramér-Rao o com la desigualtat d'informació.

Condicions de regularitat

La cota depèn de dues condicions de regularitat febles de la funció de densitat de probabilitat, $f(x;\theta )$, i de l'estimador :$T(X)$

• La informació de Fisher sempre està definida; en altres paraules, per a tot $x$ tal que $f(x;\theta )>0$,

$\frac{\partial }{\partial \theta }\ln f(x;\theta )$

és finit.

• Les operacions d'integració pel que fa a x i de diferenciació pel que fa a poden intercanviar-se en l'esperança de ; és a dir,$\theta$$T$

$\frac{\partial }{\partial \theta }[\int T(x)f(x;\theta )dx]=\int T(x)[\frac{\partial }{\partial \theta }f(x;\theta )]dx$

sempre que el membre dret de l'equació sigui finit.

En alguns casos, un estimador esbiaixat pot tenir tant variància com a error quadràtic mig per sota de la cota inferior de Cramér-Rao (la cota inferior s'aplica solament a estimadors no esbiaixats).

Si s'estén la segona condició de regularitat a la segona derivada, llavors es pot usar una forma alternativa de la informació de Fisher per obtenir una nova desigualtat de Cramér-Rao

$\mathrm{v}\mathrm{a}\mathrm{r}\left(\hat{\theta }\right)\ge \frac{1}{ℐ(\theta )}=\frac{1}{-\mathrm{E}[\frac{d^2}{d{\theta }^2}\log f(X;\theta )]}$

En alguns casos pot resultar més senzill prendre l'esperança pel que fa a la segona derivada que prendre-la respecte del quadrat de la primera derivada.

Exemple

Distribució normal multivariada

Pel cas d'una sistribució normal multivariant de dimensió d

$𝒙\sim N_d(\mathit{\mu }\left(\mathit{\theta }\right),C\left(\mathit{\theta }\right))$

amb la funció de densitat de probabilitat

$f(𝒙;\mathit{\theta })=\frac{1}{\sqrt{(2\pi {)}^d\left|C\right|}}\exp (-\frac{1}{2}{(𝒙-\mathit{\mu })}^T{C}^{-1}(𝒙-\mathit{\mu })),$

la matriu d'informació de Fisher té les entrades

${ℐ}_{m,k}=\frac{\partial {\mathit{\mu }}^T}{\partial {\theta }_m}{C}^{-1}\frac{\partial \mathit{\mu }}{\partial {\theta }_k}+\frac{1}{2}\mathrm{t}\mathrm{r}\left(C^{-1}\frac{\partial C}{\partial {\theta }_m}{C}^{-1}\frac{\partial C}{\partial {\theta }_k}\right)$

on $tr$ és la traça de la matriu.

En particular, si $w[n]$ és soroll blanc gaussià (una mostra d'$N$ observacions independents) amb variança coneguda ${\sigma }^2$, és a dir,

$w[n]\sim {\mathbb{N}}_N(\mathit{\mu }(\theta ),{\sigma }^2ℐ),$

i $\theta$ és un escalar, aleshores la matriu d'informació de Fisher és de dimensió 1 × 1

$ℐ(\theta )={\left(\frac{\partial \mathit{\mu }(\theta )}{\partial {\theta }_m}\right)}^T{C}^{-1}\left(\frac{\partial \mathit{\mu }(\theta )}{\partial {\theta }_k}\right)=\sum _{i=0}^N\frac{1}{{\sigma }^2}=\frac{N}{{\sigma }^2},$

i per tant el llindar de Cramér-Rao és

$\mathrm{v}\mathrm{a}\mathrm{r}\left(\theta \right)\ge \frac{{\sigma }^2}{N}.$

Bibliografia

• Plantilla:Ref-llibre

Enllaços externs

• FandPLimitTool Plantilla:Webarchive un programa que calcula la informació de Fisher i el llindar inferior de Cramér-Rao en l'aplicació específica de la macroscòpica d'una única molècula.