Entropia diferencial

Distribució beta d'entropia diferencial per alfa i beta de l'1 al 5.

Distribució beta d'entropia diferencial per alfa i beta de 0,1 a 5.

L'entropia diferencial (també anomenada entropia contínua ) és un concepte en teoria de la informació que va començar com un intent de Claude Shannon d'estendre la idea d'entropia (Shannon), una mesura de la mitjana (sorpresa) d'una variable aleatòria, a distribucions de probabilitat contínues. Malauradament, Shannon no va derivar aquesta fórmula, i més aviat va suposar que era l'anàleg continu correcte de l'entropia discreta, però no ho és. Plantilla:RpLa versió contínua real de l'entropia discreta és la densitat limitant de punts discrets (LDDP). L'entropia diferencial (descrita aquí) es troba habitualment a la literatura, però és un cas límit del LDDP i que perd la seva associació fonamental amb l'entropia discreta.

Pel que fa a la teoria de la mesura, l'entropia diferencial d'una mesura de probabilitat és l'entropia relativa negativa d'aquesta mesura a la mesura de Lebesgue, on aquesta última es tracta com si fos una mesura de probabilitat, tot i no estar normalitzada.

Definició

Deixar $X$ ser una variable aleatòria amb una funció de densitat de probabilitat $f$ el suport dels quals és un conjunt $𝒳$ . L' entropia diferencial $h(X)$ o $h(f)$ es defineix com Plantilla:Rp Plantilla:Equation box 1 Per a distribucions de probabilitat que no tenen una expressió de funció de densitat explícita, però tenen una expressió de funció quantil explícita, $Q(p)$, doncs $h(Q)$ es pot definir en termes de la derivada de $Q(p)$ és a dir, la funció de densitat quantil $Q^{\prime }(p)$ com

$h(Q)=\underset{0}{\overset{1}{\int }}\log Q^{\prime }(p)dp$

Igual que amb el seu analògic discret, les unitats d'entropia diferencial depenen de la base del logaritme, que sol ser 2 (és a dir, les unitats són bits). Vegeu unitats logarítmiques per als logaritmes presos en diferents bases. Els conceptes relacionats com ara conjunt, entropia diferencial condicional i entropia relativa es defineixen de manera similar. A diferència de l'analògic discret, l'entropia diferencial té un desplaçament que depèn de les unitats utilitzades per mesurar $X$. Plantilla:RpPer exemple, l'entropia diferencial d'una quantitat mesurada en mil·límetres serà Plantilla:Literal més que la mateixa quantitat mesurada en metres; una quantitat adimensional tindrà una entropia diferencial de Plantilla:Literal més que la mateixa quantitat dividida per 1000.

Cal tenir cura en intentar aplicar les propietats de l'entropia discreta a l'entropia diferencial, ja que les funcions de densitat de probabilitat poden ser superiors a 1. Per exemple, la distribució uniforme $𝒰(0,1/2)$ té entropia diferencial negativa ; és a dir, està millor ordenat que $𝒰(0,1)$ com es mostra ara

$\underset{0}{\overset{\frac{1}{2}}{\int }}-2\log (2)dx=-\log (2)$

sent inferior a la de $𝒰(0,1)$ que té entropia diferencial zero . Per tant, l'entropia diferencial no comparteix totes les propietats de l'entropia discreta.

Entropies diferencials per a diverses distribucions

A la taula següent $\mathrm{\Gamma }(x)=\underset{0}{\overset{\mathrm{\infty }}{\int }}{e}^{-t}{t}^{x-1}dt$ és la funció gamma, $\psi (x)=\frac{d}{dx}\ln \mathrm{\Gamma }(x)=\frac{{\mathrm{\Gamma }}^{\prime }(x)}{\mathrm{\Gamma }(x)}$ és la funció digamma, $B(p,q)=\frac{\mathrm{\Gamma }(p)\mathrm{\Gamma }(q)}{\mathrm{\Gamma }(p+q)}$ és la funció beta i γ _E és la constant d'Euler. Plantilla:Rp

Nom de la distribució	Funció de densitat de probabilitat (pdf)	Entropia diferencial en nats
Uniforme	$f(x)=\frac{1}{b-a}$	$\ln (b-a)$
Normal	$f(x)=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp (-\frac{(x-\mu {)}^2}{2{\sigma }^2})$	$\ln \left(\sigma \sqrt{2\pi e}\right)$
Exponencial	$f(x)=\lambda \exp (-\lambda x)$	$1-\ln \lambda$
Rayleigh	$f(x)=\frac{x}{{\sigma }^2}\exp (-\frac{x^2}{2{\sigma }^2})$	$1+\ln \frac{\sigma }{\sqrt{2}}+\frac{{\gamma }_E}{2}$
Beta	$f(x)=\frac{x^{\alpha -1}(1-x{)}^{\beta -1}}{B(\alpha ,\beta )}$ for $0\le x\le 1$	$\ln B(\alpha ,\beta )-(\alpha -1)[\psi (\alpha )-\psi (\alpha +\beta )]$$-(\beta -1)[\psi (\beta )-\psi (\alpha +\beta )]$
Cauchy	$f(x)=\frac{\gamma }{\pi }\frac{1}{{\gamma }^2+x^2}$	$\ln (4\pi \gamma )$
Chi	$f(x)=\frac{2}{2^{k/2}\mathrm{\Gamma }(k/2)}{x}^{k-1}\exp (-\frac{x^2}{2})$	$\ln \frac{\mathrm{\Gamma }(k/2)}{\sqrt{2}}-\frac{k-1}{2}\psi \left(\frac{k}{2}\right)+\frac{k}{2}$
Chi-quadrat	$f(x)=\frac{1}{2^{k/2}\mathrm{\Gamma }(k/2)}{x}^{\frac{k}{2}-1}\exp (-\frac{x}{2})$	$\ln 2\mathrm{\Gamma }\left(\frac{k}{2}\right)-(1-\frac{k}{2})\psi \left(\frac{k}{2}\right)+\frac{k}{2}$
Erlang	$f(x)=\frac{{\lambda }^k}{(k-1)!}{x}^{k-1}\exp (-\lambda x)$	$(1-k)\psi (k)+\ln \frac{\mathrm{\Gamma }(k)}{\lambda }+k$
F	$f(x)=\frac{n_1^{\frac{n_1}{2}}{n}_2^{\frac{n_2}{2}}}{B(\frac{n_1}{2},\frac{n_2}{2})}\frac{x^{\frac{n_1}{2}-1}}{(n_2+n_{1}x{)}^{\frac{n_1+n2}{2}}}$	$\ln \frac{n_1}{n_2}B(\frac{n_1}{2},\frac{n_2}{2})+(1-\frac{n_1}{2})\psi \left(\frac{n_1}{2}\right)-$$(1+\frac{n_2}{2})\psi \left(\frac{n_2}{2}\right)+\frac{n_1+n_2}{2}\psi \left(\frac{n_1+n_2}{2}\right)$
Gamma	$f(x)=\frac{x^{k-1}\exp (-\frac{x}{\theta })}{{\theta }^k\mathrm{\Gamma }(k)}$	$\ln (\theta \mathrm{\Gamma }(k))+(1-k)\psi (k)+k$
Laplace	$f(x)=\frac{1}{2b}\exp (-\frac{|x-\mu |}{b})$	$1+\ln (2b)$
Logistic	$f(x)=\frac{e^{-x/s}}{s(1+e^{-x/s}{)}^2}$	$\ln s+2$
Lognormal	$f(x)=\frac{1}{\sigma x\sqrt{2\pi }}\exp (-\frac{(\ln x-\mu {)}^2}{2{\sigma }^2})$	$\mu +\frac{1}{2}\ln (2\pi e{\sigma }^2)$
Maxwell–Boltzmann	$f(x)=\frac{1}{a^3}\sqrt{\frac{2}{\pi }}{x}^2\exp (-\frac{x^2}{2a^2})$	$\ln (a\sqrt{2\pi })+{\gamma }_E-\frac{1}{2}$
Generalized normal	$f(x)=\frac{2{\beta }^{\frac{\alpha }{2}}}{\mathrm{\Gamma }(\frac{\alpha }{2})}{x}^{\alpha -1}\exp (-\beta x^2)$	$\ln \frac{\mathrm{\Gamma }(\alpha /2)}{2{\beta }^{\frac{1}{2}}}-\frac{\alpha -1}{2}\psi \left(\frac{\alpha }{2}\right)+\frac{\alpha }{2}$
Pareto	$f(x)=\frac{\alpha x_m^{\alpha }}{x^{\alpha +1}}$	$\ln \frac{x_m}{\alpha }+1+\frac{1}{\alpha }$
Student's t	$f(x)=\frac{(1+x^2/\nu {)}^{-\frac{\nu +1}{2}}}{\sqrt{\nu }B(\frac{1}{2},\frac{\nu }{2})}$	$\frac{\nu +1}{2}(\psi \left(\frac{\nu +1}{2}\right)-\psi \left(\frac{\nu }{2}\right))+\ln \sqrt{\nu }B(\frac{1}{2},\frac{\nu }{2})$
Triangular	$f(x)=\{\begin{array}{cc}\frac{2(x-a)}{(b-a)(c-a)}& \mathrm{f}\mathrm{o}\mathrm{r}a\le x\le c,\\ \frac{2(b-x)}{(b-a)(b-c)}& \mathrm{f}\mathrm{o}\mathrm{r}c<x\le b,\end{array}$	$\frac{1}{2}+\ln \frac{b-a}{2}$
Weibull	$f(x)=\frac{k}{{\lambda }^k}{x}^{k-1}\exp (-\frac{x^k}{{\lambda }^k})$	$\frac{(k-1){\gamma }_E}{k}+\ln \frac{\lambda }{k}+1$
Multivariate normal	$f_X(\overrightarrow{x})=$$\frac{\exp (-\frac{1}{2}(\overrightarrow{x}-\overrightarrow{\mu }{)}^{\mathrm{\top }}{\mathrm{\Sigma }}^{-1}\cdot (\overrightarrow{x}-\overrightarrow{\mu }))}{(2\pi {)}^{N/2}{\left|\mathrm{\Sigma }\right|}^{1/2}}$	$\frac{1}{2}\ln \{(2\pi e{)}^N\det (\mathrm{\Sigma })\}$