Divergència Jensen-Shannon

En teoria i estadística de probabilitats, la divergència Jensen-Shannon és un mètode per mesurar la similitud entre dues distribucions de probabilitat. També es coneix com a radi d'informació (IRad) o divergència total a la mitjana. Es basa en la divergència Kullback-Leibler, amb algunes diferències notables (i útils), inclòs que és simètrica i sempre té un valor finit. L'arrel quadrada de la divergència Jensen-Shannon és una mètrica que sovint es coneix com a distància Jensen-Shannon.

Definició

Considereu el conjunt $M_{+}^1(A)$ de distribucions de probabilitat on $A$ és un conjunt proveït d'alguna σ-àlgebra de subconjunts mesurables. En particular podem prendre $A$ per ser un conjunt finit o comptable amb tots els subconjunts mesurables.

La divergència Jensen-Shannon (JSD) és una versió simètrica i suavitzada de la divergència Kullback-Leibler $D(P\parallel Q)$. Es defineix per

$\mathrm{J}\mathrm{S}\mathrm{D}(P\parallel Q)=\frac{1}{2}D(P\parallel M)+\frac{1}{2}D(Q\parallel M),$

on $M=\frac{1}{2}(P+Q)$ és una distribució de barreja de $P$ i $Q$.

La divergència geomètrica de Jensen–Shannon (o divergència G-Jensen–Shannon) produeix una fórmula de forma tancada per a la divergència entre dues distribucions gaussianas prenent la mitjana geomètrica.

Una definició més general, que permet la comparació de més de dues distribucions de probabilitat, és:

$\begin{array}{cc}{\mathrm{J}\mathrm{S}\mathrm{D}}_{{\pi }_1,\dots ,{\pi }_n}(P_1,P_2,\dots ,P_n)& =\sum _i{\pi }_{i}D(P_i\parallel M)\\ & =H\left(M\right)-\sum _{i=1}^n{\pi }_{i}H(P_i)\end{array}$

on

$\begin{array}{cc}M& :=\sum _{i=1}^n{\pi }_i{P}_i\end{array}$

i ${\pi }_1,\dots ,{\pi }_n$ són pesos que es seleccionen per a les distribucions de probabilitat $P_1,P_2,\dots ,P_n$, i $H(P)$ és l'entropia de Shannon per a la distribució $P$. Per al cas de dues distribucions descrit anteriorment,

$P_1=P,P_2=Q,{\pi }_1={\pi }_2=\frac{1}{2}.$

Per tant, per a aquestes distribucions $P,Q$

$JSD=H(M)-\frac{1}{2}(H(P)+H(Q))$

Aplicacions

La divergència Jensen-Shannon s'ha aplicat en bioinformàtica i comparació del genoma, en comparació de superfícies de proteïnes, en ciències socials, en l'estudi quantitatiu de la història, en experiments de foc, i en l'aprenentatge automàtic.