Entropia condicional

L'entropia condicional és una extensió del concepte d'entropia de la informació en processos on intervenen diverses variables aleatòries no necessàriament independents.

Definició

Suposem que $X$ és una variable aleatòria sobre un espai de probabilitat $\mathrm{\Omega }$ i $A\subset \mathrm{\Omega }$ sigui un esdeveniment. si $X$ pren valors sobre un conjunt finit $\{a_i|1\le i\le m\}$, Es defineix de manera natural l'entropia condicional de $X$ donat $A$ com:Plantilla:EquacióDe la mateixa manera si $Y$ és una altra variable aleatòria que pren valors $b_k$ es defineix l'entropia condicional $H(X|Y)$ com:Plantilla:EquacióEs pot interpretar l'anterior magnitud com la incertesa de $X$ donat un valor particular de $Y$, Amitjanat per tots els valors possibles de $Y$ ..

Propietats

• Trivialment s'esdevé que $H(X|X)=0$
• $H(X|Y)=H(X)$ si $X$ i $Y$ són variables independents.
• Donades dues variables que prenen un conjunt finit de valors: $H(X,Y)=H(Y)+H(X|Y)=H(X)+H(Y|X)$
• Com a conseqüència de l'anterior i que $H(X,Y)\le H(Y)+H(X)$, Es té: $H(X|Y)\le H(X)$ .

Vegeu també

• Entropia de Shannon

Bibliografia

• Dominic Welsh (1988): Codes and Cryptography, Clarendon Press, Oxford, Plantilla:ISBN