Entropie conditionnelle

En théorie de l'information, l'entropie conditionnelle décrit la quantité d'information nécessaire pour connaitre le comportement d'une variable aléatoire $Y$, lorsque l'on connait exactement une variable aléatoire $X$. On note $\mathrm{H}(Y|X)$ l'entropie conditionnelle de $Y$ sachant $X$. On dit aussi parfois entropie de $Y$ conditionnée par $X$. Comme les autres entropies, elle se mesure généralement en bits.

Définitions

On peut introduire l'entropie conditionnelle de plusieurs façons, soit directement à partir des probabilités conditionnelles, soit en passant par l'entropie conjointe. Les deux définitions sont équivalentes.

Définition directe

On définit l'entropie conditionnelle à partir de la probabilité conditionnelle de $Y$ relativement à $X$ :

$\mathrm{H}(Y|X):=\sum _{y\in 𝒴,x\in 𝒳}-\mathbb{P}(X=x,Y=y){\log }_2(\mathbb{P}(Y=y|X=x))$

où $𝒴$ et $𝒳$ sont respectivement les supports des variables $Y$ et $X$.

Par l'entropie conjointe

Étant donné deux variables aléatoires $X$ et $Y$ avec pour entropies respectives $\mathrm{H}(X)$ et $\mathrm{H}(Y)$, et pour entropie conjointe $\mathrm{H}(X,Y)$, l'entropie conditionnelle de $Y$ sachant $X$ est définie par :

$\mathrm{H}(Y|X)\equiv \mathrm{H}(X,Y)-\mathrm{H}(X)$

Équivalence des définitions

Ces deux définitions sont équivalentes, c'est-à-dire qu'avec la première définition de $\mathrm{H}(Y|X)$,

$\mathrm{H}(Y|X)=\mathrm{H}(X,Y)-\mathrm{H}(X)$

Propriétés

• $\mathrm{H}(Y|X)=\mathrm{H}(Y)$ si et seulement si $Y$ et $X$ sont indépendantes.

• Règle de la chaîne : avec $X_1,...X_n$ variables aléatoires,

$\mathrm{H}(X_1,...,X_n)=\sum _{i=1}^n\mathrm{H}(X_i|X_1,...,X_{i-1})$

Intuition

Intuitivement, si le système combiné contient $\mathrm{H}(X,Y)$ bits d'information, et si nous connaissons parfaitement la variable aléatoire $X$, pour coder le système on peut économiser $\mathrm{H}(X)$ bits, et on n'a plus besoin que de $\mathrm{H}(Y|X)$ bits.

Voir aussi

• Information mutuelle
• Probabilité conditionnelle
• Entropie conjointe