Inégalité de Gibbs

Willard Gibbs.

En théorie de l'information, l'inégalité de Gibbs, nommée en l'honneur de Willard Gibbs, porte sur l'entropie d'une distribution de probabilités. Elle sert à prouver de nombreux résultats en théorie de l'information.

Enoncé

Soient deux distributions de probabilités $P=\{p_1,p_2,...p_n\}$ et $Q=\{q_1,q_2,...,q_n\}$, alors

$-\sum _{i=1}^n{p}_i\log (p_i)\le -\sum _{i=1}^n{p}_i\log (q_i)$.

Le cas d'égalité se produit si et seulement si $p_i=q_i$ pour tout $i$.

Démonstration

D'après l'inégalité de Jensen, puisque le logarithme est concave,

$\sum _{i=0}^n{p}_i\log \left(\frac{q_i}{p_i}\right)\le \log \left(\sum _{i=0}^n{p}_i\frac{q_i}{p_i}\right)=\log (1)=0$.

Cela équivaut à

$-\sum _{i=0}^n{p}_i\log (p_i)\le -\sum _{i=0}^n{p}_i\log (q_i)$

et montre donc l'inégalité.

Comme le logarithme n'est pas linéaire, le cas d'égalité dans l'inégalité de Jensen, et à fortiori dans la première inégalité ci-dessus, est réalisé si et seulement si tous les $p_i/q_i$ sont égaux, ce qui équivaut au fait que $p_i=q_i$ pour tout $i$ car ce sont des distributions de probabilités.

Voir aussi

• Entropie de Shannon
• Inégalité de Fano

Bibliographie

• D. MacKay, Information Theory, Inference and Learning Algorithms, Cambridge University Press, 2005, Modèle:ISBN.
• O. Fawzi, Cours de théorie de l'information, ENS de Lyon, Automne 2018.