Inégalité log somme

L'inégalité log somme (ou log sum inequality) est fréquemment utilisée en théorie de l'information.

Énoncé

Soient $a_1,\dots ,a_n$ et $b_1,\dots ,b_n$ des réels strictement positifs, avec $a=\sum _{i=1}^n{a}_i$ et $b=\sum _{i=1}^n{b}_i$, alors :

$\sum _{i=1}^n{a}_i\log \frac{a_i}{b_i}\ge a\log \frac{a}{b},$

avec égalité si et seulement si $\mathrm{\forall }i,j\in \{1,...,n{\}}^2,\frac{a_i}{b_i}=\frac{a_j}{b_j}$, c'est-à-dire qu'il existe une constante $c$ telle que $\mathrm{\forall }i\in \{1,...,n\},a_i=c{b}_i$.Modèle:Sfnp

(On prendra $a_i\log \frac{a_i}{b_i}=0$ si $a_i=0$ et $a_i\log \frac{a_i}{b_i}=\mathrm{\infty }$ si $a_i>0$ et $b_i=0$. Ces valeurs sont obtenues par prolongement par continuité en $0$.)Modèle:Sfnp

Preuve

En posant $f(x)=x\log x$, nous avons

$\begin{array}{cc}\sum _{i=1}^n{a}_i\log \frac{a_i}{b_i}& =\sum _{i=1}^n{b}_{i}f\left(\frac{a_i}{b_i}\right)=b\sum _{i=1}^n\frac{b_i}{b}f\left(\frac{a_i}{b_i}\right)\\ & \ge bf\left(\sum _{i=1}^n\frac{b_i}{b}\frac{a_i}{b_i}\right)=bf\left(\frac{1}{b}\sum _{i=1}^n{a}_i\right)=bf\left(\frac{a}{b}\right)\\ & =a\log \frac{a}{b},\end{array}$

où l'inégalité vient de l'inégalité de Jensen puisque $\frac{b_i}{b}\ge 0$, $\sum _{i=1}^n\frac{b_i}{b}=1$ et $f$ est une fonction convexe.Modèle:Sfnp

Généralisations

Cette inégalité reste valide pour $n=\mathrm{\infty }$, puisque $a<\mathrm{\infty }$ et $b<\mathrm{\infty }$.Modèle:Cn La preuve ci-dessus reste vraie pour toute fonction $g$ telle que $f(x)=xg(x)$ soit convexe, comme toute fonction croissante continue. La généralisation aux fonctions croissantes autres que le logarithme est donné dans Csiszár, 2004.

Applications

L'inégalité log-somme peut être utilisée pour prouver des inégalités en théorie de l'information. L'inégalité de Gibbs affirme que la divergence de Kullback-Leibler est positive, et égale à zéro si ses arguments sont égaux.Modèle:Sfnp Une preuve utilise l'inégalité log-somme.

Cette inégalité peut aussi prouver la convexité de la divergence de Kullback-Leibler. Modèle:Sfnp

Bibliographie

• Modèle:Ouvrage
• Modèle:Article
• T.S. Han, K. Kobayashi, Mathematics of information and coding. American Mathematical Society, 2001. Modèle:Isbn.
• Information Theory course materials, Utah State University [1]. Retrieved on 2009-06-14.
• Modèle:Ouvrage