Entropie de Rényi

L'entropie de Rényi, due à Alfréd Rényi, est une fonction mathématique qui correspond à la quantité d'information contenue dans la probabilité de collision d'une variable aléatoire.

Définition

Étant donnés une variable aléatoire discrète $X$ à $n$ valeurs possibles $(x_1,x_2,\dots x_n)$, ainsi qu'un paramètre réel $\alpha$ strictement positif et différent de 1, l' entropie de Rényi d'ordre $\alpha$ de $X$ est définie par la formule :

Cas particuliers

L'entropie de Rényi généralise d'autres acceptions de la notion d'entropie, qui correspondent chacune à des valeurs particulières de $\alpha$.

Entropie de Hartley

Le cas $\alpha =0$ donne :

$H_0(X)=\log n=\log |X|$

ce qui correspond au logarithme du cardinal de $X$, qui correspond à l'entropie de Hartley.

Entropie de Shannon

D'après la règle de L'Hôpital, on peut trouver une limite à $H_{\alpha }(X)$ quand $\alpha$ tend vers 1 :

$\underset{\alpha \to 1}{\lim }{H}_{\alpha }(X)=-\sum _{i=1}^n{p}_i\log p_i$

Cette expression correspond à l'entropie de Shannon.

Entropie de collision

Dans le cas où $\alpha =2$, on trouve l'entropie dite de collision, appelée parfois simplement « entropie de Rényi » :

$H_2(X)=-\log \sum _{i=1}^n{p}_i^2=-\log P(X=Y)$

où Y est une variable aléatoire indépendante et identiquement distribuée par rapport à X.

Entropie min

En faisant tendre $\alpha$ vers l'infini, on trouve l'entropie min :

$H_{\mathrm{\infty }}(X)=-\log \underset{i=1..n}{\sup }{p}_i$

Propriétés

Décroissance selon α

$H_{\alpha }$ est une fonction décroissante de $\alpha$.

Preuve

Soit $P=\{p_1,p_2,...,p_n\}$ une distribution de probabilité

$\begin{array}{cc}\frac{d{H}_{\alpha }}{d\alpha }& =\frac{d}{d\alpha }(\frac{1}{1-\alpha }\log \sum _{i=1}^{n}P(X=x_i{)}^{\alpha })\\ & =\frac{1}{1-{\alpha }^2}\sum _{i=1}^n{q}_i\log (\frac{p_i}{q_i})\\ & =-\frac{1}{1-{\alpha }^2}{D}_{KL}(Q||P)\end{array}$

avec $Q$ la distribution de probabilité des $q_i=\frac{p_i^{\alpha }}{\sum _{j=1}^n{p}_j^{\alpha }}$ et $D_{KL}$ la Divergence de Kullback-Leibler de $Q$ par rapport $P$.

Puisque cette divergence est positive, la dérivée de l'entropie de Rényi en devient négative et donc $H_{\alpha }$ est bien décroissante en $\alpha$.

Preuve alternative

Soit $P=\{p_1,p_2,...,p_n\}$ une distribution de probabilité,

$\begin{array}{cc}{H}_{\alpha }(X)& =\frac{1}{1-\alpha }\log \sum _{i=1}^n{P}_X(x_i{)}^{\alpha }\\ & =-\log 𝔼[P_X(X{)}^{\alpha -1}{]}^{\frac{1}{\alpha -1}}\\ & =-\log 𝔼[P_X(X{)}^{\alpha -1}{]}^{\frac{\beta -1}{\alpha -1}\frac{1}{\beta -1}}\\ & \ge -\log 𝔼[P_X(X{)}^{\alpha -1\frac{\beta -1}{\alpha -1}}{]}^{\frac{1}{\beta -1}}\\ & =-\log 𝔼[P_X(X{)}^{\beta -1}{]}^{\frac{1}{\beta -1}}\\ & =\frac{1}{1-\beta }\log \sum _{i=1}^n{P}_X(x_i{)}^{\beta }\\ & =H_{\beta }(X)\end{array}$

L'inégalité provient de l'Inégalité de Jensen appliquée dans les cas suivants à $𝔼[x^c]$, en notant $c=\frac{\beta -1}{\alpha -1}$ :

• Si, $c>1$ et donc $x^c$ est convexe et $\frac{1}{\beta -1}>0$.
• Si, $c<0$ donc $x^c$ est convexe et $\frac{1}{\beta -1}>0$.
• Si, $c>0$ donc $x^c$ est concave $\frac{1}{\beta -1}<0$.
• Si $(\alpha =1)\vee (\beta =1)$l'application de l'inégalité est immédiate.

Ce qui donne la croissance de $\alpha \to H_{\alpha }$.

Relations entre les entropies de différents ordres

L'entropie de Rényi est donc une fonction décroissante de son ordre.

De plus, on remarque que $H_2\le 2H_{\mathrm{\infty }}$ puisque $H_2=-\log (\sum _{i=1}^n{p}_i^2)\le -\log (\underset{i}{\sup }(p_i^2))=-2\log (\underset{i}{\sup }(p_i))=2H_{\mathrm{\infty }}$.

Divergence de Rényi

Pour deux distributions de probabilités $P=\{p_1,p_2,...,p_n\}$ et $Q=\{q_1,q_2,...,q_n\}$, la divergence de Rényi de $P$ selon $Q$ est définie comme :

$D_{\alpha }(P\Vert Q)=\frac{1}{\alpha -1}\log \left(\sum _{i=1}^n\frac{p_i^{\alpha }}{q_i^{\alpha -1}}\right)$

La limite $D_1(P\Vert Q)$existe et correspond à la Divergence de Kullback-Leibler.

Voir aussi

Article connexe

• Entropie de Shannon

Bibliographie

• Modèle:Chapitre.
• Modèle:Ouvrage