Entropie différentielle

Modèle:Sources L'entropie différentielle est un concept de la théorie de l'information qui étend le concept de l'entropie de Shannon aux lois de probabilités continues.

Définitions

Pour une variable aléatoire Modèle:Mvar avec une distribution de probabilité Modèle:Mvar et définie sur un ensemble $𝕏$, on définit l'entropie différentielle Modèle:Math par :

$h(X)=-\underset{𝕏}{\int }f(x)\ln f(x)\mathrm{d}x.$

Pour un couple de variables aléatoires Modèle:Math de loi jointe Modèle:Math, alors l'entropie différentielle conditionnelle de Modèle:Mvar sachant Modèle:Mvar vaut :

$h(X|Y)=-\underset{𝕏}{\int }\underset{𝕐}{\int }f(x,y)\ln f(x|y)\mathrm{d}x\mathrm{d}y.$

Propriétés

• On a :

$\mathrm{\forall }(a,c)\in {ℝ}^{*}\times ℝ,h(aX+c)=h(X)+\ln (|a|)$

• L'entropie différentielle d'une loi continue peut être négative, contrairement à celle d'une loi discrète.
• Majoration : Soit Modèle:Mvar une variable aléatoire continue de variance Modèle:Math. Alors on a

$h(X)⩽\frac{1}{2}\ln (2\pi \mathrm{e}\mathrm{V}\mathrm{a}\mathrm{r}(X)),$

avec égalité si et seulement si Modèle:Mvar suit une loi normale.

Entropie différentielle pour plusieurs distributions

Dans le tableau qui suit, $\mathrm{\Gamma }(x)={\int }_0^{\mathrm{\infty }}{\mathrm{e}}^{-t}{t}^{x-1}\mathrm{d}t$ est la fonction gamma, $\psi (x)=\frac{\mathrm{d}}{\mathrm{d}x}\ln \mathrm{\Gamma }(x)=\frac{{\mathrm{\Gamma }}^{\prime }(x)}{\mathrm{\Gamma }(x)}$ est la fonction digamma, $\mathrm{B}(p,q)=\frac{\mathrm{\Gamma }(p)\mathrm{\Gamma }(q)}{\mathrm{\Gamma }(p+q)}$ est la fonction bêta, et Modèle:Formule est la constante d'Euler-Mascheroni.

Table d'entropies différentielles de lois usuelles.

Distribution	Fonction de distribution de probabilités	Entropie
Loi uniforme continue	$f(x)=\frac{1}{b-a}11_{[a,b]}$	$\ln (b-a)$
Loi normale	$f(x)=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp (-\frac{(x-\mu {)}^2}{2{\sigma }^2})$	$\ln \left(\sigma \sqrt{2\pi \mathrm{e}}\right)$
Loi exponentielle	$f(x)=\lambda \exp (-\lambda x)$	$1-\ln \lambda$
Loi de Cauchy	$f(x)=\frac{\lambda }{\pi }\frac{1}{{\lambda }^2+x^2}$	$\ln (4\pi \lambda )$
Loi du χ²	$f(x)=\frac{1}{2^{n/2}{\sigma }^n\mathrm{\Gamma }(n/2)}{x}^{\frac{n}{2}-1}\exp (-\frac{x}{2{\sigma }^2})$	$\ln 2{\sigma }^2\mathrm{\Gamma }\left(\frac{n}{2}\right)-(1-\frac{n}{2})\psi \left(\frac{n}{2}\right)+\frac{n}{2}$
Distribution Gamma	$f(x)=\frac{x^{\alpha -1}\exp (-\frac{x}{\beta })}{{\beta }^{\alpha }\mathrm{\Gamma }(\alpha )}$	$\ln (\beta \mathrm{\Gamma }(\alpha ))+(1-\alpha )\psi (\alpha )+\alpha$
Loi logistique	$f(x)=\frac{{\mathrm{e}}^{-x}}{(1+{\mathrm{e}}^{-x}{)}^2}$	$2$
Statistique de Maxwell-Boltzmann	$f(x)=4{\pi }^{-\frac{1}{2}}{\beta }^{\frac{3}{2}}{x}^2\exp (-\beta x^2)$	$\frac{1}{2}\ln \frac{\pi }{\beta }+\gamma -\frac{1}{2}$
Distribution de Pareto	$f(x)=\frac{a{k}^a}{x^{a+1}}$	$\ln \frac{k}{a}+1+\frac{1}{a}$
Loi de Student	$f(x)=\frac{(1+x^2/n{)}^{-\frac{n+1}{2}}}{\sqrt{n}\mathrm{B}(\frac{1}{2},\frac{n}{2})}$	$\frac{n+1}{2}\psi \left(\frac{n+1}{2}\right)-\psi \left(\frac{n}{2}\right)+\ln \sqrt{n}\mathrm{B}(\frac{1}{2},\frac{n}{2})$
Distribution de Weibull	$f(x)=\frac{c}{\alpha }{x}^{c-1}\exp (-\frac{x^c}{\alpha })$	$\frac{(c-1)\gamma }{c}+\ln \frac{{\alpha }^{1/c}}{c}+1$
Loi normale multidimensionnelle	$f_X(x_1,\dots ,x_N)=$ $\frac{1}{(2\pi {)}^{N/2}{\left|\mathrm{\Sigma }\right|}^{1/2}}\exp (-\frac{1}{2}(x-\mu {)}^{\mathrm{\top }}{\mathrm{\Sigma }}^{-1}(x-\mu ))$	$\frac{1}{2}\ln [(2\pi \mathrm{e}{)}^N|\mathrm{\Sigma }|]$

Voir aussi

• Loi de probabilité d'entropie maximale

Liens externes

• Modèle:Mathworld