Distance de Hellinger

En Théorie des probabilités, pour toutes mesures de probabilités $P$ et $Q$ absolument continues par rapport à une troisième mesure $\lambda$, le carré de la distance de Hellinger entre $P$ et $Q$ est donné par :

$H^2(P,Q)=\frac{1}{2}\int {(\sqrt{\frac{dP}{d\lambda }}-\sqrt{\frac{dQ}{d\lambda }})}^{2}d\lambda .$

où $\frac{dP}{d\lambda }$ et $\frac{dQ}{d\lambda }$ désignent respectivement les dérivées de Radon-Nykodym de $P$ et $Q$. Cette définition ne dépend pas de $\lambda$, si bien que la distance de Hellinger entre $P$ et $Q$ ne change pas si $\lambda$ est remplacée par une autre mesure de probabilité par rapport à laquelle $P$ et $Q$ soient absolument continues.

Pour alléger l'écriture, la formule précédente est couramment écrite :

$H^2(P,Q)=\frac{1}{2}\int {(\sqrt{dP}-\sqrt{dQ})}^2.$

La distance de Hellinger $H(P,Q)$ ainsi définie vérifie :

$0\le H(P,Q)\le 1.$

Remarque : Certains auteurs ne font pas figurer le facteur 1/2 précédant l'intégrale dans cette définition.

Propriétés

• La distance de Hellinger est une α-divergence de Amari, correspondant à la valeur α =0.

À ce titre c'est une f-divergence de Csiszár et une divergence de Bregman.

Comme il s'agit de la seule distance (symétrique, auto-duale) de la classe des α-divergences, c'est la distance canonique de l'espace des distributions de la famille exponentielle, le système de coordonnées associé étant $r_i=2\sqrt{P_i}$.

Autre conséquence, étant une α-divergence, la courbure locale (son Hessien en P) de la distance de Hellinger est égale à l'information de Fisher de la distribution P :

$I_{uv}=\sum _i\frac{\partial r_i}{\partial u}\frac{\partial r_i}{\partial v}$

$I_{uv}=4\sum _i\frac{\partial \sqrt{P_i}}{\partial u}\frac{\partial \sqrt{P_i}}{\partial v}$.

• La distance de Hellinger est liée directement avec la distance de Bhattacharyya :

$D_B(P,Q)=-\ln \left(\sum _i\sqrt{P_i{Q}_i}\right)$

par la relation

$H(P,Q)=\sqrt{1-\exp (-D_B(P,Q))}$.

Exemples

• La distance de Hellinger entre deux lois normales $P\sim 𝒩({\mu }_1,{\sigma }_1^2)$ et $Q\sim 𝒩({\mu }_2,{\sigma }_2^2)$ est donnée par

$H(P,Q)=\sqrt{1-\sqrt{\frac{2{\sigma }_1{\sigma }_2}{{\sigma }_1^2+{\sigma }_2^2}{e}^{-\frac{1}{2}\frac{({\mu }_1-{\mu }_2{)}^2}{{\sigma }_1^2+{\sigma }_2^2}}}}.$

• La distance de Hellinger entre deux lois exponentielles $P\sim \mathrm{E}\mathrm{x}\mathrm{p}\mathrm{(}\mathrm{\alpha }\mathrm{)}$ et $Q\sim \mathrm{E}\mathrm{x}\mathrm{p}\mathrm{(}\mathrm{\beta }\mathrm{)}$ est donnée par :

$H(P,Q)=\sqrt{1-\frac{2\sqrt{\alpha \beta }}{\alpha +\beta }}.$

Bibliographie

• Modèle:Ouvrage
• Modèle:Ouvrage
• Modèle:Ouvrage

Notes et références

Articles connexes

• Distance de Bhattacharyya
• Divergence de Kullback-Leibler
• Distance en variation totale (probabilités)