Voir la source de Divergence (statistiques)

{{Homonymes|Divergence}}
{{Sources à lier|date=avril 2016}}

En [[statistique|statistiques]], une '''divergence''' est une fonction ou une [[fonctionnelle]] qui mesure la dissimilarité d'une [[loi de probabilité]] par rapport à une autre. Selon le contexte, elles peuvent être définies pour des lois, des [[mesure (mathématiques)|mesures]] positives (non-normalisées), des vecteurs (par exemple sur l'espace des paramètres si l'on considère un modèle paramétrique), ou encore des [[matrice (mathématiques)|matrices]].

Les divergences sont analogues à des [[distance (mathématiques)|distances]] au carré et permettent de généraliser la notion de distance aux variétés statistiques, mais il s'agit d'une notion plus faible dans la mesure où elles ne sont en général pas symétriques et ne vérifient pas [[inégalité triangulaire|l'inégalité triangulaire]].

== Exemple ==
{{Section vide ou incomplète}}
La divergence χ<sup>2</sup> de Pearson<ref>{{Article|prénom1=Karl Pearson|nom1=F.R.S|titre=X. On the criterion that a given system of deviations from the probable in the case of a correlated system of variables is such that it can be reasonably supposed to have arisen from random sampling|périodique=The London, Edinburgh, and Dublin Philosophical Magazine and Journal of Science|volume=50|numéro=302|date=1900-07-01|issn=1941-5982|doi=10.1080/14786440009463897|lire en ligne=https://doi.org/10.1080/14786440009463897|consulté le=2019-05-22|pages=157–175}}</ref> est définie par <math>D(\mu, \mu') = \sum_{x \text{ dans le support de } \mu} \frac{(\mu'(x)-\mu(x))^2}{\mu(x)}</math>.

== Définition générale ==

Soit <math>M</math> une [[variété topologique]] et <math>V\subseteq\mathbb{R}^n</math> une carte locale. Une divergence est une fonction <math>D:V\times V\rightarrow\mathbb{R}_+</math> (également définie sur <math>M</math> au moyen de l'homéomorphisme associé), différentiable jusqu'à l'ordre 3 et satisfaisant les propriétés suivantes<ref>{{Harvsp|Amari|2016|p=10}}</ref> :
* <math>D(\xi_p,\xi_q)\geq 0\, \forall\, \xi_p,\xi_q\in V</math> ;
* <math>D(\xi_p,\xi_q)= 0\, ssi\, \xi_p=\xi_q</math> ;
* Le [[développement limité]] de <math>D</math> en <math>\xi_p</math> s'écrit :
<center><math>D(\xi_p,\xi_p+d\xi)=\frac{1}{2}\sum g_{ij}(\xi_p)d\xi_i d\xi_j+O(|d\xi|^3)</math></center>
:où <math>G(\xi_p)=(g_{ij}(\xi_p))_{(1\leq i,j\leq n)}</math> est définie positive.

=== Remarques ===

Les notations <math>D(\cdot||\cdot)</math> ou <math>D[\cdot :\cdot]</math> peuvent également être employées.

Pour une divergence <math>D</math> donnée, il est parfois intéressant d'introduire la divergence symétrique <math>D_S</math> associée : <math>D_s(p,q)=(D(p,q)+D(q,p))/2</math>.

== Exemples ==

Il existe une grande variété de divergences, dont entre autres :
* La divergence euclidéenne, définie comme la moitié de la racine de la distance euclidéenne ;
* La [[divergence de Kullback-Leibler]], qui est la seule à appartenir à la fois aux classes des f-divergences et des divergences de Bregman ;
* Parmi les autres f-divergences :
** Les <math>\alpha</math>-divergences,
** La [[distance de Hellinger]] ;
* Autres [[divergence de Bregman|divergences de Bregman]] :
** Les <math>\beta</math>-divergences,
** Les <math>\gamma</math>-divergences,
** La divergence d'Itakura-Saito.

Pour une bibliographie détaillée, voir {{harvsp|Basseville|2013}}.

== Annexes ==

=== Notes ===

{{Références}}

=== Bibliographie ===

* {{Information Geometry and Its Applications (Amari)}}
* {{Article
 | langue                 = en
 | auteur1                = Michèle Basseville
 | titre                  = Divergence measures for statistical data processing — An annotated bibliography
 | périodique             = Signal Processing
 | éditeur								= Elsevier
 | volume                 = 93
 | numéro                 = 4
 | pages 									= 621-633
 | jour                   = 
 | mois                   = 
 | année                  = 2013
}}

{{Portail|probabilités et statistiques}}

[[Catégorie:Statistiques]]