Voir la source de Loi de mélange

{{à sourcer|date=novembre 2024}}
{{Confusion|texte=Ne doit pas être confondu avec [[somme aléatoire|loi composée]].}}
{{Infobox Distribution statistiques
 | name        = Loi de mélange
 | pdf_image   = Densite2D.jpg
 | pdf_légende = Représentation d'une loi mélange gaussienne à deux composantes et dimension 2.
 | cdf_image   =
 | cdf_légende =
 | parameters  = 
 | support     =
 | pdf         =
 | cdf         =
 | mean        =
 | median      =
 | mode        =
 | variance    =
 | skewness    =
 | kurtosis    =
 | entropy     =
 | mgf         = 
 | char        = <math> F(x) = \sum_{i=1}^n \, w_i \, P_i(x), </math> <br /> <math> f(x) = \sum_{i=1}^n \, w_i \, p_i(x) .</math>
 | pgf         = 
}}
En [[probabilité]] et en [[statistique]]s, une '''loi de mélange''' est la [[distribution de probabilité|loi de probabilité]] d'une [[variable aléatoire]] s'obtenant à partir d'une [[Famille (mathématiques)|famille]] de variables aléatoires de la manière suivante : une variable aléatoire est choisie au [[hasard]] parmi la famille de variables aléatoires donnée, puis la valeur de la variable aléatoire sélectionnée est réalisée. Les variables aléatoires sous-jacentes peuvent être des [[Nombre réel|nombres réels]] aléatoires, ou des [[Vecteur aléatoire|vecteurs aléatoires]] (chacun ayant la même [[dimension]]), auquel cas la répartition du mélange est une répartition à plusieurs variables.

Dans les cas où chacune des variables aléatoires sous-jacente est [[Loi de probabilité|continue]], la variable finale sera également continue et sa [[Densité de probabilité|fonction de densité de probabilité]] est parfois appelée''' densité de mélange'''<ref>{{chapitre | langue = en | titre chapitre = Finite Mixture Modeling | numéro chapitre = 1 | titre ouvrage = Finite Mixture and Markov Switching Models | auteur = Sylvia Frühwirth-Schnatter | directeur = oui | éditeur = Springer Science & Business Media | date = 24 novembre 2006 | lire en ligne = https://books.google.fr/books?id=f8KiI7eRjYoC&pg=PA5&dq=mixture+distribution+law+or+mixture+density&hl=fr&newbks=1&newbks_redir=0&sa=X&ved=2ahUKEwiUytGJu9GJAxWrTKQEHQStGRsQ6AF6BAgJEAI#v=onepage&q=mixture%20distribution%20law%20or%20mixture%20density&f=false}}.</ref>. La [[fonction de répartition]] (et la [[densité de probabilité]] si elle existe) peut être exprimée sous forme d'une [[combinaison convexe]] (par exemple une somme pondérée, avec des probabilités positives dont la somme est 1) d'autres fonctions de loi et de fonctions de densité. Les répartitions individuelles qui sont combinées pour former la loi du mélange sont appelées les '''composants du mélange''', et les probabilités associées à chaque composant sont appelées les''' probabilités du mélange'''. Le nombre de composants dans la loi de mélange est souvent limitée, bien que dans certains cas, les composants peuvent être [[Ensemble dénombrable|indénombrables]]. 

Une distinction doit être faite entre une [[variable aléatoire]] dont la loi est une somme pondérée de composants, et une variable qui s'écrit comme la somme de variables aléatoires, auquel cas sa loi est donnée par le [[produit de convolution]] des lois des variables sommées. À titre d'exemple, la somme de deux variables aléatoires [[Loi normale multidimensionnelle|conjointement normalement distribuées]], chacun avec des moyennes différentes, aura toujours une [[distribution normale|loi normale]]. D'un autre côté, une densité de mélange conçue comme un mélange de deux lois normales, avec des moyennes différentes, aura deux pics à condition que les deux moyennes soient assez éloignées, ce qui montre que cette loi est radicalement différente d'une loi normale.

La loi de mélange existe dans de nombreux contextes dans la littérature et se pose naturellement là où une [[population statistique]] contient deux ou plusieurs [[sous-population]]s. Elles sont également parfois utilisées comme moyen de représentation des [[Loi normale|lois non normales]]. L'analyse des données concernant les [[Modèle statistique|modèles statistiques]] portant sur les lois de mélange est appelée '''modèle de mélange'''''.''

== Mélanges finis et dénombrables ==
=== Description et fonction caractéristique ===
[[Fichier:Gaussian-mixture-example.svg|vignette|Densité d'un mélange de trois lois normales (μ&nbsp;=&nbsp;5, 10, 15, σ&nbsp;=&nbsp;2) avec des probabilités équivalentes. Chaque composant est représenté par une densité pondérée.]]
Supposons un [[ensemble fini]] de fonctions de densité de probabilité ''p''<sub>1</sub>(''x''), …, ''p<sub>n</sub>''(''x''), ou des fonctions de loi cumulative correspondant ''P''<sub>1</sub>(''x''), …, ''P<sub>n</sub>''(''x'') et des probabilités ''w''<sub>1</sub>, …, ''w<sub>n </sub>''tel que <span class="nowrap">''w<sub>i</sub>'' ≥ 0</span> et <span class="nowrap">∑''w<sub>i</sub>'' = 1, </span>la loi de mélange peut être représenté par écrit, soit la densité, ''f'', ou de la fonction de loi, ''F'', comme une somme (qui, dans les deux cas, est une combinaison convexe) :
: <math> F(x) = \sum_{i=1}^n \, w_i \, P_i(x), </math>
: <math> f(x) = \sum_{i=1}^n \, w_i \, p_i(x) .</math>
Ce type de mélange, une somme finie, est appelé un '''mélange fini'''. Le cas d'un [[ensemble infini]] dénombrable de composants  permet <math> n = \infty\!</math>.

=== Densité d'une loi de mélange normale ===
En prenant une fonction <math>f(x,\theta)</math>, densité d'une [[variable aléatoire]] <math>x</math> paramétrée par <math>\theta</math>. Par exemple, si <math>f</math> est une [[loi normale]], alors <math>\theta</math> est constitué de la [[moyenne]] et de la [[variance (statistiques et probabilités)|variance]]. Si on appelle <math>\theta_1,\dots,\theta_K</math> une famille de paramètres et <math>\pi_1,\dots,\pi_K</math> une famille de scalaires tels que

:<math>\sum_{k=1}^K\pi_k=1</math>,

alors, la fonction <math>g</math> définie par

:<math>g(x,\theta_1,\dots,\theta_K)=\sum_{k=1}^K\pi_kf(x,\theta_k)</math>

est la fonction de densité d'une loi mélange à <math>K</math> composantes.

On peut étendre cette définition au cas où le nombre des composantes est infini. En considérant un ensemble <math>\Omega</math> de paramètres, si on a 

:<math>\int_\Omega \pi\left(\theta\right)d\theta=1,</math>

alors, la fonction

:<math>g\left(x,\Omega\right)=\int_\Omega\pi(\theta)f(x,\theta)d\theta</math>

est une [[densité mélange]].

Une densité mélange de [[loi de probabilité|densités]] est elle-même une densité. Cela est notamment dû au fait d'utiliser une [[combinaison convexe]] dans la définition (ce ne serait pas nécessairement le cas avec une [[combinaison linéaire]] quelconque).

== Mélange indénombrable ==
Lorsque l'ensemble de lois des composants est [[Ensemble infini non dénombrable|indénombrable]], le résultat est souvent appelé une [[distribution de probabilité composé|loi de probabilité composé]]. La construction d'une telle loi a une similitude à celle des lois de mélange, soit des additions, soit des intégrales infinies remplaçant les sommations finis utilisés pour les mélanges finis.

Considérons une fonction de densité de probabilité ''p(x;a)'' pour une variable ''x'', paramétrée par ''a''. Autrement dit, pour chaque valeur d'une certaine série ''A'', ''p(x;a)'' est une fonction de densité de probabilité par rapport à ''x''. Compte tenu d'une fonction de densité de probabilité ''w'' (ce qui signifie que ''w'' est non négatif et intègre à 1), la fonction
: <math> f(x) = \int_A \, w(a) \, p(x;a) \, da </math>
est encore une fonction de densité de probabilité ''x''. Une intégrale similaire peut être écrit pour la fonction de [[distribution cumulative|loi cumulative]]. On notera que les formules ici réduisent le cas d'un mélange fini ou infini si la densité ''w'' est autorisé à être une fonction généralisée représentant le «dérivé» de la fonction de loi cumulative d'une [[Loi de probabilité|loi discrète]].

== Des mélanges de familles paramétriques ==
Les constituants de mélange ne sont souvent pas des lois de probabilité arbitraires, mais au contraire sont des membres d'une [[Parametric family|famille paramétrique]], avec valeurs différentes pour un ou des paramètres. Dans ce cas, en supposant qu'il existe, la densité peut être écrit sous la forme d'une somme tel que:
: <math> f(x; a_1, \ldots , a_n) = \sum_{i=1}^n \, w_i \, p(x;a_i) </math>
pour un paramètre, ou
: <math> f(x; a_1, \ldots , a_n, b_1, \ldots , b_n) = \sum_{i=1}^n \, w_i \, p(x;a_i,b_i) </math>
pour un paramètre, et ainsi de suite.

== Propriétés ==
=== Convexité ===
Une [[combinaison linéaire]] générale de fonction de densité de probabilité n'est pas nécessairement une [[densité de probabilité]], car il peut être négatif, ou il peut intégrer à autre chose qu'à 1. Toutefois, une [[combinaison convexe]] des fonctions de densité de probabilité préserve ces deux propriétés (non-négativité et l'intégration à 1), et donc des densités de mélange sont eux-mêmes des fonctions de densité de probabilité.

=== Moments ===
Soit ''X''<sub>1</sub>, ..., ''X''<sub>''n''</sub>  représentent des variables aléatoires à partir de'' n'' lois de composants, et soit X représentant une variable aléatoire de la loi de mélange. Ainsi, pour toute fonction ''H(·)'' pour lesquels <math>\operatorname{E}[H(X_i)]</math> existe, et en supposant que la composante densités ''p<sub>i</sub>''(''x'') existe,
: <math>
\begin{align}
\operatorname{E}[H(X)] & = \int_{-\infty}^\infty H(x) \sum_{i = 1}^n w_i p_i(x) \, dx \\
& = \sum_{i = 1}^n w_i \int_{-\infty}^\infty p_i(x) H(x) \, dx = \sum_{i = 1}^n w_i \operatorname{E}[H(X_i)].
\end{align}
</math>
Notez que le ''j''<sup>ième</sup>  moment de zéro (c'est è dire le choix de <span class="nowrap">''H''(''x'') = ''x<sup>j</sup>''</span>) est simplement une [[moyenne pondérée]] du ''j''<sup>ième</sup> moment des composants. Les moments autour de la moyenne  <span class="nowrap">''H''(''x'') = (''x − μ'')<sup>''j''</sup></span> implique une expansion binomiale<ref>Frühwirth-Schnatter (2006, Ch.1.2.4)</ref>:
: <math>
\begin{align}
\operatorname{E}[(X - \mu)^j] & = \sum_{i = 1}^n w_i \operatorname{E}[(X_i - \mu_i + \mu_i - \mu)^j] \\
& = \sum_{i=1}^n \sum_{k=0}^j \left( \begin{array}{c} j \\ k \end{array} \right) (\mu_i - \mu)^{j-k} w_i \operatorname{E}[(X_i- \mu_i)^k],
\end{align}
</math>
où ''μ<sub>i</sub>''  désigne la moyenne du ''i''<sup>ième</sup> composant.

Dans le cas d'un mélange de lois unidimensionnelles avec des poids ''w<sub>i</sub>'', des moyennes ''μ<sub>i</sub>'' et des variances ''σ<sub>i</sub>''<sup>2</sup>, la moyenne et la variance totale sont:
: <math> \operatorname{E}[X] = \mu = \sum_{i = 1}^n w_i \mu_i ,</math>
: <math> \operatorname{E}[(X - \mu)^2] = \sigma^2 = \sum_{i=1}^n w_i(\mu_i^{2} + \sigma_i^2) - \mu^2 .</math>
Ces relations mettent en évidence le potentiel des lois de mélange pour afficher les moments non-trivials tels que l'[[Asymétrie (statistiques)|asymétrie]] et l'[[Kurtosis|aplatissement]] et multi-modalité<ref name="Marron92">{{Article|titre=Exact Mean Integrated Squared Error|prénom1=J. S.|nom1=Marron|prénom2=M. P.|nom2=Wand|journal=[[The Annals of Statistics]]|volume=20|année=1992|pages=712-736|numéro=2}}</ref>.

=== Modes ===
La question de la [[Multimodal distribution|multimodalité]] est simple pour certains cas, tels que des mélanges de [[Loi exponentielle|lois exponentielles]] : tous ces mélanges sont uni-modaux<ref>Frühwirth-Schnatter (2006, Ch.1)</ref>. Cependant, pour le cas des mélanges de lois normales, la question est complexe. Les conditions pour le nombre de modes dans un mélange normale multivariée ont été observés par Ray et Lindsay<ref name="rayLindsay">Ray, R.; Lindsay, B. (2005), "The topography of multivariate normal mixtures", ''The Annals of Statistics'' '''33''' (5): 2042–2065</ref> étendant les travaux antérieurs sur l’uni-variété<ref name="Robertson1969">Robertson CA, Fryer JG (1969) Some descriptive properties of normal mixtures. </ref>{{,}}<ref name="Behboodian1970">Behboodian J (1970) On the modes of a mixture of two normal distributions. </ref> et les lois multivariées (Carreira-Perpinan et Williams, 2003).

Ici, le problème de l'évaluation des modes d'un n mélange de composants dans un [[Trois dimensions|espace tridimensionnel]] ''D'' est réduite à l'identification des points critiques (les points [[minimum]], [[maximum]] et [[Point col|selle]]) sur un collecteur appelée la surface crête, qui est l'image de la fonction 'crête'.
: <math> x^{*}(\alpha) = \left[ \sum_{i=1}^{n} \alpha_i \Sigma_i^{-1} \right]^{-1} \times \left[  \sum_{i=1}^{n}  \alpha_i \Sigma_i^{-1} \mu_i \right],
</math>
où ''α'' appartient à la [[Simplexe|dimension simplexe]] <span class="nowrap">''n'' − 1</span><math> \mathcal{S}_n  = 
 \{ \alpha \in \mathbb{R}^n: \alpha_i \in [0,1], \sum_{i=1}^n \alpha_i = 1 \}
</math>
et <span class="nowrap">Σ<sub>''i''</sub> ∈ '''R'''<sup>''D'' × ''D''</sup>, ''μ<sub>i</sub>'' ∈ '''R'''<sup>''D''</sup></span> correspondent à la moyenne et la [[covariance]] du ''i''<sup>ième</sup> composant. Ray et Lindsay ont considéré le cas où <span class="nowrap">''n'' − 1 < ''D''</span> montrant une correspondance entre les modes de mélange et la fonction d'élévation <span class="nowrap">''h''(''α'') = ''q''(''x*''(''α''))</span> ainsi, on peut identifier les modes en résolvant <math>  \frac{d h(\alpha)}{d \alpha} = 0 </math>  par apport à ''α''  et déterminer la valeur ''x*''(''α'').
[[Fichier:Bimodal.png|alt=Distribution de mélange univariée, montrant la distribution bimodale|vignette|loi de mélange univariée, montrant la loi bimodale]]
En utilisant les outils graphiques, la multi-modalité potentielle de ''n'' = {2, 3} mélanges est démontrée; il est en particulier montré que le nombre de modes peut être supérieur à ''n'' et que les modes ne peut pas être confondu avec les moyens qui le composent. Pour deux composants, ils développent un outil graphique pour l'analyse de la résolution du précité différentiel par rapport à ''w''<sub>1</sub> et exprimer la solution sous forme de fonction Π(''α''), <span class="nowrap">''α'' ∈ [0, 1]</span> de sorte que le nombre et l'emplacement des modes pour une valeur donnée de ''w''<sub>1</sub> correspond au nombre d'intersections du graphe sur la ligne <span class="nowrap">Π(''α'') = ''w''<sub>1</sub></span>. Cela peut être lié au nombre d'oscillations du graphe, et donc à des solutions de <math> \frac{d \Pi(\alpha)}{d \alpha} = 0 </math> explicitse pour un mélange de deux composants [[Homoscédasticité|homoscédastiques]] donné par
: <math>  1 - \alpha(1-\alpha) d_M(\mu_1, \mu_2, \Sigma)^2 </math>
où <span class="nowrap">''d<sub>M</sub>''(''μ''<sub>1</sub>, ''μ''<sub>2</sub>, Σ) = (''μ''<sub>2</sub> − ''μ''<sub>1</sub>)<sup>''T''</sup>Σ<sup>−1</sup>(''μ''<sub>2</sub> − ''μ''<sub>1</sub>)</span> est la [[distance de Mahalanobis]].

Comme cette dernière est quadratique, il en resulte un nombre maximal de deux modes, indépendamment de la dimension ou le de la moyenne.

== Applications ==
Les densités de mélange sont des densités compliquées, exprimables en termes de densités plus simples (les composants de mélange), et sont utilisés à la fois car ils fournissent un bon modèle pour certains ensembles de données (où les différents sous-ensembles de données présentent des caractéristiques différentes et peuvent donc être le mieux modélisées). Également parce qu'ils peuvent être plus mathématiquement traitables, qui vient du fait que les composants individuels du mélange peuvent être plus faciles à étudier que la densité globale du mélange.

Les densités de mélange peut être utilisé pour modéliser une population statistique avec des sous-populations, où les composants du mélange sont les densités des sous-populations, et les moyennes sont les proportions de chaque sous-population dans la population globale.

Les densités de mélange peut également être utilisé pour modéliser l'[[Erreur de mesure|erreur expérimentale]].

Les statistiques paramétriques qui ne supposent aucune erreur échouent souvent sur de telles densités de mélange, par exemple, les statistiques qui supposent la normalité échouent souvent désastreusement en présence même de quelques [[Donnée aberrante|valeurs aberrantes]]. Pour éviter ce problème, on utilise des [[Robustesse (statistiques)|statistiques robustes]].

Dans une [[méta-analyse]] des études différentes, l'hétérogénéité des études provoque la loi des résultats à une loi de mélange, et conduit à [[Overdispersion|surdispersion]] des résultats relatifs à l'erreur prédite. Par exemple, dans un [[Sondage (statistique)|sondage]], la [[marge d'erreur]] (déterminé par la taille de l'échantillon) prédit l'[[Sampling error|erreur d'échantillonnage]], et donc la dispersion des résultats sur des enquêtes répétées. La présence de l'hétérogénéité de l'étude (les études ont différents [[Échantillon biaisé|biais d'échantillonnage]]) augmente la dispersion par rapport à la marge d'erreur.

En [[apprentissage automatique]], l'algorithme de partitionnement non supervisé des [[K-moyennes]] peut-être vu optimisant la vraisemblance d'un k-mélange gaussien avec les données observées. Des variations de l'algorithme des K-moyennes sont possibles en adoptant ce point de vue.

== Notes et références ==
=== Notes ===
{{crédit d'auteurs|interne|Densité mélange|201957942}}
=== Références ===
{{Références|taille=25}}

== Voir aussi ==
=== Bibliographie ===
* Frühwirth-Schnatter, Sylvia (2006), ''Finite Mixture and Markov Switching Models'', Springer, {{ISBN|978-1-4419-2194-9}}
* Lindsay, Bruce G. (1995), [https://www.jstor.org/stable/4153184 ''Mixture models: theory, geometry and applications''], NSF-CBMS Regional Conference Series in Probability and Statistics '''5''', Hayward, CA, USA: Institute of Mathematical Statistics, {{ISBN|0-940600-32-3}}
* {{ouvrage | langue = en | titre = Finite Mixture Distributions | auteur = B. Everitt | directeur = oui | éditeur = Springer Science & Business Media | date = 8 mars 2013 | lire en ligne = https://books.google.fr/books?id=0ZQICQAAQBAJ&printsec=frontcover&dq=mixture+distribution+law+or+mixture+density&hl=fr&newbks=1&newbks_redir=0&sa=X&redir_esc=y#v=onepage&q=mixture%20distribution%20law%20or%20mixture%20density&f=false}}.
* {{chapitre | titre chapitre = Modèles de mélanges et classification | titre ouvrage = Modèles à variables latentes et modèles de mélange | auteur1 = Jean-Jacques Droesbeke | auteur2 = Gilbert Saporta | auteur3 = Christine Thomas-Agnan | éditeur = Editions TECHNIP | année = 2013 | lire en ligne = https://books.google.fr/books?id=qiSDXbzMzWEC&pg=PA95&dq=densit%C3%A9+de+m%C3%A9lange+distribution&hl=fr&newbks=1&newbks_redir=0&sa=X&ved=2ahUKEwjVtPfJt9GJAxVgKvsDHbyqFbAQ6AF6BAgEEAI#v=onepage&q=densit%C3%A9%20de%20m%C3%A9lange%20distribution&f=false}}.

=== Articles connexes ===
* [[Combinaison convexe]]
* [[Algorithme espérance-maximisation]]
* [[Modèle graphique]]
* [[Réseau bayésien]]
* [[Réseau bayésien dynamique]]
* [[Modèle de mélange]]
* [[Modèle de mélanges gaussiens]]

=== Liens internes ===
{{Portail|Mathématiques|Probabilités et statistiques}}

[[Catégorie:Loi de probabilité]]