Indépendance (probabilités)

Paire de dés : les résultats de chacun des dés sont indépendants.

L'indépendance est une notion probabiliste qualifiant de manière intuitive des événements aléatoires n'ayant aucune influence l'un sur l'autre. Il s'agit d'une notion très importante en statistique et en théorie des probabilités.

Par exemple, la valeur d'un premier lancer de dés n'a aucune influence sur la valeur du second lancer. De même, pour un lancer, le fait d'obtenir une valeur inférieure ou égale à quatre n'influe en rien sur la probabilité que le résultat soit pair ou impair : les deux événements sont dits indépendants.

L'indépendance ou non de deux événements n'est pas toujours facile à établirModèle:Par exemple.

Indépendance de deux événements

La définition mathématique de l'indépendance de deux événements est la suivante : Modèle:Théorème La définition mathématique ci-dessus est assez peu parlante. Le lien entre le concept intuitif d'indépendance et la Modèle:Citation ci-dessus apparaît plus clairement si l'on introduit la notion de probabilité conditionnelle : Modèle:Théorème En excluant les cas particuliers peu intéressants où $B$ est impossible, i.e. dans le cas où $\mathbb{P}(B)=0,$ et où $B$ est certain, i.e. dans le cas où $\mathbb{P}(B)=1,$ on peut alors reformuler la définition de l'indépendance de la manière suivante Modèle:Théorème Ainsi les événements $A$ et $B$ sont dits indépendants si notre pronostic sur l'événement $A$ est le même :

• si on sait que l'événement $B$ s'est produit (pronostic ${\mathbb{P}}_B(A)$),
• si on sait que l'événement $B$ ne s'est pas produit (pronostic ${\mathbb{P}}_{\bar{B}}(A)$),
• si on ne sait rien sur le statut de l'événement $B$ (pronostic $\mathbb{P}(A)$).

Autrement dit, $A$ est dit indépendant de $B$ si notre pronostic sur l'événement $A$ n'est affecté par aucune information concernant $B$, ni par l'absence d'information concernant $B$. On peut échanger les rôles de $A$ et de $B$ dans la définition utilisant les probabilités conditionnelles, à condition bien sûr d'exclure les cas particuliers peu intéressants où $A$ est impossible, et où $A$ est certain.

Bien que la définition utilisant les probabilités conditionnelles soit plus intuitive, elle a l'inconvénient d'être moins générale, et de ne pas faire jouer un rôle symétrique aux deux événements $A$ et $B$.

Notons par ailleurs qu'un événement certain $A$ est indépendant de tout événement $B$ quel qu'il soit. Un événement impossible est également indépendant de tout autre événement. En particulier, un événement $A$ est indépendant de lui-même à la condition que $A$ soit certain ou impossible. En effet, si l'événement $A$ est indépendant de lui-même, on peut écrire :

$\mathbb{P}(A)=\mathbb{P}(A\cap A)=\mathbb{P}(A)\mathbb{P}(A),$

et on en déduit que la probabilité de l'événement $A$ vaut soit $0$, soit $1$.

Indépendance d'un nombre quelconque d'événements

La notion d'indépendance peut être étendue à $n$ événements, via la notion d'indépendance des tribus, mais on va plutôt donner ici deux critères plus lisibles : Modèle:Théorème Le nombre total de conditions à vérifier est donc le nombre de parties $I\subset \{1,2,\dots ,n\}$ possédant au moins deux éléments, à savoir :

$(\genfrac{}{}{0ex}{}{n}{2})+(\genfrac{}{}{0ex}{}{n}{3})+\cdots +(\genfrac{}{}{0ex}{}{n}{n})=2^n-(n+1).$

L'indépendance des n événements $A_1,A_2,\dots ,A_n$ entraîne que

$\mathbb{P}(A_1\cap \cdots \cap A_n)=\mathbb{P}(A_1)\cdots \mathbb{P}(A_n),$

ce qui correspond au choix particulier $I=\{1,2,\dots ,n\},$ mais est une propriété beaucoup plus faible que l'indépendance. Dans le même esprit, comme on le constate dans l'exemple ci-dessous, $n$ événements peuvent être indépendants deux à deux, ce qui correspond à vérifier la propriété pour toutes les parties $I\subset \{1,2,\dots ,n\}$ à 2 éléments, sans pour autant être indépendants : Modèle:Exemple Modèle:Théorème

Indépendance des variables aléatoires

Définitions

Il y a plusieurs définitions équivalentes de l'indépendance d'une famille finie de variables aléatoires. On peut en particulier définir l'indépendance d'une famille de tribus, et voir ensuite l'indépendance des événements et l'indépendance des variables aléatoires comme des cas particuliers de l'indépendance des tribus. Cela permet de démontrer certains résultats généraux sur l'indépendance une seule fois, pour les tribus, puis de déduire immédiatement de ce résultat général la version Modèle:Citation et la version Modèle:Citation (un exemple est le lemme de regroupement). Cependant, il est peut-être préférable de donner d'abord deux définitions de l'indépendance des variables aléatoires qui soient opératoires pour les applications, et quelques critères commodes.

Dans ce qui suit on considère une famille $(X_1,X_2,\dots ,X_n)$ de variables aléatoires définies sur le même espace de probabilité $(\mathrm{\Omega },𝒜,\mathbb{P})$, mais éventuellement à valeurs dans des espaces différents :$X_i:(\mathrm{\Omega },𝒜,\mathbb{P})\to (E_i,{ℰ}_i),1\le i\le n.$ Modèle:Théorème Les espérances ci-dessus ont un sens si les ${\phi }_i$ sont mesurables, et si $\prod _{i=1}^n{\phi }_i(X_i)$ est intégrable, ou si les ${\phi }_i$ sont mesurables et positives ou nulles. Typiquement, dans les applications, $(E_i,{ℰ}_i)=({ℝ}^{d_i},ℬ({ℝ}^{d_i})).$ Dans le cas de deux variables aléatoires réelles cela donne :

Les définitions précédentes traitent de familles finies de variables aléatoires, numérotées de $1$ à $n$ par commodité, sans que cela restreigne la généralité des énoncés : en effet, on peut toujours numéroter de $1$ à $n$ les éléments d'une famille finie de variables aléatoires. De plus, les définitions font jouer des rôles symétriques à chaque élément de la famille, si bien que le choix d'une numérotation ou d'une autre est sans effet sur la vérification de la définition.

L'indépendance d'une famille quelconque (éventuellement infinie) de variables aléatoires est la suivante : Modèle:Théorème

Cas des variables aléatoires à densité

Soit une famille $(X_1,X_2,\dots ,X_n)$ de variables aléatoires réelles définies sur le même espace de probabilité$(\mathrm{\Omega },𝒜,\mathbb{P})$, et $X=X_1\dots X_n$ leur produit. Modèle:ThéorèmeModèle:Démonstration

Cas des variables discrètes

Dans le cas des variables discrètes, un critère d'indépendance utile est le suivant : Modèle:Théorème Modèle:Exemple

Autres critères d'indépendance

Par exemple,

Modèle:Théorème Par exemple, on peut utiliser le deuxième critère pour démontrer que dans la méthode de rejet, le nombre d'itérations est indépendant de l'objet aléatoire (souvent un nombre aléatoire) engendré au terme de ces itérations.

On peut généraliser ces critères d'indépendance à des familles finies quelconques de variables aléatoires réelles, dont certaines, éventuellement, sont des variables discrètes, à valeurs dans des parties finies ou dénombrables de ℝ éventuellement différentes de $\mathbb{N}$. Une démonstration de ces critères se trouve à la page « Lemme de classe monotone ».

Indépendance et corrélation

L'indépendance implique que la covariance, et donc la corrélation, entre les deux variables est nulle:

La réciproque du théorème est fausse, comme le montre l'exemple suivant : Modèle:Exemple

La non-corrélation entre $X$ et $Y$ est une propriété plus faible que l'indépendance. En fait l'indépendance entre $X$ et $Y$ est équivalente à la non-corrélation de $\phi (X)$ et de $\psi (Y)$ pour tout choix de $\phi$ et de $\psi$ (tels que la covariance de $\phi (X)$ avec $\psi (x)$ soit définie…).

Indépendance des tribus

Lien avec l'indépendance des événements

Modèle:Théorème Comme la tribu $\sigma (A)$ engendrée par $A$ est décrite par :

$\sigma (A)=\{A,\bar{A},\mathrm{\Omega },\mathrm{\varnothing }\},$

la définition donnée dans cette section pour une famille quelconque d'événements, une fois particularisée à une famille de $n$ événements, apparaît comme plus forte que les deux critères donnés plus haut. En effet, pour un choix approprié des événements $B_i$ dans la définition

$\{\mathrm{\forall }(B_i{)}_{1\le i\le n}\in \prod _{i=1}^n\sigma (A_i),\mathbb{P}\left(\bigcap _{i=1}^n{B}_i\right)=\prod _{i=1}^n\mathbb{P}(B_i)\},$

donnée dans cette section, on retrouve le critère 1 (choisir tantôt $\mathrm{\Omega },$ tantôt $A_i$ dans $\sigma (A_i)$) et le critère 2 (choisir tantôt $A_i,$ tantôt $\overline{A_i}$ dans $\sigma (A_i)$). Pourtant les critères 1 et 2 sont effectivement équivalents à la définition via les tribus, donnée dans cette section, mais cela mérite démonstration.

Lien avec l'indépendance des variables aléatoires

Comme la tribu $\sigma (X)$ engendrée par une variable aléatoire $X,$ définie de $(\mathrm{\Omega },𝒜,\mathbb{P})$ dans $(E,ℰ),$ est définie par :

$\sigma (X)=\{X^{-1}(B)|B\in ℰ\},$

la définition donnée dans cette section pour une famille quelconque de variables aléatoires, une fois particularisée à une famille de $n$ variables aléatoires, est clairement équivalente à la définition de la section Indépendance des variables aléatoires. En effet

$\mathbb{P}(X_1\in A_1\text{ et }{X}_2\in A_2\text{ et }\dots \text{ et }{X}_n\in A_n)$

est une notation pour

$\mathbb{P}(\bigcap _{i=1}^n{X}_i^{-1}(A_i)),$

et

$\mathbb{P}(X_i\in A_i)$

est une notation pour

$\mathbb{P}(X_i^{-1}(A_i)).$

Propriétés élémentaires

Pour démontrer le premier point on applique la définition de l'indépendance à la famille $({𝒜}_j{)}_{j\in J}$ en spécialisant à une famille $(A_j{)}_{j\in J}$ d'événements telle que $\mathrm{\forall }j\in J\mathrm{\setminus }I,A_j=\mathrm{\Omega }.$Le second point est immédiat : il suffit d'écrire la définition de l'indépendance de la famille $({ℬ}_j{)}_{j\in J}.$

Indépendance et information

Une autre façon d'appréhender cette notion d'indépendance entre deux événements est de passer par l'information (au sens de la théorie de l'information) : deux événements sont indépendants si l'information fournie par le premier événement ne donne aucune information sur le deuxième événement.

Soit à tirer deux boules (rouge et blanche) d'une urne. Si on réalise l'expérience sans remettre la boule tirée dans l'urne, et que la première boule tirée est rouge, on peut déduire de cette information que la deuxième boule tirée sera blanche. Les deux événements ne sont donc pas indépendants.

Par contre, si on remet la première boule dans l'urne avant un deuxième tirage, l'information du premier événement (la boule est rouge) ne nous donne aucune information sur la couleur de la deuxième boule. Les deux événements sont donc indépendants.

Cette approche est notamment utilisée en analyse en composantes indépendantes.

Voir aussi

Bibliographie

• T.-A. Banh, Calcul des probabilités, Ed. ULg, 1995.
• A. Hyvärinen, E. Oja, Independent Component Analysis, Neural Networks, 13(4-5):411-430, 2000.
• Modèle:Ouvrage
• Modèle:Ouvrage

Articles connexes

• Lemme de Borel-Cantelli
• Modèle:Page h
• Nombre univers
• Loi des grands nombres
• Théorème central limite
• Marche aléatoire
• Tribu (mathématiques)
• Analyse en composantes indépendantes
• Quasi-certitude
• Accroissement indépendant