Voir la source de Variables indépendantes et identiquement distribuées

{{En-tête label|BA|année=2016}}
{{Voir homonymes|IID}}
[[Fichier:Laglag_h=001.png|vignette|upright=1.5|alt=nuage de points|Ce nuage de points représente 500 valeurs aléatoires iid simulées informatiquement. L'ordonnée d'un point est la valeur simulée suivante, dans la liste des 500 valeurs, de la valeur simulée pour l'abscisse du point.]]

En [[théorie des probabilités]] et en [[statistique]], des '''variables indépendantes et identiquement distribuées''' sont des [[variable aléatoire|variables aléatoires]] qui suivent toutes la même [[loi de probabilité]] et sont [[Indépendance (probabilités)|indépendantes]]. On dit que ce sont des '''variables aléatoires iid''' ou plus simplement des '''variables iid'''.

Un exemple classique de variables iid apparait lors d'un jeu de [[pile ou face]], c'est-à-dire des lancers successifs d'une même pièce. Les variables aléatoires qui représentent chaque résultat des lancers (0 pour face et 1 pour pile) suivent toutes la même [[loi de Bernoulli]]. De plus les lancers étant successifs, les résultats n'ont pas de lien de dépendance entre eux et ainsi les variables aléatoires  sont indépendantes.

L'apparition de variables iid se retrouve régulièrement en statistique. En effet, lorsque l'on étudie un caractère sur une population, on réalise un [[Échantillon (statistiques)|échantillon]] : on sélectionne une partie de la population, on mesure le caractère étudié et on obtient ainsi une série de valeurs qui sont supposées aléatoires, indépendantes les unes des autres et qui sont modélisées par des variables aléatoires avec une [[loi de probabilité]] adaptée. Inversement, lorsque l'on récupère des données statistiques, des méthodes permettent de savoir si elles sont issues de variables iid.

Plusieurs théorèmes de probabilité nécessitent l'hypothèse de variables iid. En particulier le [[théorème central limite]] dans sa forme classique énonce que la somme renormalisée de variables iid tend vers une [[loi normale]]. C'est également le cas de la [[loi des grands nombres]] qui assure que la moyenne de variables iid converge vers l'[[Espérance mathématique|espérance]] de la loi de probabilité des variables.

Des méthodes de calcul comme la [[méthode de Monte-Carlo]] utilisent des variables iid. Il est alors utile de savoir simuler informatiquement celles-ci ; ces valeurs simulées sont dites [[pseudo-aléatoire]]s car obtenir des valeurs parfaitement iid est impossible. Les algorithmes utilisant la [[congruence sur les entiers]] ne donnent pas d'indépendance parfaite, on parle dans ce cas de ''hasard faible''. En utilisant des phénomènes physiques, il est possible d'obtenir de meilleures valeurs pseudo-aléatoires, il s'agit de ''hasard fort''.

== Origines et explications ==
Dans l'histoire des probabilités, les premiers raisonnements tels que le [[problème des partis]] au {{s-|XVII|e}}, ont été faits sur des jeux de hasard. Il est question d'un jeu en plusieurs parties ; même si le terme de variables indépendantes et identiquement distribuées n'est pas utilisé, il en est question : {{citation|le hasard est égal<ref name="Henry20"/>}}. Dans le problème du jeu de dés posé par le [[Antoine Gombaud, chevalier de Méré|chevalier de Méré]], il admet que {{citation|les faces du dé sont également possibles et par là-même qu'elles ont la même chance de se produire<ref name="Henry20">{{Harvsp|Henry|2001|p=20}}.</ref>}}.

C'est toujours au {{s-|XVII|e}} que [[Jérome Cardan]], [[Pierre de Fermat]] et [[Christian Huygens]] utilisent la notion d'[[équiprobabilité]], c'est-à-dire que certains événements ont la même probabilité d'apparaître, autrement dit que certaines variables suivent la même loi. La notion d'[[Indépendance (probabilités)|indépendance]] n'apparaît que plus tard avec [[Abraham de Moivre]]<ref name="Henry23">{{Harvsp|Henry|2001|p=23}}.</ref>.

Dans les mêmes années, des questions se posent en [[démographie]] au sujet des [[Rente viagère|rentes viagères]]<ref name="Henry29"/>. Ces questions [[statistique]]s s'appuient sur les travaux probabilistes naissants des jeux de hasard pour évaluer des valeurs des rentes. [[Gottfried Wilhelm Leibniz|Leibniz]] considère ces questions comme analogues aux jeux de hasard, c'est-à-dire dans le cas d’événements indépendants et de même chance : les fréquences des décès sont considérées comme des valeurs de probabilité, la durée comme le gain dans un jeu contre la nature et les calculs sur plusieurs personnes se font par multiplication<ref name="Henry29">{{Harvsp|Henry|2001|p=29}}.</ref>.

Ainsi les exemples du lancer du dé<ref name="Henry142">{{Harvsp|Henry|2001|p=142}}.</ref>, du jeu de [[pile ou face]]<ref name="Henry127">{{Harvsp|Henry|2001|p=127}}.</ref> ou du [[Tirage (mathématiques)|tirage aléatoire avec remise]] de boules dans une urne sont des exemples classiques que l'on modélise par des variables indépendantes et identiquement distribuées. Pour ces trois exemples, chaque tirage ou lancer se fait dans les mêmes situations (même dé, même pièce ou même contenu de l'urne grâce au tirage avec remise), ainsi les résultats de chaque tirage suivent la même loi de probabilité. De plus les tirages ou lancers ne dépendent pas des résultats des tirages et lancers précédents (encore dû à la remise des boules), les variables aléatoires sont donc indépendantes.

En [[statistique]], un échantillon est construit en {{citation|tirant au hasard}} des individus dans une population<ref name="Henry122">{{Harvsp|Henry|2001|p=122}}.</ref>. Le terme {{citation|au hasard}} sous-entend l'hypothèse d'équiprobabilité, c'est-à-dire qu'à chaque tirage, les individus ont la même chance d'être prélevés, ce qui assure que les résultats du tirage sont de même loi. Pour avoir l'indépendance, le tirage peut être réalisé avec remise<ref name="Lejeune39">{{Harvsp|Lejeune|2004|p=39}}.</ref>. Dans le cas où la population totale est très grande ou considérée infinie, le fait de tirer avec ou sans remise ne modifie pas l'indépendance des résultats.

De tels résultats obtenus par plusieurs observations successives d'un même phénomène aléatoire sont appelés des [[Échantillon (statistiques)|échantillons aléatoires]]<ref name="Lejeune37">{{Harvsp|Lejeune|2004|p=37}}.</ref>.

== Définition ==
{{article détaillé|Indépendance (probabilités)|Loi de probabilité}}
La désignation « indépendantes et identiquement distribuées » regroupe deux notions : l'[[Indépendance (probabilités)|indépendance]] et la [[loi de probabilité]]. L'indépendance est une propriété qui régit les relations des variables entre elles, tandis que la notion d'identiquement distribuée se réfère à la faculté de chacune des variables de suivre la même loi de probabilité que les autres variables de la suite. Des variables indépendantes et identiquement distribuées sont dites iid<ref name="Le Boudec39"/>, i.i.d<ref name="Morgenthaler100">{{Harvsp|Morgenthaler|2007|p=100}}.</ref>. ou indépendantes et équidistribuées.

Intuitivement, dans le cas de [[variable aléatoire réelle]], l'indépendance entre deux variables aléatoires signifie que la connaissance de l'une n'influe en rien sur la valeur de l'autre<ref name="Le Boudec39">{{Harvsp|Le Boudec|2015|p=39}}.</ref>.

Donnons les cas particuliers de deux [[Variable aléatoire discrète|variables aléatoires discrètes]] ne pouvant prendre qu'un nombre fini de valeurs, et de deux [[loi de probabilité#Lois absolument continues|variables aléatoires continues]], c'est-à-dire possédant une [[densité de probabilité]].

{{Théorème|Définition (cas discret)<ref name="Morgenthaler85">{{Harvsp|Morgenthaler|2007|p=85}}.</ref>|Deux variables aléatoires réelles <math>X,Y</math> sont dites indépendantes et identiquement distribuées si elles sont :
# indépendantes, <br />c'est-à-dire, <math>\mathbb P(X=x,Y=y)=\mathbb P(X=x)\times \mathbb P(Y=y)</math> pour tous réels <math>x,y</math>,
# de même loi, <br />c'est-à-dire <math>\mathbb P(X=x)=\mathbb P(Y=x)</math> pour tout <math>x</math>.
}}

{{Théorème|Définition (cas continu)<ref name="Morgenthaler86"/>|Deux variables aléatoires réelles <math>X, Y</math> sont dites indépendantes et identiquement distribuées si elles sont :
# indépendantes, <br />c'est-à-dire, <math>f_{X,Y}(x,y)=f_{X}(x)f_{Y}(y)</math> pour tous réels <math>x,y</math> , et,
# de même loi, <br />c'est-à-dire <math>f_X(x)=f_Y(x)</math> pour tout <math>x</math>.

où <math>f_{X,Y},f_{X}</math> et <math>f_{Y}</math> sont les [[densité de probabilité|densités de probabilité]] respectives du couple <math>(X,Y)</math> et des variables <math>X</math> et <math>Y</math>.}}

Une manière plus générale est de considérer les [[fonction de répartition|fonctions de répartition]] : les variables <math>X,Y</math> ont même loi si elles ont la même [[fonction de répartition]] et sont dites indépendantes<ref name="Morgenthaler86">{{Harvsp|Morgenthaler|2007|p=86}}.</ref> si <math>F_{X,Y}(x,y)=F_{X}(x)\times F_{Y}(y)</math> pour tous réels <math>x,y</math> où <math>F_{X,Y},F_{X}</matH> et <math>F_{Y}</math> sont les fonctions de répartition respectives du couple <math>(X,Y)</math> et des variables <math>X</math> et <math>Y</math>. Cette définition se généralise pour <math>n</math> variables aléatoires indépendantes, dites mutuellement indépendantes<ref name="Lejeune37"/>.

Plus mathématiquement, des variables iid sont supposées être définies sur le même espace<ref group="a" name="statlect">{{Lien web|langue=en|titre=Sequence of random variables and their convergence|url=http://www.statlect.com/seqrnd1.htm#indep|site= Statlect}}.</ref>, c'est-à-dire qu'il existe un [[espace probabilisé]] <math>(\Omega, \mathcal{F}, \mathbb{P})</math> tel que chaque variable aléatoire <math>X_i</math> est une [[fonction mesurable]] <math>X_i:\Omega\rightarrow \mathbb R</math>.

{{Théorème|Définition générale|Des variables aléatoires réelles <math>X_1,X_2,\dots, X_n</math> sont dites indépendantes et identiquement distribuées si elles sont :
# indépendantes, (ou mutuellement indépendantes<ref group="a" name="statlect" />) <br />c'est-à-dire pour toute sous-famille finie <math>X_{i_1},X_{i_2},\dots, X_{i_k}</math>, <math>\mathbb P(X_{i_1} \leq t_{i_1},\dots ,X_{i_k}\leq t_{i_k})=\mathbb P(X_{i_1} \leq t_{i_1})\times \dots \times \mathbb P(X_{i_k} \leq t_{i_k})</math> pour tous réels <math>t_{i_1},\dots,t_{i_k}</math>, et
# de même loi, <br />c'est-à-dire <math>\mathbb P(X_i \leq t)=\mathbb P(X_1 \leq t)</math> pour tout t réel et pour tout <math>i=1,\dots;n</math>.}}

De manière plus générale, il est possible de considérer des [[Variable aléatoire|variables aléatoires]] à valeurs non réelles, c'est-à-dire dans un [[espace mesurable]] général. Dans ce cas, chaque variable aléatoire est une [[fonction mesurable]] d'un [[espace probabilisé]] <math>(\Omega, \mathcal{F}, \mathbb{P})</math> dans un espace mesurable. <math>X : (\Omega, \mathcal{F}, \mathbb{P})\longrightarrow (E_X, \mathcal{E}_X) </math> et <math>Y : (\Omega, \mathcal{F}, \mathbb{P})\longrightarrow (E_Y, \mathcal{E}_Y) </math>.
Ainsi, on dit que les variables <math>X</math> et <math>Y</math> sont indépendantes et identiquement distribuées si :
* les [[Événement (probabilités)|événements]] <math>X^{-1}(A)</math> et <math>Y^{-1}(B)</math> sont [[Indépendance en probabilité élémentaire|indépendants]] pour tous <math>A\in \mathcal{E}_X</math> et <math>B\in \mathcal{E}_Y</math>,
* les [[Mesure image|mesures images]] <math>\mathbb P_X</math> et <math>\mathbb P_Y</math> de <math>\mathbb P</math> par <math>X</math> et par <math>Y</math> sont égales.

Ces définitions se généralisent au cas d'une famille quelconque finie, dénombrable ou infinie non-dénombrable de variables aléatoires<ref name="Severini59"/>.

== Propriétés ==
Les variables iid apparaissent dans beaucoup de situations et résultats statistiques et probabilistes car elles possèdent de nombreuses propriétés qui permettent de mieux étudier leur loi de probabilité ou leur somme notamment. Dans la suite de cette section, <math>X_1,X_2,\dots,X_n</math> sont des variables réelles indépendantes et identiquement distribuées.

Si on note <math>f_X</math> la [[densité de probabilité]] du vecteur <math>X=(X_1,X_2,\dots, X_n)</math> et <math>f</math> la densité commune des variables <math>X_1,X_2,\dots,X_n</math>, alors<ref name="Morgenthaler86"/> : <math>f_X(t_1,t_2,\dots,t_n)=f(t_1)f(t_2)\dots f(t_n)</math>. Autrement dit, la fonction de densité d'un <math>n</math>-uplet de variables iid est à variables séparables.

La somme de variables iid possède de bonnes propriétés ; donnons ici les principales. Si l'[[espérance mathématique|espérance]] commune des variables <math>X_i</math> est <math>\mu</math> et la [[Variance (statistiques et probabilités)|variance]] commune est <math>\sigma^2</math>, alors la somme et la moyenne ont pour espérance et pour variance<ref name="Lejeune38">{{Harvsp|Lejeune|2004|p=38}}.</ref> :
:<math>\mathbb E(X_1+X_2+\dots+X_n)=n\mu</math> et <math>\operatorname{Var}(X_1+X_2+\dots+X_n)=n\sigma^2</math>,
:<math>\mathbb E\left(\frac{X_1+X_2+\dots+X_n}{n}\right)=\mu</math> et <math>\operatorname{Var}\left(\frac{X_1+X_2+\dots+X_n}{n}\right)=\frac{\sigma^2}{n}</math>.

Si on note <math>\Psi</math> la [[Fonction caractéristique (probabilités)|fonction caractéristique]] commune des variables <math>X_i</math> et <math>\Psi_{S_n}</math> celle de la somme <math>S_n=X_1+X_2+\dots+X_n</math>, alors<ref name="Lejeune38"/>
:<math>\Psi_{S_n}(t)=\left(\Psi(t)\right)^n</math>.

La [[covariance]] et la [[Corrélation (statistiques)|corrélation]] de deux variables aléatoires indépendantes sont nulles : <math>\operatorname{Corr}(X_1,X_2)=\operatorname{Cov}(X_1,X_2)=0</math> c'est-à-dire <math>\mathbb E(X_1X_2)=\mathbb E(X_1)\mathbb E(X_2)</math>. Cependant une covariance nulle n'implique pas toujours l'indépendance des variables aléatoires<ref name="Lejeune36">{{Harvsp|Lejeune|2004|p=36}}.</ref>. Dans le cas où les variables sont les coordonnées d'un [[Vecteur aléatoire#Vecteur gaussien|vecteur gaussien]], leur indépendance est équivalente au fait que leurs covariances deux à deux soient nulles <ref name="Lejeune42">{{Harvsp|Lejeune|2004|p=42}}.</ref>.

Si <math>X_1</math> et <math>X_2</math> sont iid, alors<ref name="Lejeune43">{{Harvsp|Lejeune|2004|p=43}}.</ref> : <math>\operatorname{Cov}(X_1+X_2,X_1-X_2)=0</math>.

;Exemples de sommes de variables iid.
* Si <math>X_1,X_2,\dots, X_n</math> sont iid de [[loi de Bernoulli]] de paramètre <math>p</math>, alors<ref name="Lejeune48">{{Harvsp|Lejeune|2004|p=48}}.</ref> <math>X_1+X_2+\dots+X_n</math> est de [[loi binomiale]] : <math>b(n,p)</math>.
* Si <math>X_1,X_2,\dots, X_n</math> sont iid de [[loi géométrique]] de paramètre <math>p</math>, alors<ref name="Lejeune50">{{Harvsp|Lejeune|2004|p=50}}.</ref> <math>X_1+X_2+\dots+X_n</math> est de [[loi binomiale négative]] : <math>NegBin(n,p)</math>.
* Si <math>X_1,X_2,\dots, X_n</math> sont iid de [[loi de Poisson]] de paramètre <math>\lambda</math>, alors<ref name="Lejeune53">{{Harvsp|Lejeune|2004|p=53}}.</ref> <math>X_1+X_2+\dots+X_n</math> est de [[loi de Poisson]] : <math>\mathcal P(n\lambda)</math>.
* Si <math>X_1,X_2,\dots, X_n</math> sont iid de [[loi exponentielle]] de paramètre <math>\lambda</math>, alors<ref name="Lejeune56">{{Harvsp|Lejeune|2004|p=56}}.</ref> <math>X_1+X_2+\dots+X_n</math> est de [[loi Gamma]] : <math>\Gamma(n,\lambda)</math>.
* Si <math>X_1,X_2,\dots, X_n</math> sont iid de [[loi normale]] <math>\mathcal N(\mu,\sigma^2)</math>, alors<ref name="Lejeune57">{{Harvsp|Lejeune|2004|p=57}}.</ref> <math>X_1+X_2+\dots+X_n</math> est de [[loi normale]] : <math>\mathcal N(n\mu,n\sigma^2)</math>.
* Si <math>X_1,X_2,\dots, X_n</math> sont iid de [[loi normale]] de paramètre 0 et 1, alors<ref name="Lejeune72">{{Harvsp|Lejeune|2004|p=72}}.</ref> <math>X_1^2+X_2^2+\dots+X_n^2</math> est de [[loi du χ²]] : <math>\chi^2(n)</math>.
* Si <math>X_1,X_2,\dots, X_n</math> sont iid de [[loi du χ²]] de paramètre <math>\nu</math>, alors<ref name="Lejeune73">{{Harvsp|Lejeune|2004|p=73}}.</ref> <math>X_1+X_2+\dots+X_n</math> est de [[loi du χ²]] : <math>\chi^2(n\nu)</math>.

Une généralisation de la notion de variables iid est celle de {{lien|variables échangeables|trad=exchangeable random variables}}<ref name="Severini59">{{Harvsp|Severini|2005|p=59}}.</ref> : les [[Variable aléatoire réelle|variables aléatoires réelles]] <math>X_1,X_2,\dots,X_n</math> sont dites échangeables si la [[loi de probabilité]] du [[n-uplet]] <math>(X_1,X_2,\dots,X_n)</math> est la même que la loi de <math>(X_{\sigma(1)},X_{\sigma(2)},\dots,X_{\sigma(n)})</math> pour toute [[permutation]] <math>\sigma</math>. Autrement dit, la loi du n-uplet ne dépend pas de l'ordre des variables.

Si des variables réelles sont indépendantes et identiquement distribuées, alors elles sont échangeables<ref name="Severini59"/>. Il existe une réciproque partielle : des variables échangeables sont identiquement distribuées. Cependant, elles ne sont généralement pas indépendantes<ref name="Severini60">{{Harvsp|Severini|2005|p=60}}.</ref>.

Le [[théorème central limite]] s'applique pour des variables iid, il existe des versions de ce théorème pour des variables échangeables<ref name="Severini399">{{Harvsp|Severini|2005|p=399}}.</ref>.

== En statistique ==
La [[statistique]] est une science qui étudie et interprète les données. Lorsque l'on possède une série de données, la question se pose de savoir si elles peuvent être modélisées par des variables iid. Autrement dit : sont-elles des valeurs différentes obtenues de manière indépendante d'un même phénomène aléatoire<ref name="Le Boudec40">{{Harvsp|Le Boudec|2015|p=40}}.</ref> ? Les données peuvent être obtenues par mesures sur des individus ou objets qui doivent alors être choisis au hasard et avec remise<ref name="Le Boudec40"/>; elles peuvent également provenir d'une simulation grâce à un [[générateur de nombres aléatoires]] : dans ce cas la graine du générateur doit être choisie aléatoirement et ne doit plus être changée après<ref name="Le Boudec40"/>.

Il y a plusieurs méthodes pour tester l'indépendance des variables : la visualisation du [[corrélogramme]] (ou graphique d'autocorrélation), la visualisation du graphe de retard (Lag-plot) ou la réalisation de tests statistiques.

=== Visualiser le graphique d’autocorrélation ===
[[Fichier:Acf.svg|vignette|Graphique d’autocorrélation. En haut : la série de données. En bas : la fonction d'autocorrélation. La fonction présente des variations positives et négatives, les données ne sont donc pas iid.]]
{{Article détaillé|Corrélogramme}}
Dans le cas où la série est [[Processus stationnaire|stationnaire]], c'est-à-dire que les accroissements sont de [[covariance]] nulle, on peut s'intéresser à la [[fonction d'autocorrélation]]<ref name="Le Boudec143">{{Harvsp|Le Boudec|2015|p=143}}.</ref> (ACF). Elle est définie comme la corrélation entre la première valeur et la <math>k</math>-ième valeur. Cette fonction permet d'évaluer si les données sont issues d'un modèle iid<ref name="Le Boudec143"/>, elle est nulle si les données sont parfaitement iid<ref name="Le Boudec40"/>.

Il est à noter que plus il y a de valeurs, plus la fonction d'autocorrélation est petite. En fait les valeurs de la fonction d'autocorrélation décroissent en fonction de la taille <math>n</math> du nombre de données suivant le ratio <math>\textstyle \frac{\pm1,96}{\sqrt{n}}</math>.

=== Visualiser le graphe de retard ===
Le graphique de retard (ou Lag-plot) <math>h</math> est un [[Nuage de points (statistique)|nuage de points]] qui a pour abscisses les valeurs <math>x_1,x_2,\dots,x_n</math> de la série de données et en ordonnées ces valeurs décalées de <math>h</math> : <math>x_{1+h},x_{2+h},\dots,x_{n+h}</math> en prenant l'indice [[Arithmétique modulaire|modulo]] <math>n</math>, c'est-à-dire en reprenant au début de la liste lorsque l'on arrive à la fin. Si un des nuages fait apparaître une tendance d'orientation, la série n'est pas considérée iid<ref name="Le Boudec41">{{Harvsp|Le Boudec|2015|p=41}}.</ref>.

Dans la galerie d'images ci-dessous, sont représentés 5 lag-plot pour n=500 valeurs iid de [[Loi uniforme continue|loi uniforme]] simulées avec [[scilab]]. En abscisse : les {{unité|500|valeurs}} <math>x_1,x_2,\dots,x_{500}</math> ; en ordonnées : les valeurs décalées de h <math>x_{1+h},x_{2+h},\dots,x_{500},x_1,\dots,x_h</math>. On remarque que les 5 graphiques n'ont pas de tendance d'orientation, ce qui est le cas de variables iid.

<gallery mode="packed" caption="Graphe de retard de valeurs iid"> 
Laglag_h=001.png |alt=lag-plot pour h=1|<math>h=1</math>.
Laglag_h=101.png |alt=lag-plot pour h=101|<math>h=101</math>.
Laglag_h=201.png |alt=lag-plot pour h=201|<math>h=201</math>.
Laglag_h=301.png |alt=lag-plot pour h=301|<math>h=301</math>.
Laglag_h=501.png |alt=lag-plot pour h=401|<math>h=401</math>.
</gallery>

Dans la galerie d'images ci-dessous, sont représentés 5 lag-plot pour n=500 valeurs qui ne sont pas iid. Les valeurs <math>x_1,x_2,\dots,x_{500}</math> sont construites comme le maximum de valeurs iid : <math>x_2=max(y_1,y_2)</math> et <math>x_3=max(y_2,y_3)</math> ne sont pas indépendantes car elles dépendent toutes deux de <math>y_2</math>. On remarque une tendance du [[Nuage de points (statistique)|nuage de points]] vers le haut et la droite, notamment une concentration linéaire sur le premier graphique.

<gallery mode="packed" caption="Graphe de retard de valeurs non iid"> 
Laglag_max h=001.png |alt=lag-plot pour h=1|<math>h=1</math>.
Laglag_max h=101.png |alt=lag-plot pour h=101|<math>h=101</math>.
Laglag_max h=201.png |alt=lag-plot pour h=201|<math>h=201</math>.
Laglag_max h=301.png |alt=lag-plot pour h=301|<math>h=301</math>.
Laglag_max h=401.png |alt=lag-plot pour h=401|<math>h=401</math>.
</gallery>

=== Effectuer des tests statistiques ===
{{article détaillé|Test (statistique)}}
Il est possible de réaliser des [[Test (statistique)|tests statistiques]] pour vérifier si les données sont associées à une [[loi de probabilité]] (tests d'adéquation) et d'autres pour vérifier si les données sont indépendantes (test d'indépendance). Il existe aussi des tests pour vérifier si des valeurs sont iid, comme le {{Lien|trad=turning point test|lang=en|fr=test du point tournant}}<ref group="a">{{Lien web|langue=en|auteur1=Vicky Yang |titre=turning.point.test|url=http://www.inside-r.org/packages/cran/hacks/docs/turning.point.test |site= inside-R }}.</ref>{{,}}<ref name="Le Boudec123">{{Harvsp|Le Boudec|2015|p=123}}.</ref>.

Si on note <math>x_1,x_2,\dots,x_{j-1},x_j,x_{j+1},\dots,x_n</math> les valeurs obtenues, on dit que la suite de valeurs est monotone en <math>j</math> si <math>x_{j-1}\leq x_j\leq x_{j+1}</math> ou <math>x_{j-1}\geq x_j\geq x_{j+1}</math>. Dans le cas contraire, on dit que <math>j</math> est un point tournant. Intuitivement cela signifie que les valeurs ne sont pas ordonnées. Si les valeurs <math>x_1,x_2,\dots,x_n</math> sont issues d'un modèle iid, alors le nombre de points tournants suit une [[loi normale]] lorsque <math>n</math> tend vers <math>\infty</math>. Il est alors possible de faire un [[Test (statistique)|test statistique]] : on teste <math>H_0=[x_1,x_2,\dots,x_n \text{ sont }iid.]</math> contre <math>H_1=[x_1,x_2,\dots,x_n \text{ ne sont pas }iid.]</math>.

Si <math>T_n</math> est le nombre de points tournants pour <math>n</math> valeurs, alors <math>T_n</math> suit la loi <math>\textstyle\mathcal N\left( \frac{2n-4}{3} , \frac{16n-29}{90} \right)</math>. Si <math>\mathbb P(Z< t_{\alpha})=\alpha</math> avec <math>Z</math> de [[loi normale#Loi normale centrée réduite|loi normale centrée réduite]], alors la valeur critique est :
: <math> v_\alpha= \frac{2n-4}{3} + t_{\alpha}\sqrt{ \frac{16n-29}{90}}</math>.
C'est-à-dire, si le nombre de points tournants est plus petit que <math>v_\alpha</math>, alors il est considéré comme trop petit et l'hypothèse iid est rejetée avec un risque <math>\alpha</math> de se tromper.

Par exemple, la série <math>1,2,3,5,4,6,7,8</math> contient 2 points tournants pour <math>n=8</math> valeurs. Pour un risque de <math>\alpha=5\%</math>, la [[loi normale#Tables numériques et calculs|table de valeur]] de la loi normale donne <math>t_\alpha=-1,645</math>. Ainsi : <math>v_\alpha = 2,27 > T=2 </math>. On rejette l'hypothèse et on conclut que les valeurs ne sont pas issues d'un modèle iid avec un risque de 5 % de se tromper. Cet exemple est réalisé avec une faible valeur de <math>n</math>, ce qui ne le rend pas très performant.

== Simulations ==
Il est très utile de pouvoir simuler des valeurs issues de variables aléatoires identiquement distribuées. Lorsque l'on utilise une [[expérience aléatoire]] comme un lancer de dé, le résultat n'est en rien déterministe et on obtient alors des valeurs qui dépendent totalement du hasard. Cependant, il est compliqué d'automatiser des mécanismes physiques, on utilise alors des outils adaptés pour effectuer de grands nombres de calculs, comme l'ancienne méthode des [[table de nombres aléatoires|tables de nombres aléatoires]] : la société [[RAND Corporation]] propose ainsi en 1955 une table d'un million de valeurs pseudo-aléatoires<ref group="a">{{Lien web|langue=en|titre=A Million Random Digits with 100,000 Normal Deviates|url=http://www.rand.org/pubs/monograph_reports/MR1418/index2.html|site= Rand Corporation}}.</ref>. Le développement de l'[[informatique]] au {{s-|XX|e}} a permis la création de générateurs de valeurs aléatoires. Le but est de simuler une liste de valeurs iid le mieux possible<ref group="a" name="delahaye"/>. L'utilisation d'un [[algorithme déterministe]], c'est-à-dire qui n'utilise pas d'expérience aléatoire, permet de simuler une liste de valeurs possédant presque les mêmes propriétés que des valeurs aléatoires. On parle dans ce cas de valeurs [[pseudo-aléatoire]]s si elles sont<ref group="a" name="delahaye"/>{{,}}<ref name="Bogaert242">{{Harvsp|Bogaert|2005|p=242}}.</ref> : 
* Non prévisibles : c'est-à-dire que la suite de valeurs ne peut pas être compressée, au sens où il est impossible de la décrire en utilisant moins de place que celle qu’elle occupe ;
* Équiréparties sur plusieurs entiers prédéfinis : c'est-à-dire que les fréquences d'apparition de chaque entier sont identiques.

Il n'est cependant pas possible d'obtenir un hasard indépendant parfait<ref group="a" name="delahaye">{{Article | langue = fr | prénom1 = Jean-Paul | nom1 = Delahaye | titre=Aléa du hasard informatique | périodique = Pour la science  | numéro = 245 | année = 1998 | pages = 92-97 | url texte = http://www.clubfleury.fr/infos/archives/machine/alea.pdf}}.</ref>, c'est-à-dire équitablement réparties et ne dépendant pas les unes des autres. Deux problèmes se posent : obtenir des valeurs qui suivent la [[loi de probabilité]] recherchée et qui sont indépendantes entre elles. Il existe plusieurs méthodes pour simuler des valeurs iid, certaines sont plus rapides mais donnent des résultats moins probants, c'est-à-dire que l'équirépartition et l'imprévisibilité ne sont pas parfaites, on peut parler de hasard faible. D'autres méthodes utilisant des phénomènes physiques permettent d'obtenir de meilleurs résultats, on parle de hasard fort<ref group="a" name="delahaye"/>.

{{article détaillé|Méthode de la transformée inverse}}
La plupart des générateurs de nombres aléatoires utilisent la [[loi uniforme continue]] pour générer d'autres lois de probabilité. Par exemple, si on considère une variable <math>U</math> de loi uniforme, alors la variable <math>V</math> définie par : <math>V=1</math> si <math>U<p</math> et <math>V=0</math> si <math>U\geq p</math>, est une variable aléatoire de [[loi de Bernoulli]]. Une manière plus générale est construite sur le résultat suivant : 
:si <math>F</math> est la [[fonction de répartition]] de la loi de probabilité recherchée et <math>U</math> est une variable aléatoire de loi uniforme sur <math>[0,1]</math>, alors <math>F^{-1}(U)</math> est une variable aléatoire qui suit la loi de probabilité voulue<ref name="Bogaert244">{{Harvsp|Bogaert|2005|p=244}}.</ref>{{,}}<ref name="Le Boudec179"/>. Ici <math>F^{-1}(u)=\sup\{x \in \mathbb R ; F(x)\leq u\}</math> est la [[Méthode de la transformée inverse|transformée inverse]]<ref name="Le Boudec179">{{Harvsp|Le Boudec|2015|p=179}}.</ref>.

[[Fichier:Pseudoalea.png|thumb|Cent premières valeurs dans <math>[0,1]</math> du générateur de valeurs pseudo-aléatoires avec <math>a=2^7-1</math> , <math>m=2^{31}-1</math> et <math>X_0=606842583</math>.]]
{{article détaillé|Générateur de nombres pseudo-aléatoires|Générateur congruentiel linéaire}}
Il reste alors à simuler une suite de valeurs de [[loi uniforme continue]] sur <math>[0,1]</math> et indépendantes. Un des algorithmes classiques est basé sur les [[Congruence sur les entiers|congruences]] de [[Fonction linéaire (analyse)|fonctions linéaires]]. Il permet de construire une suite de valeurs obtenues par itération<ref name="Bogaert242"/> :
:<math>\begin{cases} X_{n+1}=aX_n \; \operatorname{mod}(m) \\ X_0 \text{ fixé }\end{cases}</math>
où :
:le module <math>m</math> réalise la congruence, c'est-à-dire que toutes les valeurs seront dans l'ensemble <math>\{0,1,2,\dots,m-1\}</math>, 
:le multiplicateur <math>a\in \{1,2,\dots,m-1\}</math> est la fonction linéaire,
:la valeur initiale <math>X_0</math> est appelée la [[Graine aléatoire|graine]] ou le germe.

Cet algorithme est [[chaotique]] dans le sens où un petit changement de la valeur initiale entraine des résultats différents<ref name="Le Boudec175">{{Harvsp|Le Boudec|2015|p=175}}.</ref>. Sous de bonnes conditions sur <math>a</math> et <math>m</math>, les valeurs de la suite sont considérées comme des réalisations de variables iid. Par exemple, <math>a=2^7-1</math> et <math>m=2^{31}-1</math> donnent de bons résultats ; la valeur de la graine peut être choisie aléatoirement en utilisant l'horloge interne de l'ordinateur par exemple. Les valeurs pseudo-aléatoires obtenues prennent les valeurs <math>0,1,2,\dots,m-1</math> de manière équiprobable, ainsi en divisant par la grande valeur <math>m</math>, on obtient des valeurs considérées uniformes sur <math>[0,1]</math><ref name="Bogaert242"/>.

== Applications et exemples ==
=== Exemple classique ===
Un exemple de tirage iid est celui d'un jeu de [[pile ou face]]. Chaque lancer de la même pièce suit la même [[loi de Bernoulli]] de paramètre <math>p</math> et est indépendant de ceux qui l'ont précédé ou vont lui succéder.

Dans cet exemple simple, le tirage pourrait ne plus être iid. On peut utiliser deux pièces différentes dont l'une n'est pas équilibrée comme l'autre. Par exemple une première pièce avec la probabilité <math>p_1</math> d'obtenir pile et l'autre avec probabilité <math>p_2\neq p_1</math>.
* si on utilise alternativement les deux pièces [[biais (statistique)|biaisées]], les résultats ne suivent pas la même loi de probabilité, ils restent néanmoins indépendants ;
* si on lance systématiquement la pièce ayant le plus de chance de donner ''face'' après chaque tirage pile, les tirages ne sont plus indépendants car conditionnés par le résultat du tirage précédent. Les valeurs ne suivent pas non plus la même loi.

=== Théorèmes limites ===
{{article détaillé|Loi des grands nombres|Théorème central limite}}
En [[théorie des probabilités]] et en [[statistique]], il existe des théorèmes limites : c'est-à-dire une convergence lorsque le nombre de variables tend vers l'infini. Parmi les théorèmes limites les plus régulièrement étudiés figurent la [[loi des grands nombres]] et le [[théorème central limite]]<ref name="Henry127" />. Ces deux théorèmes s'appliquent dans le cas d'une répétition de <math>n</math> fois la même expérience, c'est-à-dire dans le cas de <math>n</math> variables indépendantes et identiquement distribuées. Voici leurs énoncés :

* Loi des grands nombres<ref name="Severini342">{{Harvsp|Severini|2005|p=342}}.</ref> : si <math>X_1,X_2,\dots,X_n</math> sont des variables réelles indépendantes et identiquement distribuées d'espérance finie <math>\mu</math> et de variance finie <math>\sigma^2</math>, alors la variable <math>\textstyle \frac{1}{n}(X_1+X_2+\dots+X_n)</math> [[Convergence de variables aléatoires#Convergence en probabilité|converge en probabilité]] vers <math>\mu</math>.
* Théorème central limite<ref name="Severini365">{{Harvsp|Severini|2005|p=365}}.</ref> : si <math>X_1,X_2,\dots,X_n</math> sont des variables réelles indépendantes et identiquement distribuées d'espérance finie <math>\mu</math> et de variance finie <math>\sigma^2</math>, alors la variable <math>\textstyle \frac{1}{\sigma\sqrt{n}}(X_1+X_2+\dots+X_n - n\mu)</math> [[convergence en loi|convergent en loi]] vers une variable aléatoire de [[loi normale]] centrée réduite.

L'hypothèse iid de ces théorèmes est suffisante mais n'est pas nécessaire. Par exemple, la loi des grands nombres s'applique également lorsque la [[covariance]] des variables <math>(X_i)_{i\geq 1}</math> converge vers 0 lorsque la distance entre les indices grandit<ref name="Severini344">{{Harvsp|Severini|2005|p=344}}.</ref> : <math>\lim_{j\rightarrow +\infty} R(j)=0</math> avec <math>R(j-i)=\operatorname{Cov}(X_i,X_j)</math>.

Au {{s-|XX|e}}, [[Benoît Mandelbrot]] désigne différents types de hasard<ref name="Henry129">{{Harvsp|Henry|2001|p=129}}.</ref> : ceux dits {{citation|bénins}} qui vérifient les hypothèses des théorèmes limites précédents et ceux plus {{citation|sauvages}} ou {{citation|chaotiques}} qui ne vérifient pas l'hypothèse iid. Autrement dit, ces deux théorèmes permettent en un certain sens de classifier des types de hasard.

=== Processus et bruit blanc ===
{{article détaillé|Bruit blanc}}
Un [[processus stochastique]] représente l'évolution en fonction du temps d'une variable aléatoire. Il est alors prenant de s'intéresser aux accroissements des processus.

Pour un processus stochastique <math> (X_t)_{t\geq 0}</math>, si pour toutes variables <math>t_1<t_2<\dots <t_n</math>, les accroissements <math>X_{t_2}-X_{t_1}, X_{t_3}-X_{t_2},\dots ,X_{t_n}-X_{t_{n-1}}</math> sont indépendants, alors le processus est dit à [[Accroissement indépendant|accroissements indépendants]]<ref name="Bourbonnais85">{{Harvsp|Bourbonnais|Terraza|2010|p=85}}.</ref>. De plus, si la [[loi de probabilité]] des accroissements <math>X_{t}-X_{t+h}</math>, pour tout <math>h>0</math> ne dépend pas de <math>t</math>, alors le processus est dit [[Processus stationnaire|stationnaire]]<ref name="Bourbonnais85"/>.

Il existe de nombreux cas de processus stationnaires à accroissements indépendants : la [[marche aléatoire]] dans le cas où la variable de temps <math>t</math> est un [[Entier naturel|nombre entier]], le [[processus de Wiener]] ou [[mouvement brownien]] dans le cas où <math>X_t</math> suit une [[loi normale]] <math>\mathcal N(0,t)</math>, le [[processus de Poisson]] et plus généralement les [[processus de Markov]], le [[processus de Lévy]].

Un autre exemple de processus à accroissements indépendants et stationnaires est le [[bruit blanc]]. C'est un processus stochastique <math> (X_t)_{t\geq 0}</math> tel que<ref name="Bourbonnais85"/> : pour tous <math>t</math> et <math>h</math>,
* <math>\mathbb E(X_t)=m</math>, l'[[espérance mathématique|espérance]] est constante ;
* <math>\operatorname{Var}(X_t)=\sigma^2</math>, la [[Variance (statistiques et probabilités)|variance]] est constante ;
* <math>\operatorname{Cov}(X_t,X_{t+h})=0</math>, la [[covariance]] est nulle.
On dit que c'est un processus iid car il est formé de variables indépendantes et identiquement distribuées<ref name="Bourbonnais85"/>. Si de plus la loi de <math>X_t</math> est [[loi normale|normale]] alors le bruit blanc est parfois dit « gaussien » et est noté nid (normal et identiquement distribué).

=== Méthode de Monte-Carlo ===
{{article détaillé|Méthode de Monte-Carlo}}
Les [[Méthode de Monte-Carlo|méthodes de Monte-Carlo]] permettent d'estimer numériquement des résultats grâce à l'usage de valeurs aléatoires ; elles servent à éviter les calculs exacts<ref name="Brooks3">{{Harvsp|Brooks|Gelman|Jones|Meng|2011|p=3}}.</ref> (elles ont l'avantage de réduire le temps de calculs ou encore d'approximer un résultat dont le calcul exact est impossible à réaliser). Plus précisément, la méthode de Monte-Carlo ordinaire utilise des variables indépendantes et identiquement distribuées <math>X_1,X_2,\dots ,X_n</math>. Grâce au [[théorème central limite]], la variable aléatoire <math>\textstyle \hat\mu_n-\frac{1}{n}(X_1+X_2+\dots+X_n)</math> [[Convergence en loi|converge en loi]] vers une variable aléatoire de [[loi normale]]<ref name="Brooks7"/>. Grâce à la connaissance de la loi normale, on peut donc obtenir une [[valeur approchée]] de la valeur recherchée pour un grand nombre de variables aléatoires considérées. Ainsi la [[moyenne empirique]] <math>\hat\mu_n</math> est une valeur approchée de la vraie moyenne recherchée. Plus précisément<ref name="Brooks7">{{Harvsp|Brooks|Gelman|Jones|Meng|2011|p=7}}.</ref>, on peut obtenir un [[intervalle de confiance]] de la moyenne au seuil de confiance 95 % : 
:<math>[\hat\mu_n-1,96\frac{\hat\sigma_n}{\sqrt{n}} \,;\, \hat\mu_n+1,96\frac{\hat\sigma_n}{\sqrt{n}}]</math> où <math>\hat\sigma_n=\frac{1}{n}\sum_{i=1}^n(X_i-\hat\mu_n)^2</math>.

Cette méthode sert également à réaliser d'autres types de calculs, tel que le calcul d'intégrale, ou permet également de donner une méthode pour simuler différentes variables d'une loi prédéfinie, en utilisant par exemple l'[[algorithme de Metropolis-Hastings]] ou l'[[échantillonnage de Gibbs]]<ref name="Brooks3"/>.

La méthode de Monte-Carlo existe aussi dans le cas où les variables ne sont plus iid, on parle alors de [[méthode de Monte-Carlo par chaînes de Markov]]. La suite de variables aléatoires est alors une [[Chaîne de Markov|chaîne de Markov stationnaire]]. La perte de l'hypothèse iid complique les résultats<ref name="Brooks8">{{Harvsp|Brooks|Gelman|Jones|Meng|2011|p=8}}.</ref>.

== Notes et références ==
{{Références|taille=26}}

;Articles et autres sources
{{références|groupe="a"}}

== Voir aussi ==
=== Bibliographie ===
{{légende plume}}
* {{Ouvrage|langue=fr|prénom1=Patrick|nom1=Bogaert|titre=Probabilités pour scientifiques et ingénieurs|sous-titre=Introduction au calcul des probabilités|éditeur=De Boeck Supérieur|année=2005|pages totales=402|isbn=2-8041-4794-0|lire en ligne=//books.google.fr/books?id=vbO_UTOW-gUC&hl=fr&source=gbs_navlinks_s}}{{plume}}
* {{Ouvrage|langue=fr|prénom1=Régis|nom1=Bourbonnais|prénom2=Michel|nom2=Terraza|titre=Analyse des séries temporelles|éditeur=[[Éditions Dunod|Dunod]]|année=2010|pages totales=352|isbn=978-2-10-056111-7|lire en ligne=//books.google.fr/books?id=_r5w5Rswy1YC&dq=}}{{plume}}
* {{Ouvrage|langue=en|prénom1=Steve|nom1=Brooks|prénom2=Andrew|nom2=Gelman|prénom3=Galin|nom3=Jones|prénom4=Xiao-Li|nom4=Meng|titre=Handbook of Markov Chain Monte Carlo|éditeur=[[CRC Press]]|année=2011|pages totales=619|isbn=978-1-4200-7942-5|lire en ligne=//books.google.fr/books?id=qfRsAIKZ4rIC&dq=}}{{plume}}
* {{Ouvrage|langue=fr|prénom1=Michel|nom1=Henry|titre=Autour de la modélisation en probabilités|éditeur=Presses Univ. Franche-Comté|année=2001|pages totales=258|isbn=2-84627-018-X|lire en ligne=//books.google.fr/books?id=9ohSMOloHwsC&dq=}}{{plume}}
* {{Ouvrage|langue=en|prénom1=Jean-Yves|nom1=Le Boudec|titre=Performance Evaluation of Computer and Communication Systems|éditeur=EPFL|année=2015|pages totales=359|isbn=|lire en ligne=http://infoscience.epfl.ch/record/146812/files/perfLastEdition_1.pdf?version=5|format électronique=pdf}}
* {{Ouvrage|langue=fr|prénom1=Michel|nom1=Lejeune|titre=Statistique|sous-titre=la théorie et ses applications|lieu=Paris/Berlin/Heidelberg etc.|éditeur=Springer Science & Business Media|année=2004|pages totales=339|isbn=2-287-21241-8|lire en ligne=//books.google.fr/books?id=_rIMhfzfSJcC&dq=}}{{plume}}
* {{Ouvrage|langue=fr|prénom1=Stephan|nom1=Morgenthaler|titre=Introduction à la statistique|éditeur=Presse polytechniques|année=2007|pages totales=387|isbn=978-1-4710-3427-5|lire en ligne=//books.google.fr/books?id=AcgibGBknDkC&hl=fr&source=gbs_navlinks_s}}{{plume}}
* {{Ouvrage|langue=en|prénom1=Thomas A.|nom1=Severini|titre=Elements of Distribution Theory|éditeur=[[Cambridge University Press]]|année=2005|pages totales=515|isbn=978-0-521-84472-7|lire en ligne=//books.google.fr/books?id=QsVl8FDmld8C&dq=}}{{plume}}

=== Articles connexes ===
* [[Loi de probabilité]]
* [[Indépendance (probabilités)]]
* [[Variable indépendante]]

{{Palette|Probabilités et statistiques}}
{{Portail|probabilités et statistiques}}
{{Bon article|vote=BA|oldid=122934129|date=1 février 2016}}

[[Catégorie:Statistiques]]
[[Catégorie:Corrélation et indépendance]]
[[Catégorie:Variable aléatoire|Independantes]]