Voir la source de Loi forte des grands nombres

Une '''loi forte des grands nombres''' est une loi mathématique selon laquelle la moyenne des ''n'' premiers termes d'une suite de [[variable aléatoire|variables aléatoires]] converge [[Convergence de variables aléatoires#Convergence presque sûre|presque sûrement]] vers une constante (non aléatoire), lorsque ''n'' tend vers l'infini. Lorsque ces variables ont même espérance, par exemple lorsqu'elles ont toutes la même loi, cette limite constante est l'[[Espérance mathématique|espérance]] commune à toutes les variables aléatoires de cette suite. La loi forte est vérifiée sous diverses conditions de dépendance et d'intégrabilité portant sur les variables aléatoires de la suite.

Les exemples les plus célèbres concernent la proportion de résultats pile ou face lors des ''n'' premiers lancers d'une série potentiellement infinie de lancers (cette proportion converge presque sûrement vers 0,5), ou la proportion de chiffres 0, 1, 2, ..., 8 ou 9 dans le [[développement décimal]] d'un [[nombre réel]] tiré au hasard. La première version de la loi forte des grands nombres est due à [[Émile Borel]], qui démontre ainsi, en 1909<ref>{{Article
|langue=fr
|prénom1=Émile
|nom1=Borel
|lien auteur1=
|titre=Les probabilités dénombrables et leurs applications arithmétiques
|périodique=Rendiconti del Circolo Matematico di Palermo
|éditeur=[[Circolo Matematico di Palermo]]
|mois=décembre
|année=1909
|volume=27
|numéro=1
|pages=247-271
|issn=0009-725X
|issn2=1973-4409
|doi=10.1007/BF03019651
|url texte=http://www.springerlink.com/content/d82573l5k1n11722/
}}.</ref>, le théorème des [[Nombre normal|nombres normaux]].

== Énoncé général ==
Le principe de la loi forte des grands nombres est que sous certaines conditions (sur la dépendance, sur l'homogénéité et sur les moments) la moyenne d'une suite de [[variable aléatoire|variables aléatoires]] <math>\{X_n\}</math> converge [[Convergence de variables aléatoires#Convergence presque sûre|presque sûrement]] vers la même limite (constante) que l'[[Espérance mathématique|espérance]] de la moyenne. En particulier, l'adjectif « fort » fait référence à la nature de la convergence établie par ce théorème : il est réservée à un résultat de [[Convergence de variables aléatoires#Convergence presque sûre|''convergence presque sûre'']]. Par opposition, la [[Loi des grands nombres#Loi faible des grands nombres|loi ''faible'' des grands nombres]], établie par Bernoulli, est un résultat de [[Convergence de variables aléatoires#Convergence en probabilité|''convergence en probabilité'']], seulement. Soit :
{{Théorème|Principe général| <math>\qquad(\overline X_n -\overline\mu_n) \xrightarrow{p.s.}\ 0\qquad \qquad \text{ avec }  \overline X_n\equiv \frac{1}{n}\sum_{i=1}^n X_i\text{ et } \overline \mu_n\equiv \operatorname{E}\left[\overline X_n\right]</math>}}

Il existe différents théorèmes selon le type d'hypothèses faites sur la suite <math>\{X_n\}</math><ref>Classification et notation reprise de White (1984).</ref> :
* observations indépendantes et identiquement distribuées,
* observations indépendantes et non identiquement distribuées,
* observations dépendantes et identiquement distribuées.

=== Observations indépendantes et identiquement distribuées ===
{{Théorème|Loi forte des grands nombres ([[Andreï Kolmogorov|Kolmogorov]], 1929)|Si <math>{(X_n)}_{n>0}</math> est une suite de variables aléatoires indépendantes identiquement distribuées, on a équivalence entre :

::'''(i)''' <math>\ \mathbb{E}\left(\left| X_1 \right|\right)<+\infty,</math>

::'''(ii)''' la suite <math>\textstyle\frac{X_1 + \cdots + X_n}{n}</math> converge presque sûrement.

:De plus, si l'une de ces deux conditions équivalentes est remplie, alors la suite  <math>\textstyle \frac{X_1 + \cdots + X_n}{n}</math>  converge presque sûrement vers la constante  <math>\mathbb{E}(X_1).</math>}}

C'est la première loi forte à avoir été démontrée avec des hypothèses optimales. Pour la démontrer, il fallait définir rigoureusement le concept de convergence presque sûre, ce qui a amené [[Andreï Kolmogorov|Kolmogorov]] à considérer les probabilités comme une branche de la [[théorie de la mesure]], un saut conceptuel dont Kolmogorov prouvait ainsi l'efficacité. La théorie moderne des probabilités s'est construite à partir du travail fondateur de Kolmogorov sur la loi forte des grands nombres. La loi forte des grands nombres est aussi un ingrédient important dans la démonstration d'autres lois fortes des grands nombres, comme le [[théorème de Glivenko-Cantelli]], la LFGN pour les processus de renouvellement, ou la LFGN pour les [[Chaîne de Markov|chaînes de Markov]]. C'est bien du théorème dû à Kolmogorov que l'on parle lorsqu'on dit « '''la''' loi forte des grands nombres », les autres théorèmes n'étant que '''des''' lois fortes des grands nombres. Ce théorème est aussi intéressant parce qu'il aboutit à une conclusion plus forte : il établit l'équivalence entre l'intégrabilité de la suite et sa convergence, alors que les autres théorèmes fournissent seulement des implications, sans leurs réciproques. Dans le cas où les termes de la somme sont des [[Variable de Bernoulli|variables de Bernoulli]], la loi forte des grands nombres a été établie par [[Émile Borel]] en 1909. D'autres versions de la loi forte des grands nombres ont succédé à la version due à Borel, jusqu'à la version définitive de Kolmogorov.

=== Observations indépendantes et non-identiquement distribuées ===

{{Théorème|Théorème de Markov|Soit <math>\{X_n\}</math> une suite de variables aléatoires indépendantes d'espérance finie <math> \mathbb{E}(X_n)\equiv\mu_n</math>. S'il existe <math> \delta \in ]0,1] </math> tel que
:<math>\sum_{n=1}^{\infty} \frac{\mathbb{E}\left(|X_n -\mu_n|^{1+\delta}\right)}{n^{1+\delta}} <\infty </math>
alors
:<math>\overline X_n -\overline\mu_n \xrightarrow{p.s.} 0 .</math> }}
Pour pouvoir relâcher l'hypothèse d'équidistribution, on est amené à faire une hypothèse plus forte sur l'intégrabilité.

=== Observations dépendantes et identiquement distribuées ===

{{Théorème|Théorème ergodique|Soit <math>\{X_t\}</math> une suite de variables aléatoires [[Stationnarité d'une série temporelle|stationnaire]] [[Processus ergodique|ergodique]] avec <math>\mathbb{E}(|X_t|)<\infty</math> et d'espérance identique finie <math> \mathbb{E}(X_t)\equiv\mu</math>. Alors
:<math>\overline X_t \xrightarrow{p.s.} \mu.</math>}}

== Loi forte des grands nombres de Kolmogorov ==
La [[moyenne empirique]] d’une suite de [[variable aléatoire|variables aléatoires]] indépendantes, identiquement distribuées, et '''intégrables''', converge [[presque sûrement]] vers leur [[moyenne mathématique]] (ou [[variable aléatoire réelle#Espérance mathématique|espérance]]).

=== Autres formulations ===

On note souvent :
<center><math>S_{n}=X_{1}+X_{2}+\cdots+X_{n}.</math></center>
Ainsi l'énoncé devient
{{Théorème|Pour une suite <math>{(X_n)}_{n>0}</math> de variables aléatoires indépendantes et identiquement distribuées, le fait que <math>\textstyle \frac{S_{n}(\omega)}{n}</math> soit une suite convergente presque-sûrement est équivalent au fait que <math>\mathbb{E}\left[\left|X_{1}\right|\right]<+\infty</math>.
De plus, si l'une de ces deux conditions équivalentes est remplie, on a :
<center><math>\mathbb{P}\left(\omega\in\Omega\ \left|\ \lim_{n}\tfrac{S_{n}(\omega)}n=\mathbb{E}\left[X_{1}\right]\right.\right)=1.</math></center>}}

==== Énoncé usuel de la loi forte ====

L'énoncé ci-dessous est la forme habituelle de la loi forte des grands nombres, et est une conséquence directe (une forme affaiblie) du théorème donné plus haut :
{{Théorème|Soit une suite <math>(X_{n})_{n\ge 1}</math> de variables aléatoires indépendantes et de même loi, intégrables. Alors
<center><math>\mathbb{P}\left(\omega\in\Omega\ \left|\ \lim_{n}\tfrac{S_{n}(\omega)}n=\mathbb{E}\left[X_{1}\right]\right.\right)=1.
</math></center>}}

==== Remarques ====
* En statistiques, <math>\textstyle \frac{X_1 + \cdots + X_n}{n}</math> ou bien <math>\textstyle \frac{S_n}{n}</math> est appelée '''[[moyenne empirique]]''' des <math>X_i</math>, et est souvent notée <math>\overline{X}_n</math>.
* On peut formuler l'hypothèse <math>\left\{\forall n\ge1,\ X_{n}\text{ est integrable}\right\}</math> sous différentes formes :
** <math>\left\{\forall n\ge1,\ \mathbb{E}\left[\left|X_{n}\right|\right]<+\infty\right\}</math>,
** <math>\left\{\forall n\ge1,\ X_{n}\in\mathcal L^1(\Omega,\mathcal A,\mathbb P)\right\}</math>,
* ou bien encore, puisque les <math>X_{i}</math> ont toutes même loi,
** <math>\left\{X_{1}\text{ est integrable}\right\}</math>,
** <math>\left\{\mathbb{E}\left[\left|X_{1}\right|\right]<+\infty\right\}</math>,
** <math>\left\{X_{1}\in\mathcal L^1(\Omega,\mathcal A,\mathbb P)\right\}</math>.

== Démonstration de la loi forte de Kolmogorov ==
=== {{1ère}} étape de la démonstration : troncature ===
<!--\label{section:tronc}-->
On suppose tout d'abord que les variables <math>X_{n}</math> sont '''centrées'''. On n'abandonnera cette hypothèse qu'à la toute dernière étape de la démonstration. On pose
<center><math>
X^{\prime}_{n}
=
X_{n}\,1_{\left|X_{n}\right|\le n},
</math></center>
et
<center><math>
S^{\prime}_{n}
=
X^{\prime}_{1}+X^{\prime}_{2}+\cdots+X^{\prime}_{n}.
</math></center>
Dans cette section on démontre que
<!--\begin{prop}-->
<!--\label{tronc}-->

{{Théorème|Proposition 1.|Soit une suite <math>\left(X_{n}\right)_{n\ge 1}</math> de variables aléatoires indépendantes et de même loi, intégrables. Alors (la loi forte des grands nombres)
<center><math>
\mathbb{P}\left(\omega\in\Omega\ \left|\ \lim_{n}\tfrac{S_{n}(\omega)}n=0\right.\right)
=
1.
</math></center>
:est équivalente à
<!--\label{lfgnprime}-->
<center><math>
\mathbb{P}\left(\omega\in\Omega\ \left|\ \lim_{n}\tfrac{S^{\prime}_{n}(\omega)}n=0\right.\right)
=
1.
</math></center>
}}

{{Démonstration| Posons
<center><math>A_{n}=\left\{\omega\in \Omega\,\left|\,X_{n}(\omega)\neq X^{\prime}_{n}(\omega)\right.\right\}</math></center>
Alors
<center><math>\begin{align}
\sum_{n\ge1}\,\mathbb{P}\left(A_{n}\right)
&=
\sum_{n\ge1}\,\mathbb{P}\left(X_{n}\neq X^{\prime}_{n}\right)
\\
&=
\sum_{n\ge1}\,\mathbb{P}\left(\left|X_{n}\right|>n\right)
\\
&=
\sum_{n\ge1}\,\mathbb{P}\left(\left|X_{1}\right|>n\right)
\\
&=
\sum_{n\ge1}\,\mathbb{E}\left[1_{\left|X_{1}\right|>n}\right]
\\
&=
\mathbb{E}\left[\sum_{n\ge1}\,1_{\left|X_{1}\right|>n}\right],
\end{align}</math></center>
<!--\label{toutplus1}-->
<!--\label{memeloi1}-->
la {{3e|égalité}} car <math>X_{1}</math> et <math>X_{n}</math> ont même loi, la dernière égalité en vertu du [[Théorème de convergence monotone]] pour les séries à termes positifs. Notons que la fonction <math>\phi</math> définie pour <math>x\ge 0</math> par
<center><math>
\phi(x)
=
\sum_{n\ge1}\,1_{x>n}
</math></center>
satisfait, pour <math>x\ge 0</math>,
<center><math>
\phi(x)
=
\lceil x\rceil-1\le x.
</math></center>
Ainsi
<center><math>\begin{align}
\sum_{n\ge1}\,\mathbb{P}\left(A_{n}\right)
&=
\mathbb{E}\left[\sum_{n\ge1}\,1_{\left|X_{1}\right|>n}\right]
\\
&=
\mathbb{E}\left[\phi\left(\left|X_{1}\right|\right)\right]
\\
&\le
\mathbb{E}\left[\left|X_{1}\right|\right]<+\infty.
\end{align}</math></center>
En vertu du [[lemme de Borel-Cantelli]], il suit que
<center><math>
1
=
\mathbb{P}\left(\left(\limsup A_{n}\right)^c\right).
</math></center>
On note
<center><math>\begin{align}
\hat{\Omega}
&=
\left(\limsup A_{n}\right)^c
\\
&=
\left\{\omega\in\Omega\,|\,\left\{n\ge 1\,|\,X_{n}(\omega)\neq X^{\prime}_{n}(\omega)\right\}\text{ est un ensemble fini}\right\},
\\
\tilde{\Omega}
&=
\left\{\omega\in\Omega\,|\,\lim_{n}\ n^{-1}\,\left(S_{n}(\omega)- S^{\prime}_{n}(\omega)\right)\ = 0\right\}
\\
\Omega_{1}
&=
\left\{\omega\in\Omega\,|\,\lim_{n}\ n^{-1}\,S_{n}(\omega)\ = 0\right\}
\\
\Omega_{2}
&=
\left\{\omega\in\Omega\,|\,\lim_{n}\ n^{-1}\,S^{\prime}_{n}(\omega)\ = 0\right\}
\end{align}</math></center>
et on remarque que si <math>\omega\in\hat{\Omega}</math>, la série
<center><math>\sum_{k\ge 1}\left(X_{k}(\omega)- X^{\prime}_{k}(\omega)\right)</math></center>
est une série convergente, puisque, en dehors d'un nombre fini d'entre eux, tous ses termes sont nuls.
Ainsi la suite des sommes partielles,
<center><math>
\sum_{k=1}^n\left(X_{k}(\omega)- X^{\prime}_{k}(\omega)\right)
=
S_{n}(\omega)- S^{\prime}_{n}(\omega),
</math></center>
est une suite convergente, donc bornée, ce qui entraîne que
<center><math>\lim_{n}\ \frac{S_{n}(\omega)- S^{\prime}_{n}(\omega)}n\ = 0.</math></center>
Autrement dit, en vertu du lemme de Borel-Cantelli, dont les hypothèses ont été vérifiées lors de la première partie de cette démonstration,
<center><math>\ \mathbb{P}\left(\hat{\Omega}\right)=1.</math></center>
De plus, les quelques lignes qui précèdent montrent que
<center><math>\  \hat{\Omega}\subset\tilde{\Omega},</math></center>
et il suit donc que
<center><math>\ \mathbb{P}\left(\tilde{\Omega}\right)=1.</math></center>
Par ailleurs, il est clair que
<center><math> \tilde{\Omega}\cap\Omega_{1}\subset\Omega_{2}\text{ et  }\tilde{\Omega}\cap\Omega_{2}\subset\Omega_{1}\ .</math></center>
On a donc bien
<center><math>\left\{\mathbb{P}\left(\Omega_{1}\right)=1\right\}\Leftrightarrow\left\{\mathbb{P}\left(\Omega_{2}\right)=1\right\},</math></center>
puisque, par exemple,
<center><math>\left\{\mathbb{P}\left(\tilde{\Omega}\right)=1\ \textrm{et}\ \mathbb{P}\left(\Omega_{1}\right)=1\right\}\Rightarrow\left\{\mathbb{P}\left(\tilde{\Omega}\cap\Omega_{1}\right)=1\right\}.</math></center>}}

Dans les sections suivantes on va donc démontrer que
<center><math>
\mathbb{P}\left(\omega\in\Omega\ \left|\ \lim_{n}\tfrac{S^{\prime}_{n}(\omega)}n=0\right.\right)
=
1.
</math></center>
L'idée est que plus les variables concernées sont intégrables, i.e. plus la queue de distribution <math>\mathbb{P}\left(\left|X_1-\mathbb{E}(X_1)\right|\ge x\right)</math> décroît rapidement, plus il est facile de démontrer la loi forte des grands nombres à l'aide du [[lemme de Borel-Cantelli]]. Ainsi il est facile de démontrer une forme affaiblie de la loi forte des grands nombres, par exemple sous l'hypothèse que les variables <math>X_n</math> sont indépendantes, identiquement distribuées et bornées, auquel cas <math>\mathbb{P}\left(\left|X_1-\mathbb{E}(X_1)\right|\ge x\right)</math> est nulle pour <math>x</math> assez grand, ou bien sous l'hypothèse, moins brutale, que les variables <math>X_n</math> sont indépendantes et identiquement distribuées et possèdent un moment d'ordre 4, auquel cas
:<math>\mathbb{P}\left(\left|X_1-\mathbb{E}(X_1)\right|\ge x\right)=\mathcal{O}\left(x^{-4}\right)</math>.
Ici, en tronquant les <math>X_n</math>, Kolmogorov s'est ramené à des variables <math>X^{\prime}_n</math> bornées et indépendantes, ''mais qui n'ont pas même loi.''

=== {{2ème}} étape de la démonstration : recentrage ===

Les <math>X_{k}</math> ont beau être centrées, cela n'entraîne pas que les <math>X^{\prime}_{k}</math> soient centrées, sauf si on suppose, par exemple, que les <math>X_{k}</math> sont symétriques, c'est-à-dire sauf si <math>X_{k}</math> a même loi que <math>-X_{k}</math>. Par exemple, si <math>f_{X_{1}}(x)=e^{-x-1}1_{[-1,+\infty[}(x)</math>, alors, dès que <math>n\ge 1,</math> <math>X^{\prime}_{k}</math> n'est pas centrée. Il est commode, pour la suite, de centrer les <math>X^{\prime}_{k}</math> : on pose
<center><math>Z_{k}= X^{\prime}_{k}-\mathbb{E}\left[X^{\prime}_{k}\right],</math></center>
et
<center><math>C_{n}=Z_{1}+Z_{2}+\cdots+Z_{n}.</math></center>
Alors
{{Théorème|Proposition 2.|Soit une suite <math>\left(X_{n}\right)_{n\ge 1}</math> de variables aléatoires indépendantes et de même loi, intégrables. Alors
<center><math>\mathbb{P}\left(\omega\in\Omega\ \left|\ \lim_{n}\tfrac{S^{\prime}_{n}(\omega)}n=0\right.\right)
=
1
</math></center>
:est équivalent à
<!--\label{lfgnprime}-->
<center><math>\mathbb{P}\left(\omega\in\Omega\ \left|\ \lim_{n}\tfrac{C_{n}(\omega)}n=0\right.\right)
=
1.
</math></center>
}}

{{Démonstration| Un calcul simple donne que
<center><math>\begin{align}
\frac{S^{\prime}_{n}(\omega)}n-\frac{C_{n}(\omega)}n
&=
\frac{\mathbb{E}\left[X^{\prime}_{1}\right]+\mathbb{E}\left[X^{\prime}_{2}\right]+\dots+\mathbb{E}\left[X^{\prime}_{n}\right]}n,
\end{align}
</math></center>
la différence ne dépendant pas de <math>\omega</math> (n'étant pas aléatoire). Par ailleurs
<center><math>\lim_{n}\mathbb{E}\left[X^{\prime}_{n}\right]=\lim_{n}\mathbb{E}\left[X_{n}1_{\left|X_{n}\right|\le n}\right]=\lim_{n}\mathbb{E}\left[X_{1}1_{\left|X_{1}\right|\le n}\right]=0.</math></center>
En effet <math>X_{1}</math> et <math>X_{n}</math> ont même loi, et, d'autre part, pour tout <math>\omega\in\Omega</math>,
<center><math>\begin{align}
\lim_{n}X_{1}(\omega)1_{\left|X_{1}(\omega)\right|\le n}
&=
X_{1}(\omega),
\\
\left|X_{1}(\omega)1_{\left|X_{1}(\omega)\right|\le n}\right|
&\le
\left|X_{1}(\omega)\right|.
\end{align}
</math></center>
On peut donc appliquer le [[Théorème de convergence dominée|Théorème de convergence dominée de Lebesgue]], et obtenir
<center><math>\lim_{n}\mathbb{E}\left[X^{\prime}_{n}\right]=\lim_{n}\mathbb{E}\left[X_{1}1_{\left|X_{1}\right|\le n}\right]=\mathbb{E}\left[\lim_{n}\,X_{1}1_{\left|X_{1}\right|\le n}\right]=\mathbb{E}\left[X_{1}\right]=0.</math></center>
Finalement, on sait, en vertu du [[Lemme de Cesàro#Lemme de Cesàro|lemme de Cesàro]], que la convergence d'une suite (<math>u_{n}\rightarrow\ell</math>) entraîne sa convergence ''en moyenne de Cesàro'' (<math>\frac{u_{1}+u_{2}+\dots+u_{n}}n\rightarrow\ell</math>), donc, pour tout <math>\omega\in\Omega</math>,
<center><math>\begin{align}
\lim_{n}\frac{S^{\prime}_{n}(\omega)}n-\frac{C_{n}(\omega)}n
&=
0.
\end{align}
</math></center>
La Proposition 2 est donc démontrée.
}}

=== {{3e}} étape : [[Inégalité de Kolmogorov]] ===
C'est l'étape où Kolmogorov utilise l'hypothèse d'''[[Indépendance (probabilités)|indépendance]]'' (et, sans le dire, la notion de [[temps d'arrêt]]). Par contre, l'Inégalité de Kolmogorov ''ne requiert pas'' des variables de même loi.
{{Théorème|Inégalité de Kolmogorov.|Soit une suite <math>\left(Y_{n}\right)_{n\ge 1}</math> de v.a.r. indépendantes et centrées. Posons''
<center><math>W_{n}=Y_{1}+Y_{2}+\cdots+Y_{n}.</math></center>
''Alors, pour tout <math>x>0</math>,
<center><math>\mathbb{P}\left(\sup\left\{\left|W_{n}\right|\,|\,n\ge 1\right\}>x\right)\le \frac{\sum_{n\ge 1}\text{Var}\left(Y_{n}\right)}{x^2}.</math></center>
}}

{{Démonstration|
Si <math>\textstyle \sum_{n\ge 1}\text{Var}\left(Y_{n}\right)=+\infty</math>, l'inégalité est vérifiée. Dans la suite, on suppose que
<center><math>\sum_{n\ge 1}\text{Var}\left(Y_{n}\right)<+\infty.</math></center>
On pose
<center><math>\sigma=\left\{\begin{array}{lll}
+\infty&\ \ &\text{si }\left\{k\ge 1\ |\ \left|W_{k}\right|>x\right\}=\emptyset,
\\
&&
\\
\inf\left\{k\ge 1\ |\ \left|W_{k}\right|>x\right\}&\ \ &\text{sinon.}
\end{array}\right.</math></center>
On remarque alors que, pour <math>k\le n</math>,
<center><math>
W_{k}1_{\sigma=k}\ \bot\ W_{n}-W_{k}.
</math></center>
En effet <math>W_{n}-W_{k}=Y_{k+1}+Y_{k+2}+\dots+Y_{n}</math>, alors que
<center><math>\begin{align}
\left\{\sigma=k\right\}
&=
\left\{\left|W_{1}\right|\le x, \left|W_{2}\right|\le x,\dots,\left|W_{k-1}\right|\le x\text{ et }\left|W_{k}\right|> x\right\}
\\
&=
 \left\{\left|Y_{1}\right|\le x,\ \left|Y_{1}+Y_{2}\right|\le x,\ \dots,\ \left|Y_{1}+\dots+Y_{k-1}\right|\le x\text{ et }\left|Y_{1}+\dots+Y_{k}\right|> x \right\}.
\end{align}
</math></center>
Ainsi pour deux boréliens quelconques <math>A</math> et <math>B</math>, les deux évènements
<center><math>\left\{W_{k}1_{\sigma=k}\in A\right\}\text{ et }\left\{W_{n}-W_{k}\in B\right\}</math></center>
appartiennent aux tribus <math>\sigma\left(Y_{1},Y_{2},\dots,Y_{k}\right)</math> et <math>\sigma\left(Y_{k+1},Y_{k+2},\dots,Y_{n}\right)</math>, respectivement. Ils sont donc indépendants en vertu du [[lemme de regroupement]], ce qui implique bien <math>
W_{k}1_{\sigma=k}\ \bot\ W_{n}-W_{k}
</math>. On a
<center><math>\begin{align}
\sum_{k=1}^n\,\text{Var}\left(Y_{k}\right)
&=
\text{Var}\left(W_{n}\right)\ =\ \mathbb{E}\left[W_{n}^2\right]
\\
&\ge
\mathbb{E}\left[W_{n}^21_{\sigma<+\infty}\right]
\\
&=
\sum_{k\ge1}\ \mathbb{E}\left[W_{n}^2\ 1_{\sigma=k}\right]
\\
&\ge
\sum_{k=1}^n\ \mathbb{E}\left[W_{n}^21_{\sigma=k}\right]
\\
&=
\sum_{k=1}^n\ \mathbb{E}\left[\left(W_{n}-W_{k}+W_{k}\right)^21_{\sigma=k}\right]
\\
&\ge
\sum_{k=1}^n\ \mathbb{E}\left[W_{k}^21_{\sigma=k}\right]+2\mathbb{E}\left[W_{n}-W_{k}\right]\mathbb{E}\left[W_{k}1_{\sigma=k}\right]
\\
&=
\sum_{k=1}^n\ \mathbb{E}\left[W_{k}^21_{\sigma=k}\right]
\\
&\ge
\sum_{k=1}^n\ \mathbb{E}\left[x^21_{\sigma=k}\right]
\\
&=
x^2\mathbb{P}\left(\sigma\le n\right),
\end{align}
</math></center>
où la troisième ''inégalité'' s'obtient en développant le carré en deux termes carrés (dont l'un est supprimé pour minorer l'expression précédente) et un double produit (de deux variables indépendantes, en vertu de <math>
W_{k}1_{\sigma=k}\ \bot\ W_{n}-W_{k}
</math>). L'égalité suivante tient à ce que <math>W_{n}-W_{k}</math> est centrée (comme somme de v.a. centrées), et la dernière ''inégalité'' découle de la définition du [[temps d'arrêt]] <math>\sigma</math> : par définition, au temps <math>\sigma</math>, on a
<math>W_{\sigma}>x</math>. En faisant tendre <math>n</math> vers l'infini on obtient
<center><math>\begin{align}
\sum_{k\ge 1}\,\text{Var}\left(Y_{k}\right)
&\ge
x^2\ \mathbb{P}\left(\sigma< +\infty\right),
\\
&=
x^2\ \mathbb{P}\left(\left\{k\ge 1\ |\ \left|W_{k}\right|>x\right\}\neq\emptyset\right),
\\
&=
x^2\ \mathbb{P}\left(\sup\left\{\left|W_{n}\right|\,|\,n\ge 1\right\}>x\right),
\end{align}
</math></center>
C.Q.F.D.
}}

=== {{ancre|demo_originelle_cv_va}}{{4ème}} étape : Convergence de séries de variables aléatoires ===

L'[[#3ème étape : Inégalité de Kolmogorov|inégalité de Kolmogorov]] est, avec le [[lemme de Borel-Cantelli]], l'ingrédient essentiel de la preuve de la proposition suivante :
{{Théorème|Proposition 3.|Soit une suite  <math>\left(U_{n}\right)_{n\ge 1}</math> de variables aléatoires indépendantes et centrées. Si
<center><math>\sum_{n\ge 1}\text{Var}\left(U_{n}\right)<+\infty,</math></center>
alors la suite <math>T_{n}=U_{1}+U_{2}+\cdots+U_{n}</math> est [[presque sûrement]] convergente, ou bien, de manière équivalente, la série <math>\textstyle \sum_{n\ge 1}\ U_{n}</math> est [[presque sûrement]] convergente.
}}

{{Démonstration|
On pose
<center><math>r_{M}=\sum_{k> M}\text{Var}\left(U_{k}\right).</math></center>
En vertu de la convergence de la série de terme général <math>\text{Var}\left(U_{k}\right)</math>, la suite <math>(r_{M})_{M\ge 1}</math> converge vers 0.
On applique l'inégalité de Kolmogorov à la suite
<center><math>
Y_{n}=U_{M+n}.
</math></center>
Avec les notations de l'inégalité de Kolmogorov, on a
<center><math>\begin{align}
W_{n}
&=
T_{M+n}-T_{M},
\\
\sum_{k\ge 1}\text{Var}\left(Y_{k}\right)
&=
r_{M}.
\end{align}
</math></center>
Donc l'inégalité de Kolmogorov nous donne, pour tout <math>x>0</math> et <math>M\ge 1</math>,
<center><math>\mathbb{P}\left(\sup_{n\ge 1}\left|T_{M+n}-T_{M}\right|>x\right)\le\frac{r_{M}}{x^2}.</math></center>
Notons que la suite de variables aléatoires <math>(V_{M})_{M\ge 0}</math>, définie par
<center><math>
\begin{align}
V_{M}
&=
\sup_{n,m\ge 1}\left|T_{M+n}-T_{M+m}\right|
\\
&=
\sup_{k,\ell> M}\left|T_{k}-T_{\ell}\right|,
\end{align}
</math></center>
est décroissante, puisque la suite d'ensembles <math>(C_{M})_{M\ge 0}</math>, définie par
<center><math>
C_M=\{\left|T_{k}-T_{\ell}\right|\ |\ k,\ell> M\},
</math></center>
est décroissante. De plus <math>V_{M}</math> satisfait à
<center><math>
\begin{align}
V_{M}
&\le
\sup_{n,m\ge 1}\left(\left|T_{M+n}-T_{M}\right|+\left|T_{M}-T_{M+m}\right|\right)
\\
&=
2\sup_{n\ge 1}\left|T_{M+n}-T_{M}\right|.
\end{align}
</math></center>
On en déduit que, pour tout <math> k,M\ge 1</math>,
<center><math>
\begin{align}
\mathbb{P}\left(V_{M}>\tfrac1k\right)
&\le
\mathbb{P}\left(\sup_{n\ge 1}\left|T_{M+n}-T_{M}\right|>\tfrac1{2k}\right)
\\
&\le
4k^2r_{M}.
\end{align}
</math></center>
La suite <math> (r_{M})_{M\ge 1}</math> convergeant vers 0, il suit que, pour tout <math> k\ge 1</math>, on peut choisir <math> M(k)>M(k-1)</math> tel que
<center><math>
\mathbb{P}\left(V_{M(k)}>\tfrac1k\right)
\le
2^{-k}.
</math></center>
Ainsi
<center><math>\sum_{k}\mathbb{P}\left(V_{M(k)}>\tfrac1k\right)<+\infty,</math></center>
et le [[lemme de Borel-Cantelli]] entraîne que, presque sûrement, à partir d'un certain rang, <math> V_{M(k)}</math> est majorée par <math> \tfrac1k,</math> et donc que <math> V_{M(k)}</math> converge presque sûrement vers 0. Par ailleurs, on a vu plus haut que pour tout <math> \omega</math>, <math> V_{M}(\omega)</math> est une suite décroissante en <math> M.</math> Une suite décroissante possédant une sous-suite convergente est elle-même convergente, donc <math> V_{M}</math> converge presque sûrement vers 0. Or
<center><math>
\begin{align}
\left\{\lim_{M}V_{M}(\omega)=0\right\}\ 
&\stackrel{{\scriptstyle\text{def.}}}{\Leftrightarrow}\ 
\left\{T_{n}(\omega)\text{ est une suite de Cauchy}\right\}
\\
&\Leftrightarrow\ 
\left\{T_{n}(\omega)\text{ est une suite convergente}\right\}
\\
&\Leftrightarrow\ 
\left\{\sum_{n}U_{n}(\omega)\ \mathrm{est~une~s\acute erie~convergente}\right\}
\end{align}
</math></center>
C.Q.F.D.
}}

=== {{5e}} étape : [[Lemme de Kronecker]] ===

{{Théorème|Lemme de Kronecker.|Soit une suite <math> \left(a_{n}\right)_{n\ge 1}</math> de nombres strictement positifs, décroissante vers 0. Si <math> \textstyle \sum_{n}a_{n}u_{n}</math> est une série convergente, alors
<center><math>\lim_{n}a_{n}\left(u_{1}+u_{2}+\cdots+u_{n}\right)=0.</math></center>
}}

{{Démonstration|
La démonstration ci-dessous vaut seulement pour <math> a_{n}=n^{-\beta}</math>, <math> \beta>0</math>, mais la démonstration de la loi forte utilise le lemme de Kronecker pour <math> a_{n}=n^{-1}</math>, <math> \beta=1</math>. On peut trouver une démonstration générale du Lemme de Kronecker [[Lemme de Kronecker|ici]].
Posons
<center><math>b_{n}=a_{n}u_{n}=n^{-\beta}u_{n}\ \text{ et }\ b=\sum_{n\ge 1}b_{n}.</math></center>
Alors
<!--\label{secondterme}-->
<center><math>
\begin{align}
-a_{n}\left(u_{1}+u_{2}+\cdots+u_{n}\right)+\sum_{k=1}^na_{k}u_{k}
&=
-n^{-\beta}\sum_{k=1}^nu_{k}+\sum_{k=1}^nb_{k}
\\
&=
-\sum_{k=1}^n\left(\tfrac{k}{n}\right)^{\beta}b_{k}+\sum_{k=1}^nb_{k}
\\
&=
\sum_{k=1}^n\ \ b_{k}\int_{\tfrac{k}{n}}^1\,\beta x^{\beta-1}\,dx
\\
&=
\sum_{k=1}^n\ \ b_{k}\int_{0}^1\,\beta x^{\beta-1}1_{k\le nx}\,dx
\\
&=
\int_{0}^1\,\beta x^{\beta-1}\left(\sum_{1\le k\le nx}\ b_{k}\right)\,dx
\end{align}
</math></center>
Comme la suite <math> \left(\sum_{1\le k\le n}\ b_{k}\right)_{n}</math> est convergente, il existe un réel <math> M </math> tel que
<center><math>\forall n\ge 1,\ \left|\sum_{1\le k\le n}\ b_{k}\right|\le M.</math></center>
Donc la suite de fonctions <math> (\phi_{n})_{n} </math> définies sur <math> [0,1] </math> par
<center><math>\phi_{n}(x)=\sum_{1\le k\le nx}\ b_{k}</math></center>
est une suite de fonctions uniformément bornées par <math> M </math> (en valeur absolue). De plus, pour tout <math> x\in[0,1] </math>,
<center><math>\lim_{n}\phi_{n}(x)=b\ 1_{x>0}.</math></center>
Ainsi le [[Théorème de convergence dominée|théorème de convergence dominée de Lebesgue]] donne
<center><math>
\begin{align}
\lim_{n}\int_{0}^1\,\beta x^{\beta-1}\left(\sum_{1\le k\le nx}\ b_{k}\right)\,dx
&=
b\ \int_{0}^1\,\beta x^{\beta-1}1_{x>0}\,dx
\\
&=
b.
\end{align}
</math></center>
Comme on a <math> \lim_{n}\sum_{k=1}^nb_{k}=b </math>, en observant le second terme de l'identité
<center><math>
-a_{n}\left(u_{1}+u_{2}+\cdots+u_{n}\right)+\sum_{k=1}^nb_{k}
=
\int_{0}^1\,\beta x^{\beta-1}\left(\sum_{1\le k\le nx}\ b_{k}\right)\,dx,
</math></center>
démontrée plus haut, on en déduit que
<center><math>\lim_{n}a_{n}\left(u_{1}+u_{2}+\cdots+u_{n}\right)=0.</math></center>
C.Q.F.D.

Cette démonstration est empruntée à Sydney Resnik, ''A probability path''.
}}
Pour conclure sa démonstration, Kolmogorov utilise le [[lemme de Kronecker]] avec <math> a_{n}=\tfrac{1}{n} </math>, voir section suivante.

=== {{6e}} étape : Conclusion dans le cas de variables centrées ===

{{Théorème|Lemme 1.|Avec les notations de l'étape '''[[#2ème étape de la démonstration : recentrage|« recentrage »]]''', on a
<center><math>\sum_{k\ge 1}\ \text{Var}\left(\frac{Z_{k}}{k}\right)<+\infty.</math></center>
}}

{{Démonstration|
Les calculs s'arrangent mieux si on remplace <math> k </math> par <math> k+1 </math> au dénominateur. Pour <math> k\ge 2 </math> on a
<center><math>
\text{Var}\left(\frac{Z_{k}}{k+1}\right)\ 
=
\ \frac{\mathbb{E}\left[X^{\prime 2}_{k}\right]}{(k+1)^2}\ 
-
\ \frac{\mathbb{E}\left[X^{\prime}_{k}\right]^2}{(k+1)^2}.
</math></center>
Comme <math> \lim_{n} \mathbb{E}\left[X^{\prime}_{n}\right]=0 </math>,
<center><math>\frac{\mathbb{E}\left[X^{\prime}_{k}\right]^2}{(k+1)^2}=o\left(\frac{1}{k^2}\right),</math></center>
et la convergence de la série
<center><math>\sum_{k}\ \text{Var}\left(\frac{Z_{k}}{k+1}\right)</math></center>
est équivalente à la convergence de la série
<center><math>\sum_{k}\ \frac{\mathbb{E}\left[X^{\prime 2}_{k}\right]}{(k+1)^2}.</math></center>
Or
<center><math>
\begin{align}
\sum_{k\ge 1}\ \frac{\mathbb{E}\left[X^{\prime 2}_{k}\right]}{(k+1)^2}
&=
\sum_{k\ge 1}\ (k+1)^{-2}\ \mathbb{E}\left[X^{2}_{1}\,1_{0<\left|X_{1}\right|\le k}\right]
\\
&\le
\sum_{k\ge 1}\ \int_{k}^{k+1}x^{-2}\ \mathbb{E}\left[X^{2}_{1}\,1_{0<\left|X_{1}\right|\le x}\right]\ dx
\\
&=
\int_{1}^{+\infty}x^{-2}\ \mathbb{E}\left[X^{2}_{1}\,1_{0<\left|X_{1}\right|\le x}\right]\ dx
\\
&=
\mathbb{E}\left[X^{2}_{1}\,1_{0<\left|X_{1}\right|}\ \int_{1}^{+\infty}x^{-2}\ 1_{\left|X_{1}\right|\le x}\ dx\right]
\\
&\le
\mathbb{E}\left[X^{2}_{1}\,1_{0<\left|X_{1}\right|}\ \int_{\left|X_{1}\right|}^{+\infty}\ x^{-2}\ dx\right]
\\
&=
\mathbb{E}\left[X^{2}_{1}\,1_{0<\left|X_{1}\right|}\left|X_{1}\right|^{-1}\right]
\\
&=
\mathbb{E}\left[\left|X_{1}\right|\right]\ <\ +\infty,
\end{align}
</math></center>
<!--
-->
par hypothèse.
}}

Du lemme 1 et de la ''[[#4ème étape : Convergence de séries de variables aléatoires|Proposition 3]]'', on déduit que, presque sûrement,
<!--\label{serieconv}-->
<center><math>
\text{la série }\sum_{k\ge 1}\,\frac{Z_{k}(\omega)}{k}\text{ est convergente,}
</math></center>
puis, grâce au ''[[#5ème étape : Lemme de Kronecker|lemme de Kronecker]]'', on déduit que, presque sûrement,
<center><math>\lim_{n}\ \frac{C_{n}(\omega)}n\ =\ 0,</math></center>
ce qui est équivalent à la ''loi forte des grands nombres ('''pour des variables centrées''')'', comme on l'a vu aux étapes ''[[#1ère étape de la démonstration : troncature|« troncature »]]'' et ''[[#2ème étape de la démonstration : recentrage|« recentrage »]]''.

=== {{7e}} étape : décentrage ===

Si on ne suppose plus les <math> X_{n} </math> centrées, mais seulement indépendantes, identiquement distribuées et intégrables, on pose
<center><math>\hat{X}_{k}= X_{k}-\mathbb{E}\left[X_{k}\right],\ \ \hat{S}_{n}= \hat{X}_{1}+\hat{X}_{2}+\cdots+\hat{X}_{n},</math></center>
et, les <math> \hat{X}_{n} </math> étant centrées, indépendantes, identiquement distribuées et intégrables, la conclusion des étapes précédentes est que
<center><math>
\mathbb{P}\left(\omega\in\Omega\ \left|\ \lim_{n}\frac{\hat{S}_{n}(\omega)}n=0\right.\right)
=
1.
</math></center>
Mais
<center><math>
\begin{align}
\frac{\hat{S}_{n}(\omega)}n
&=
\frac{S_{n}(\omega)-n\mathbb{E}\left[X_{1}\right]}n
\\
&=
\frac{S_{n}(\omega)}n\ -\ \mathbb{E}\left[X_{1}\right].
\end{align}
</math></center>
Donc
<center><math>
\mathbb{P}\left(\omega\in\Omega\ \left|\ \lim_{n}\frac{\hat{S}_{n}(\omega)}n=0\right.\right)
=
\mathbb{P}\left(\omega\in\Omega\ \left|\ \lim_{n}\frac{S_{n}(\omega)}n=\mathbb{E}\left[X_{1}\right]\right.\right)
.
</math></center>
C.Q.F.D.

=== Réciproque ===

Supposons que l'ensemble Ω''{{ind|c}}'' défini par
<center><math>
\Omega_c=\left\{\omega\in\Omega\  \left|\ \frac{S_{n}(\omega)}n \text{ est une suite convergente }\right.\right\}
</math></center>
est de probabilité 1. Notons <math>\ell(\omega)</math> la limite de la suite ci-dessus, lorsqu'elle est définie, i.e. lorsqu'''ω'' appartient à Ω''{{ind|c}}''. L'ensemble Ω''{{ind|c}}'' est inclus dans l'ensemble suivant
<center><math>
\Omega_0=\left\{\omega\in\Omega\   \left|\ \lim_n\frac{|X_{n}(\omega)|}n=0\right.\right\}
</math></center>
puisque, lorsque ''ω'' appartient à Ω''{{ind|c}}'', on a
<center><math>
\frac{X_{n}(\omega)}n\ =\ \frac{S_{n}(\omega)}n\ -\ \frac{n-1}n\,\frac{S_{n-1}(\omega)}{n-1}\ \rightarrow\ \ell(\omega)-\left(1\times\ell(\omega)\right)=0.
</math></center>
Ainsi, l'ensemble Ω<sub>0</sub> lui aussi est de probabilité 1. Posons
<center><math>
A_n=\left\{\omega\in\Omega\   \left|\ |X_{n}(\omega)|>n\right.\right\}
</math>.</center>
La [[Théorème de Borel-Cantelli#Limite supérieure d'ensembles|limite supérieure]] des ''A{{ind|n}}'' est disjointe de l'ensemble Ω<sub>0 </sub>, donc elle est de probabilité nulle. En vertu de la [[loi du zéro-un de Borel]], on en déduit, puisque les événements ''A{{ind|n}}'' sont indépendants, que
<center><math>
+\infty>\sum_{n\ge 1}\mathbb{P}\left(|X_{n}|>n\right).
</math></center>
Par ailleurs, en toute généralité, comme on l'a vu lors de la [[#1ère étape de la démonstration : troncature|première étape]],
<center><math>
\sum_{n\ge  1}\mathbb{P}\left(|X_{n}|>n\right)\ =\ \sum_{n\ge  1}\mathbb{P}\left(|X_{1}|>n\right)\ =\ \mathbb{E}\left[\left\lceil|X_{1}|\right\rceil-1\right]\ \ge\ -1+\mathbb{E}\left[|X_{1}|\right].
</math></center>

== Notes et références ==
{{Références}}

== Voir aussi ==

=== Articles connexes ===
* [[Andreï Kolmogorov]]
* [[Francesco Paolo Cantelli]]
* [[Émile Borel]]
* [[Loi des grands nombres]]
* [[Théorème central limite]]
* [[Théorème des trois séries de Kolmogorov]]

=== Références ===
* {{Ouvrage|langue=en|prénom1=Halbert|nom1=White|titre=Asymptotic Theory for Econometricians|lieu=Orlando|éditeur=[[Academic Press]]|année=1984|pages totales=228|passage=228|isbn=978-0-12-746650-7|lccn=83010010}}
* {{resnick}}

=== Liens externes ===
* [http://www.mathematik.com/Kolmogorov/ Un site sur son livre fondateur de la théorie moderne des probabilités, '''Grundbegriffe der Wahrscheinlichkeitsrechnung''', 1933]
* [http://www.mathematik.com/Kolmogorov/0037.html La page de ce livre où apparait sa démonstration de la loi forte des grands nombres]
* [http://experiences.math.cnrs.fr/Illustration-de-la-loi-des-grands-95.html Expériences numérique interactive en javascript], experiences.math.cnrs.fr
{{Portail|probabilités et statistiques}}

[[Catégorie:Théorème de la théorie des probabilités|Forte]]
[[Catégorie:Loi de probabilité]]