Théorème de Glivenko-Cantelli

En théorie des probabilités, le théorème de Glivenko-Cantelli, communément appelé « théorème fondamental de la statistique » exprime dans quelle mesure une loi de probabilité peut être révélée par la connaissance d'un (grand) échantillon de ladite loi de probabilité.

Notations

Soit $X_1,\dots ,X_n$ un échantillon de variables aléatoires réelles i.i.d. définies sur un espace de probabilité $(\mathrm{\Omega },𝒜,\mathbb{P})$ avec pour fonction de répartition commune $F$.

Le théorème de Glivenko-Cantelli énonce la convergence uniforme presque partout de la fonction de répartition empirique $F_n$ vers $F$. Il entraîne donc de plus la convergence en loi de ${\mu }_n$ vers la loi de probabilité $\mu$ correspondant dont la fonction de répartition est $F$, une loi de probabilité étant caractérisée par sa fonction de répartition.

Énoncé

Modèle:Théorème La fonction de répartition peut s'écrire comme une moyenne de variables aléatoires de Bernoulli, i.e.

$F_n(x,\omega )=\frac{1}{n}\sum _{i=1}^n{\mathrm{𝟏}}_{\{X_i(\omega )\le x\}}.$

Puisque ces variables sont de moyenne $F(x)$, la loi forte des grands nombres implique que

$\mathrm{\forall }x\in ℝ,\mathbb{P}(\underset{n}{\lim }|F_n(x,\omega )-F(x)|=0)=1,$

mais il n'en découle pas nécessairement que

$\mathbb{P}(\mathrm{\forall }x\in ℝ,\underset{n}{\lim }|F_n(x,\omega )-F(x)|=0)=1,$

puisqu'une intersection non dénombrable d'ensembles de probabilité 1 (ensembles presque sûrs) n'est pas nécessairement de probabilité 1. Cette intersection serait-elle de probabilité 1 qu'on n'aurait alors prouvé que la convergence simple, au lieu de la convergence uniforme énoncée par le théorème de Glivenko-Cantelli.

Le théorème de Donsker et l'inégalité DKW précisent le théorème de Glivenko-Cantelli en donnant des indications sur la rapidité de convergence, qui est de l'ordre de $1/\sqrt{n}.$

Démonstration

Cette preuve utilise le deuxième théorème de Dini. Pour une preuve combinatoire faisant intervenir des inégalités de concentration, voir la preuve des classes de Glivenko-Cantelli. La loi forte des grands nombres nous assure que pour tout $x\in ℝ,F_n(x)$ converge presque-sûrement vers $F(x)$ et de plus $F_n$ est croissante pour tout $n\in {\mathbb{N}}^{*}$. Néanmoins quelques problèmes se posent pour appliquer ce théorème :

• La fonction de répartition $F$ n'est pas nécessairement continue ;
• La convergence n'a pas lieu sur un segment ;
• La loi forte des grands nombres nous donne une convergence sur un ensemble qui dépend de $x\in ℝ$, i.e. $\mathrm{\forall }x\in ℝ,\mathrm{\exists }{A}_x\in 𝒜\text{t.q.}\mathbb{P}(A_x)=1\mathrm{e}\mathrm{t}\mathrm{\forall }\omega \in A_x,\underset{n\to +\mathrm{\infty }}{\lim }{F}_n(x,\omega )=F(x).$ Pour pouvoir appliquer le second théorème de Dini, il faudrait que $\mathrm{\exists }A\in 𝒜\mathrm{t}\mathrm{.}\mathrm{q}\mathrm{.}\mathbb{P}(A)=1\mathrm{e}\mathrm{t}\mathrm{\forall }x\in ℝ,\mathrm{\forall }\omega \in 𝒜,\underset{n\to +\mathrm{\infty }}{\lim }{F}_n(x,\omega )=F_n(x).$

On résout les deux premiers points avec l'inverse généralisée de la fonction de répartition (appelée aussi fonction de quantile) $F^{\leftarrow }$ et le troisième grâce à la séparabilité de $ℝ$ (i.e. $ℝ$ admet un sous-ensemble dense et au plus dénombrable comme $\mathbb{Q}$).

Soient $U_1,\dots ,U_n$ des variables i.i.d. uniformes sur $[0,1]$ alors la fonction de répartition inverse vérifie la propriété $X_i\stackrel{ℒ}{=}{F}^{\leftarrow }(U_i)$. Alors

$\begin{array}{cc}\underset{t\in ℝ}{\sup }|F_n(t)-F(t)|& =\underset{t\in ℝ}{\sup }|\frac{1}{n}\sum _{i=1}^n{\mathrm{𝟏}}_{\{X_i\le t\}}-F(t)|\\ & \sim \underset{t\in ℝ}{\sup }|\frac{1}{n}\sum _{i=1}^n{\mathrm{𝟏}}_{\{F^{\leftarrow }(U_i)\le t\}}-F(t)|=\underset{t\in ℝ}{\sup }|\frac{1}{n}\sum _{i=1}^n{\mathrm{𝟏}}_{\{U_i\le F(t)\}}-F(t)|\\ & =\underset{s\in F(ℝ)}{\sup }|\frac{1}{n}\sum _{i=1}^n{\mathrm{𝟏}}_{\{U_i\le s\}}-s|\le \underset{s\in [0,1]}{\sup }|\frac{1}{n}\sum _{i=1}^n{\mathrm{𝟏}}_{\{U_i\le s\}}-s|\end{array}$

Il suffit donc de montrer que le théorème de Glivenko-Cantelli est vrai dans le cas de variables aléatoires uniformes sur

$[0,1]$

. Grâce à la loi forte des grands nombres, on a que :

$\mathrm{\forall }s\in [0,1],\mathrm{\exists }{A}_s\in 𝒜\text{t.q.}\mathbb{P}(A_s)=1\text{et}\mathrm{\forall }\omega \in A_s,\frac{1}{n}\sum _{k=1}^n{\mathrm{𝟏}}_{\{U_k(\omega )\le s\}}\underset{n\to +\mathrm{\infty }}{⟶}s.$

Il faut donc trouver un ensemble

$A$

de mesure pleine qui soit uniforme pour tous les

$s\in [0,1]$

. Comme

$\mathbb{Q}$

est dénombrable et que l'intersection dénombrable d'ensembles de mesure pleine étant de mesure pleine, on en déduit que :

$\mathrm{\exists }A\in 𝒜\text{t.q.}\mathbb{P}(A)=1\text{et}\mathrm{\forall }s\in [0,1]\cap \mathbb{Q},\mathrm{\forall }\omega \in A,\frac{1}{n}\sum _{k=1}^n{\mathrm{𝟏}}_{\{U_k(\omega )\le s\}}\underset{n\to +\mathrm{\infty }}{⟶}s.$

Montrons que la propriété reste vraie pour tout

$s\in [0,1]$

 : soit

$s\in [0,1]$

et

$\omega \in A$

alors on se donne une suite croissante

$(s_n{)}_{n\in \mathbb{N}}$

et décroissante

$(t_n{)}_{n\in \mathbb{N}}$

appartenant à

$[0,1]\cap \mathbb{Q}$

et de limite

$s$

. Alors pour

$l$

fixé et

$n\ge 1$

 :

$\frac{1}{n}\sum _{k=1}^n{\mathrm{𝟏}}_{\{U_k(\omega )\le s_l\}}\le \frac{1}{n}\sum _{k=1}^n{\mathrm{𝟏}}_{\{U_k(\omega )\le s\}}\le \frac{1}{n}\sum _{k=1}^n{\mathrm{𝟏}}_{\{U_k(\omega )\le t_l\}},$

d'où, en faisant tendre

$n\to +\mathrm{\infty }$

,

$s_l\le \underset{n\to +\mathrm{\infty }}{\mathrm{lim\; inf}}\frac{1}{n}\sum _{k=1}^n{\mathrm{𝟏}}_{\{U_k(\omega )\le s\}}\le \underset{n\to +\mathrm{\infty }}{\mathrm{lim\; sup}}\frac{1}{n}\sum _{k=1}^n{\mathrm{𝟏}}_{\{U_k(\omega )\le s\}}\le t_l$

et on conclut en faisant tendre

$l\to +\mathrm{\infty }$

. On a donc montré que

$\mathrm{\forall }\omega \in A,\frac{1}{n}\sum _{k=1}^n{\mathrm{𝟏}}_{\{U_k(\omega )\le s\}}\to s$

sur

$[0,1]$

. La convergence est uniforme par le deuxième théorème de Dini.

Généralisation

On pose

$X_1,\dots ,X_n$

des variables i.i.d. à valeurs dans un espace

$𝒳$

de loi

$P={\mathbb{P}}^X$

et

$ℱ$

une classe de fonctions définies sur

$𝒳$

à valeurs réelles. La classe

$ℱ$

est appelée classe de Glivenko-Cantelli si elle vérifie

$||P_n-P|{|}_{ℱ}=\underset{f\in ℱ}{\sup }|P_n(f)-P(f)|\underset{n\to +\mathrm{\infty }}{\overset{}{\to }}0,$

avec

$P_n$

la mesure empirique définie par

$P_n(f)=\frac{1}{n}\sum _{i=1}^{n}f(X_i)$

et

$P(f)=𝔼[f(X_1)]$

. Le théorème de Glivenko-Cantelli revient donc à dire que la classe des fonctions indicatrices

$ℱ=\{x\mapsto {\mathrm{𝟏}}_{\{x\le t\}}:t\in ℝ\}$

est une classe de Glivenko-Cantelli.

Bibliographie

• Modèle:Ouvrage
• Modèle:Ouvrage
• Modèle:Ouvrage

Voir aussi

• Test de Kolmogorov-Smirnov