Théorème de Pitman-Koopman-Darmois

Le théorème de Pitman-Koopman-Darmois, aussi appelé théorème de Koopman-Darmois, de Darmois ou parfois de Fisher-Pitman-Koopman-Darmois (parfois le terme lemme est employé au lieu de théorème), est un résultat de statistique établi indépendamment par Bernard Koopman, Edwin Pitman et Georges Darmois dans les années 30, d'après une intuition de Ronald Fisher. Ce théorème établit, sous certaines conditions, que parmi les modèles statistiques générant des variables réelles indépendantes et identiquement distribuées, les seuls admettant une statistique exhaustive non triviale sont ceux issus de la famille exponentielle. Ce théorème est considéré comme un résultat fondamental des statistiques et a donné lieu à de nombreux développements et généralisationsModèle:,.

Énoncé

Énoncé et démonstration

Modèle:Théorème

Remarques

• Ce théorème ne s'applique qu'aux variables aléatoires continues.
• La statistique $(\sum _{i=1}^n{a}_1(X_i),\dots ,\sum _{i=1}^n{a}_r(X_i))$ est alors aussi une statistique exhaustive (d'après le critère de factorisation de Fisher-Neyman). De plus, si $r$ est le plus petit entier pour laquelle $f_{\theta }$ peut s'écrire sous la forme $f_{\theta }(x)=g(x)\exp (\sum _{i=1}^r{a}_i(x)b_i(\theta )+c(\theta ))$, alors cette statistique est aussi minimale, et $r$ est appelé le rang de la famille de distribution $\{f_{\theta }\mid \theta \in \mathrm{\Theta }\}$.
• L'hypothèse de continuité de la statistique exhaustive $T$ est cruciale. Il est en effet possible de créer des fonctions non continues bijectives de ${ℝ}^n$ dans $ℝ$. Une telle fonction, inutile en pratique par sa complexité, conserverait toute l'information d'une réalisation de l'échantillon $X_1,\dots ,X_n$ en la compressant en un seul nombre réel, et formerait donc une statistique exhaustive (puisque l'échantillon $X_1,\dots ,X_n$ est lui-même une statistique exhaustive), que la loi des $X_i$ appartienne à la famille exponentielle ou non.
• Si le support de $X$ est une réunion finie d'intervalles disjoints $I_1,I_2,\dots$, alors on peut appliquer le théorème de Pitman-Koopman-Darmois à la variable aléatoire $X\mid X\in I_k$, dont le support est l'intervalle $I_k$ et dont la densité est $f_{\theta }(x\mid X\in I_k)=f_{\theta }(x)/P_{\theta }(X\in I_k)$. Il en résulte que sur chaque intervalle $I_k$, la densité de $X$ s'écrit sous la forme d'un membre de famille exponentielle.
• On trouve des versions du théorème requérant que la fonction $T$ soit différentiable, ou que la densité $f_{\theta }$ soit strictement positive sur $ℝ$ tout entier. Ces conditions, plus strictes que celles de l'énoncé ci-dessus, sont suffisantes puisque la différentiabilité de $T$ implique sa continuité, et que le stricte positivité de $f_{\theta }$ sur $ℝ$ implique que son support soit indépendant de $\theta$, cependant elle ne sont pas nécessaires.
• Dans l'énoncé ci-dessus le théorème a pour hypothèse que la dimension de $T(X_1,\dots ,X_n)$ soit strictement inférieure à la taille d'échantillon $n$. Cette hypothèse est souvent remplacée par l'hypothèse, plus restrictive, que la dimension de $T(X_1,\dots ,X_n)$ n'augmente pas avec $n$. Cette hypothèse est suffisante puis qu'alors, lorsque $n$ augmente, il dépasse à un moment donné la dimension de $T(X_1,\dots ,X_n)$ qui elle reste fixe. Cependant elle est plus stricte que nécessaire. Par exemple, une statistique exhaustive $T(X_1,\dots ,X_n)$ de dimension $n-1$ garantit l'appartenance de $f_{\theta }$ à la famille exponentielle, si les autres hypothèses du théorème sont respectées.

Réciproque

Le théorème de Pitman-Koopman-Darmois admet une réciproque : si une variable aléatoire $X$ est distribuée suivant une loi de la famille exponentielle, alors il existe une statistique suffisante pour le paramètre de cette loi. Ceci est une simple conséquence de la définition de la famille exponentielle et du critère de factorisation de Fisher-Neymann. Cette réciproque s'applique aussi aux variables aléatoires discrètes.

Exemples

Loi normale

• Soit $X_1,\dots ,X_n$ des variables indépendantes et identiquement distribuées selon une loi normale $𝒩(\mu ,{\sigma }^2)$ d'espérance $\mu$ et de variance ${\sigma }^2$. Soit $\overline{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$ la moyenne empirique et $S=\frac{1}{n-1}\sum _{i=1}^n(X_i-\overline{X}{)}^2$ l'estimateur non biaisé de la variance. Alors $T(X)=(\overline{X},S)$ est une statistique exhaustive pour le couple de paramètres $(\mu ,\sigma )$, et la loi normale appartient bien à la famille exponentielle. De plus, la statistique $T$ est aussi minimale et la loi normale (d'espérance et de variances inconnues) est bien de rang 2.

Contre exemples

Loi de Cauchy

La loi de Cauchy de densité $f(x)=\frac{1}{\pi }\frac{1}{1+(x-\mu {)}^2}$ sur $ℝ$ n'appartient pas à la famille exponentielle. Il n'existe donc pas de statistique exhaustive non triviale pour le paramètre $\mu$.

Loi uniforme

Soit $X_1,\dots ,X_n$, $n$ variables aléatoires indépendantes et identiquement distribuées selon une loi uniforme sur l'intervalle $[0,\theta ]$ pour $\theta \in ]0,+\mathrm{\infty }[$ . Cette distribution n'appartient pas à la famille exponentielle mais elle admet la statistique $T(X_1,\dots ,X_n)=\max (X_1,\dots ,X_n)$ comme statistique exhaustive. Cela est possible car la loi uniforme ne satisfait pas les conditions du théorème de Pitman-Koopman-Darmois puisque son support dépend du paramètre $\theta$.

Cas des variables aléatoires discrètes

Le théorème de Pitman-Koopman-Darmois énoncé plus haut n'est valide que pour les variables aléatoires continues à valeurs dans $ℝ$. En effet, plusieurs hypothèses ne sont pas pertinentes pour des variables discrètes, notamment la continuité de la fonction $T$. Cette continuité est cruciale pour interdire des fonctions qui seraient des bijections entre ${ℝ}^n$ et ${ℝ}^p$, et qui pourraient donc former des statistiques exhaustives pour toute loi de probabilité, puisqu'il serait possible de retrouver les valeurs de $x_1,\dots ,x_n$ depuis la valeur de $T(x_1,\dots ,x_n)$. Dans le cas de variables aléatoires discrètes, la fonction $T$ a pour ensemble de départ en ensemble discret. La continuité de $T$ n'est donc pas une notion pertinente.

Il existe bien une version du théorème de Pitman-Koopman-Darmois pour les variables aléatoires discrètes pour laquelle la condition de continuité de $T$ est adaptée au . Cependant, cette condition devient non-triviale et peu intuitive.

Modèle:Théorème

Remarques

• Cette version discrète du théorème se limite aux familles exponentielles de rang 1. La statistique $T(X_1,\dots ,X_n)$ est donc typiquement de dimension 1.
• La condition 2 portant sur la statistique $T(X_1,\dots ,X_n)$ est satisfaite pour tous les moments, c'est-à-dire pour les statistiques de la forme $T(X_1,\dots ,X_n)=\sum _{i=1}^n{X}_i^k$ pour $k\in \mathbb{N}$.

Exemple

Si $X_1,\dots ,X_n$ sont $n$ variables aléatoires discrètes indépendantes et identiquement distribuées suivant une loi géométrique ou une loi de Poisson de paramètre inconnu, alors la statistique $T(X_1,\dots ,X_n)=\sum _{i=1}^n{X}_i$ est une statistique exhaustive pour le paramètre de la loi et elle vérifie les conditions du théorème de Pitman-Koopman-Darmois pour les variables discrètes. Les lois géométrique et de Poisson appartiennent bien à la famille exponentielle et sont de rang 1. Dans ces deux cas, la statistique $T$ est aussi minimale.

Contre-exemples

• Si $X_1,\dots ,X_n$sont $n$ variables aléatoires discrètes indépendantes et identiquement distribuées suivant une loi uniforme sur $\{1,\dots ,\theta \}$ pour $\theta \in {\mathbb{N}}^{*}$. Comme le support de cette loi dépend du paramètre $\theta$, les conditions du théorème ne sont pas satisfaites. La statistique $T(X_1,\dots ,X_n)=\max (X_1,\dots ,X_n)$ est exhaustive pour $\theta$ et satisfait les conditions du théorème Pitman-Koopman-Darmois pour les variables discrètes. Cependant, la loi uniforme n'appartient pas à la famille exponentielle.
• Si $X_1,\dots ,X_n$sont $n$ variables aléatoires discrètes à valeurs dans $\mathbb{N}$, indépendantes et identiquement distribuées suivant une loi de fonction de masse $p_{\theta }$ dépendant d'un paramètre $\theta$. Alors, la statistique $T(X_1,\dots ,X_n)=\sum _{i=1}^n\frac{1}{1+\pi X_i}$ est exhaustive pour $\theta$, que $p_{\theta }$ appartienne à la famille exponentielle ou non. Cela semble contredire le théorème de Pitman-Koopman-Darmois pour les variables discrètes mais en réalité la statistique $T(X_1,\dots ,X_n)$ ne satisfait pas la condition 2 de ce théorème. Pour une valeur de $T(X_1,\dots ,X_n)$ donnée, il est en fait possible de retrouver les valeurs $X_1,\dots ,X_n$ correspondantes, à l'ordre près. Formellement, si $T(X_1,\dots ,X_n)=T(X{\text{'}}_1,\dots ,X{\text{'}}_n)$, alors $(X_1,\dots ,X_n)=(X{\text{'}}_1,\dots ,X{\text{'}}_n)$à une permutation près (cela se montre en utilisant la transcendance du nombre $\pi$). Cela signifie que la statistique $T(X_1,\dots ,X_n)$ contient autant d'information que les données elles-mêmes, à l'exception de leur ordre. Puisque celles-ci sont exhaustives, $T(X_1,\dots ,X_n)$ l'est aussi.

Autres généralisations

Il existe diverses généralisations du théorème de Pitman-Koopman-Darmois. Entre autres, il existe des versions du théorème pour :

• des variables aléatoires dont la loi a un support dépendant du paramètre,
• des variables aléatoires indépendantes mais non identiquement distribuées,
• des processus stochastiques.

Voir aussi

• Edwin Pitman
• Famille exponentielle
• Georges Darmois
• Statistique exhaustive
• Théorème de Basu

Références

Modèle:Portail