Jackknife

En statistique, le jackknife (Modèle:En couteau suisse) est une méthode de rééchantillonnage qui tire son nom de couteau suisse du fait qu'elle peut être utile à diverses choses : réduction du biais en petit échantillon, construction d'un intervalle de confiance raisonnable pour toute sorte de statistiques, test statistique. À partir des années 70, cette méthode de rééchantillonnage a été « remplacée » par une méthode plus sophistiquée, le bootstrap. Cette méthode a été développée par Modèle:Lien (1924-1973).

Exposé général

Le cas de la moyenne empirique

On dispose d'un échantillon $X=x_1,x_2,\cdots ,x_n$, iid selon une loi inconnue F. On souhaite estimer l'espérance, notée $\theta$ :

$\theta =\int xdF(x)$

Un estimateur naturel est la moyenne empirique :

$\hat{\theta }=\frac{1}{n}\sum _{i=1}^n{x}_i$.

Un moyen de mesurer l'impact d'une observation $x_j$ sur l'estimateur $\hat{\theta }$ est de calculer la moyenne empirique sur l'échantillon $X_{-j}$, à savoir l'échantillon initial X privé de sa jModèle:E observation :

${\hat{\theta }}_j=\frac{1}{n-1}\sum _{i\ne j}{x}_i$

On remarque que

$x_j=n\hat{\theta }-(n-1){\hat{\theta }}_j$

et en passant à la moyenne que

$\hat{\theta }=n\hat{\theta }-(n-1){\hat{\theta }}^{\ast }$

où ${\hat{\theta }}^{\ast }$ est la moyenne des estimations partielles ${\hat{\theta }}_j$ :

${\hat{\theta }}^{\ast }=\frac{1}{n}\sum _j{\hat{\theta }}_j.$

Ainsi, on a ${\hat{\theta }}^{\ast }=\hat{\theta }$ ce qui signifie qu'on a à disposition un nouvel estimateur de l'espérance : il s'agit de son estimation jackknife.

Généralisation

Dans l'exposé précédent, la méthode du jackknife n'apporte rien dans le sens où il est confondu avec l'estimateur naturel. La généralisation montre qu'il en va tout autrement lorsqu'on considère un paramètre quelconque $\theta =\varphi (x_1,\cdots ,x_n)$ à estimer. Une estimation de $\theta$ est $\hat{\theta }={\varphi }_n(x_1,\cdots ,x_n)={\varphi }_n(X)$.

Comme précédemment, on considère l'estimation de $\theta$ sur l'échantillon privé de sa jModèle:E observation $X_{-j}$ :

${\hat{\theta }}_j={\varphi }_{n-1}(X_{-j}),$

ce qui permet de poser

${\hat{\theta }}_j^{\ast }=n\hat{\theta }-(n-1){\hat{\theta }}_j,$

comme étant la jModèle:E pseudo-valeur.

Ces estimations partielles peuvent être vues comme des variables indépendantes et d'espérance $\theta$. On peut alors définir l'estimateur jackknife de $\theta$ en prenant la moyenne empirique :

${\hat{\theta }}^{\ast }=\frac{1}{n}\sum _j{\hat{\theta }}_j^{\ast }.$

On peut généraliser cette approche en considérant un échantillon amputé non plus d'une seule observations, mais de plusieurs. Le point clé reste la définition des pseudo valeurs ${\hat{\theta }}_j^{\ast }$ et de leur moyenne ${\hat{\theta }}^{\ast }$.

Réduction du biais

Principe général

Maurice Quenouille a montré en 1949 que l'estimateur jackknife permet de réduire le biais de l'estimation initiale $\hat{\theta }$. Supposons pour cela que $E(\hat{\theta })=\theta (1+a{n}^{-1})$. Bien sûr, d'autres termes en $n^{-2},n^{-3}$ peuvent être considérés. Pour tout j, il en va de même pour l'estimateur partiel ${\hat{\theta }}_j$, à la différence près que n est remplacé par $n-1$.

L'élément clef est la transposition de

${\hat{\theta }}_j^{\ast }=n\hat{\theta }-(n-1){\hat{\theta }}_j.$

en

$E({\hat{\theta }}_j^{\ast })=nE(\hat{\theta })-(n-1)E({\hat{\theta }}_j),$

puis en développant

$E({\hat{\theta }}_j^{\ast })=\theta [n(1+\frac{a}{n})-(n-1)(1+\frac{a}{n-1})]=\theta ,$

ce qui a permis d'ôter le biais du premier ordre. On pourrait itérer pour ôter les biais d'ordre supérieur.

Exemple (estimation sans biais de la variance)

Considérons l'estimateur de la variance :

${\hat{\sigma }}^2=\frac{1}{n}\sum _j(x_j-\overline{x}{)}^2$

Il est bien connu que cet estimateur est biaisé. En considérant les pseudo-valeurs, on a :

${\hat{\theta }}_j^{\ast }=\frac{n}{n-1}\sum _j(x_j-\overline{x}{)}^2,$

puis on en déduit que :

${\hat{\theta }}^{\ast }=\frac{1}{n-1}\sum _j(x_j-\overline{x}{)}^2,$

ce qui est l'estimateur non-biaisé de la variance. Nous venons de résorber le biais.

Intervalle de confiance

Une autre utilisation de la méthode jackknife, due à John Tukey en 1958, est de fournir un intervalle de confiance pour l'estimateur ${\hat{\theta }}^{\ast }$ ; la variance de ce dernier est :

$\widehat{{\sigma }^2}({\hat{\theta }}^{\ast })=\frac{1}{n}\widehat{{\sigma }^2}({\hat{\theta }}_j^{\ast })=\frac{(n-1)}{n}\sum _j{({\hat{\theta }}_j^{\ast }-{\hat{\theta }}^{\ast })}^2$

On peut ainsi construire comme intervalle de confiance approximatif au seuil $1-\alpha$ :

${\hat{\theta }}^{\ast }\pm t_{\alpha /2;n-1}\sqrt{\widehat{{\sigma }^2}({\hat{\theta }}^{\ast })}$

où $t_{\alpha /2;n-1}$ est le quantile approprié d'une loi de Student.

Test statistique

Le jackknife peut aussi servir à tester une hypothèse $(H_0):\theta ={\theta }_0$ ; il suffit pour cela de comparer la variable normalisée

$Z=\frac{\sqrt{n}({\hat{\theta }}^{\ast }-{\theta }_0)}{\sqrt{\widehat{{\sigma }^2}({\hat{\theta }}^{\ast })}}$

à une loi de Student de paramètre n-1.

Exemple

Pour n=25 tirages indépendants dans la loi bêta de paramétres (3;7), on considère l'estimateur (biaisé) de la variance :

${\hat{s}}^2=\frac{1}{n}\sum _i(x_i-\overline{x}{)}^2$

0,21876	0,11996	0,25072	0,30178	0,14852
0,16383	0,14686	0,29925	0,15777	0,45958
0,41439	0,45365	0,41157	0,29788	0,30316
0,25900	0,69559	0,14129	0,12868	0,14144
0,32000	0,30767	0,30478	0,28287	0,14855

Sur l'échantillon, cet estimateur vaut 0,017892 pour une vraie valeur de 0,01909091. L'estimateur par la méthode jackknife vaut quant à lui 0,01863750 : le biais, même en petit échantillon, a été réduit. On peut construire un intervalle de confiance à 95 % : la variance de l'estimateur est 5,240744e-05 ce qui donne un intervalle de [0,003696325;0,033578679] qui contient la vraie valeur.

Références

Bibliographie

• Modèle:Article
• Modèle:Article

Voir aussi

• Bootstrap (statistiques)