Voir la source de Bootstrap (statistiques)

{{voir homonymes|Bootstrap}}
{{Infobox Méthode scientifique}}
[[Fichier:Tirageavecremise.svg|vignette|Tirage avec remise. À partir de l'échantillon (les bonshommes de différentes couleurs, à gauche), on tire au hasard des bonshommes avec remise (plusieurs éléments identiques peuvent apparaître plusieurs fois).]]
En [[statistique]]s, les techniques de '''bootstrap''' sont des méthodes d'[[inférence statistique]] basées sur la réplication multiple des données à partir du [[jeu de données]] étudié, selon les techniques de rééchantillonnage. Elles datent de la fin des années 1970, époque où la possibilité de calculs informatiques intensifs devient abordable. On calculait depuis près d'un siècle des [[Estimateur (statistique)|estimations]] : mesures de dispersion ([[Variance (statistiques et probabilités)|variance]], [[écart-type]]), [[Intervalle de confiance|intervalles de confiance]], tables de décision pour des [[test d'hypothèse|tests d'hypothèse]], etc., à partir des expressions mathématiques des [[Loi de probabilité|lois de probabilité]], ainsi que d'approximations de celles-ci quand le calcul n'était pas réalisable. Désormais, l'approche par [[calcul stochastique]] sur technologie numérique permet de multiplier ces évaluations, et surtout de quantifier la [[Sensibilite (statistique)|sensibilité]] de ces évaluations aux particularités de l'échantillon originel, i.e. le jeu de données étudié, grâce à l'analyse statistique des sous-échantillons possibles.

Cette méthode est basée sur des simulations stochastiques, comme les [[méthode de Monte-Carlo|méthodes de Monte-Carlo]], les [[inférence bayésienne|méthodes numériques bayésiennes]] ([[Échantillonnage de Gibbs|échantillonneur de Gibbs]], l'algorithme de [[Algorithme de Metropolis-Hastings|Metropolis-Hastings]]), à la différence près que le bootstrap ne nécessite pas d'autre information que celle disponible sur les individus de l'échantillon originel.

Plus précisément, et c'est le sens du terme « [[Ré-échantillonnage|rééchantillonnage]] », un bootstrap consiste à créer des « nouveaux échantillons » statistiques, mais uniquement par tirage avec remise, à partir de l'échantillon initial. L'aspect ''autocentré'' et [[itératif]] de la méthode a inspiré sa désignation anglaise : en effet, le bootstrap désigne le fait de « se hisser en tirant sur ses propres lacets ou plus précisément sur ses ''« bootstraps »'' qui désignent en anglais les anneaux de cuir ou tissu cousus au rebord des bottes pour y passer les doigts afin de les enfiler plus facilement <ref group="note">{{en}} ''to pull oneself up by one's own bootstrap''. Cela fait référence aux aventures du [[Karl Friedrich Hiéronymus, baron de Münchhausen|baron de Münchhausen]], censé s'être sorti du marécage où il était embourbé en se tirant par les bottes et en se propulsant ainsi dans les airs. Plus généralement, les [[bootstrap]]s sont les anneaux, en cuir ou en tissu, cousus sur le rebord des bottes et dans lesquels on passe les doigts pour s'aider à les enfiler. Le nom alternatif (et peu usité en pratique) '''méthode de Cyrano''' fait référence au même épisode, mais repris par [[Edmond Rostand]] dans son [[Cyrano de Bergerac (pièce)|Cyrano de Bergerac]] (acte III, scène 13, vers 1664 — 1669).</ref> ».

== Principe général ==
Soit un échantillon <math>X_1, X_2, \ldots, X_n</math> de {{Formule|''n''}} observations, [[Variables indépendantes et identiquement distribuées|indépendantes et identiquement distribuées (iid)]] selon une [[loi de probabilité]] inconnue. On note <math>F</math> la [[fonction de répartition]] de cette loi. On souhaite estimer la quantité <math>\theta = T(F)</math>, comme l'[[Espérance mathématique|espérance]] de la loi, sa [[Médiane (centre)|médiane]] ou encore sa variance. Dans le premier cas, la fonctionnelle <math>T</math> est

:<math>T(F)=\int x dF(x)</math>
et dans le troisième

:<math>T(F)=\int (x-\mu)^2 dF(x)</math>
avec <math>\mu</math> l'espérance, dont l'expression a été donnée plus haut.

Une estimation classique de <math>\theta</math> est <math>\hat\theta = T(\hat F)</math>, où <math>\hat F</math> est une estimation de la fonction de répartition <math>F</math>. Il reste donc à obtenir cette estimation <math>\hat F</math>. Deux cas se présentent :
* ''cas paramétrique'' : on suppose que <math>F</math> fait partie d'une famille de lois paramétriques, c'est-à-dire indexées par un ensemble de paramètres, disons <math>\omega</math>. Après l'estimation des paramètres <math>\omega</math>, par [[maximum de vraisemblance]] par exemple, on dispose d'une estimation (paramétrique) de <math>F</math>. On parle de '''bootstrap paramétrique''' ;
* ''cas non paramétrique'' : ici, on ne fait aucune hypothèse sur l'appartenance de la loi à une famille paramétrique. On estime <math>\hat F</math> à l'aide de la [[fonction de répartition empirique]]. On parle de '''bootstrap non paramétrique'''.

L'étape suivante du bootstrap se base sur des simulations : étant donné l'estimation (paramétrique ou non) <math>\hat F</math>, on obtient des tirages issus de cette loi qui permettent d'estimer <math>\hat\theta = T(\hat F)</math>. On parle d´''échantillon bootstrap'' pour désigner un de ces tirages. Attention, ici un ''tirage'' ne concerne pas une observation <math>x_i</math>, mais bien un échantillon en entier, composé de {{Formule|''n''}} observations indépendantes. La collection des <math>\hat\theta</math> obtenue à partir des échantillons bootstrap s'appelle la ''distribution bootstrap''.

Pour le cas paramétrique, la méthode de bootstrap s'apparente aux méthodes simulées comme les [[Méthode de Monte-Carlo|méthodes de Monte-Carlo]]. Dans le cas non-paramétrique, la méthode du bootstrap revient à utiliser un échantillon bootstrap composé d'un ''rééchantillonnage avec remise'' de l'échantillon initial. La méthode nécessite donc des échantillons simulés ; leur nombre, disons <math>B</math>, doit être assez grand pour assurer la convergence des estimations empiriques de <math>T(\hat F)</math>. Il est d'usage de considérer un échantillon simulé de même taille que l'échantillon initial.

Pour plus de clarté, supposons que l'on veuille estimer l'espérance de la loi, et surtout la précision de l'estimation de cette espérance (c´est-à-dire la variance de l'espérance). Voici comment procéder. On fixe d'abord le nombre <math>B</math> d'échantillons. La procédure se déroule comme suit :
* Boucle : pour <math>b</math> allant de <math>1</math> à <math>B</math> :
** on tire un échantillon bootstrap<ref group="note">On n'a pas pris la peine de faire figurer l'indice {{Formule|''b''}} dans l'échantillon afin d'alléger les notations.</ref> : <math>X^\ast_1, X^\ast_2, \ldots, X^\ast_n</math> selon <math>\hat F</math>;
** on calcule la statistique (ici la [[moyenne empirique]]) à partir de l'échantillon bootstrap : <math>\hat\theta_b = (X^\ast_1 + \cdots + X^\ast_n)/n</math> ;
* La moyenne empirique <math>\bar{\hat\theta}</math> est la moyenne des moyennes empiriques des échantillons bootstraps <math>\hat\theta_b</math>
* La variance de l'estimateur de la moyenne empirique <math>\hat\sigma^2(\bar{\hat\theta})</math> est approchée par la variance empirique de la population bootstrap des <math>\hat\theta_b</math>.

Dans cette dernière étape, on a à estimer
:<math>\hat\sigma^2(\bar{\hat\theta}) = \frac{1}{B} \sum_{b=1}^B  \left[\hat\theta_b -\bar{\hat\theta}\right]^2</math>,
avec

:<math>\bar{\hat\theta} = \frac{1}{B}\sum_{b=1}^B \hat\theta_b</math>
qui constitue une alternative à l'estimateur classique

:<math>\hat\theta = \frac{1}{n} \sum_i X_i</math>.

Pour le bootstrap non-paramétrique, l'étape de simulation est très simple : il s'agit d'un échantillon bootstrap obtenu tout simplement par rééchantillonnage avec remise de l'échantillon initial. Par exemple, pour un échantillon initial (1,2,5,4), un échantillon bootstrap sera par exemple (5,5,4,1) ou encore (4,1,4,2) et ainsi de suite.

=== Intervalle de confiance ===
Le bootstrap permet aussi de donner une idée de l'[[intervalle de confiance]] d'une estimation. Un intervalle de confiance bootstrap, au niveau <math>\alpha</math>, se détermine en identifiant les [[quantile]]s de la distribution bootstrap, en laissant de part et d'autre de la distribution <math>\alpha/2 \times 100 \%</math>. Ainsi, au seuil 5 %, l'intervalle de confiance est simplement délimité par les percentiles 2,5 % et 97,5 % de la distribution bootstrap.

Pour obtenir un intervalle de confiance bootstrap, un nombre de simulations <math>B</math> nécessite d'être suffisamment grand ; en particulier <math>B \ge 1000</math>.

Cette technique n'est valable que lorsque la distribution bootstrap est symétrique et centrée sur l'échantillon original. On consultera avec profit les ouvrages cités en bibliographie pour déterminer les techniques — plus ou moins triviales — permettant d'appréhender ce cas.

=== Régression linéaire ===
Le bootstrap peut aussi s'appliquer à la détermination de l'intervalle de confiance pour le paramètre <math>\beta</math> dans le cas de la [[régression linéaire]] classique. Ce cas est dénommé ''smooth bootstrap'' en anglais.

Dans le modèle de régression linéaire
:<math>y = X \beta + \epsilon,</math>
on suppose que la variable dépendante {{Formule|''y''}} et les aléas <math>\epsilon</math> sont de dimension <math>n \times 1</math>, les explicatives <math>X</math> de dimension <math>n \times p</math> et qu'il y a <math>p</math> coefficients <math>\beta</math> à déterminer.

Les hypothèses classiques de la régression linéaire permettent de conclure que l'estimateur de <math>\beta</math> par les [[Méthode des moindres carrés|moindres carrés ordinaires]], <math>\hat\beta = (X' X)^{-1} X'y</math>, est distribué [[loi normale|normalement]] :
:<math>\hat\beta \sim N\left(\beta ; \sigma^2 (X'X)^{-1} \right).</math>

Ainsi, pour un <math>j</math> entre <math>1</math> et <math>p</math>, on peut construire un intervalle de confiance au seuil de <math>\alpha</math> % pour <math>\hat\beta_j</math> :
:<math>\hat\beta_j \pm t_{\alpha/2 ; n-p} \times \sqrt{\widehat{s^2} c_{j,j}}.</math>
Dans cette formule, <math>t_{\alpha/2 ; n-p} </math> est le quantile issu de la [[loi de Student]], <math>\widehat{s^2}</math> l'estimateur conventionnel de <math>\sigma^2</math> et <math>c_{j,j}</math> l'élément <math>(j,j)</math> de la matrice <math>C = (X' X)^{-1}</math>.

Le bootstrap s'utilise pour fournir une alternative à cet intervalle de confiance. Les aléas <math>\epsilon</math> ne sont pas observables, car leur loi est inconnue. Dans la démarche bootstrap, les aléas sont remplacés par les résidus :
:<math>\hat{e} = (\hat{e}_1 , \ldots, \hat{e}_n) = y - \hat y = y - X\hat b.</math>
Le bootstrap se déroule comme suit :
* Pour <math>b</math> allant de <math>1</math> à <math>B</math> :
** rééchantillonnage : on remplace les aléas par des résidus bootstrap <math>\hat e^\ast</math>, obtenus par rééchantillonnage avec remise des résidus initiaux <math>\hat{e}</math>. Ces résidus ont pour dimension <math>n</math>, et la dépendance à l'index <math>b</math> n'a pas été indiquée afin d'alléger les notations ;
** on construit des variables dépendantes bootstrap : <math>\hat y^\ast = X\hat\beta + \hat e^\ast</math>, puis on estime par les moindres carrés ordinaires <math>\hat\beta^\ast_b = (X'X)^{-1} X'\hat y^\ast</math>.
* Exploitation de la population des <math>\hat\beta^\ast_b</math> pour construire l'intervalle de confiance comme indiqué plus haut. On a besoin d'obtenir les quantiles d'ordre <math>\alpha</math> et <math>1-\alpha</math> de la population des <math>\hat\beta^\ast_b</math>.

=== Test bootstrap ===
{{...}}

== Bibliothèque logicielle ==

* [http://www.spg.tu-darmstadt.de/res/dl/bootstraptoolboxformatlab/bootstrapmatlabtoolbox.en.jsp Bibliothèque gratuite] pour [[MATLAB]]
* Sous [[R (langage)|R]], il existe principalement deux paquets<ref group="note">Les ouvrages cités en référence sont cités dans la bibliographie.</ref> :
** [http://cran.r-project.org/web/packages/bootstrap/index.html bootstrap] basé sur Efron et Tibshirani (1994) ;
** [http://cran.r-project.org/web/packages/boot/index.html boot] présente plus de fonctionnalités (d’après Davison et Hinkley, 1997).

== Exemple ==
On utilise 34 des 507 observations concernant les dimensions du corps humains<ref>{{article
| langue=en
| auteurs=Grete Heinz, Louis J. Peterson, Roger W. Johnson, Carter J. Kerk
| titre=Exploring Relationships in Body Dimensions
| périodique =Journal of Statistics Education
| année=2003
| volume=11
| numéro=2
| url texte=http://www.amstat.org/publications/jse/v11n2/datasets.heinz.html
| consulté le=29 avril 2009
}}</ref>. On extrait le poids (en kilogramme) et la taille (en mètre), afin de calculer l'[[indice de masse corporelle]], défini comme le rapport du poids à la taille au carré. Les données sont reproduites ci-dessous.

{| class="wikitable" style="text-align:center; width:40%;"
|+ Les 34 données disponibles
|-
! scope=col | '''poids'''
! scope=col | '''taille'''
! scope=col | '''IMC'''
|-
| 65,60
| 1,74
| 21,67
|-
| 71,80
| 1,75
| 23,36
|-
| 80,70
| 1,94
| 21,55
|-
| 72,60
| 1,87
| 20,87
|-
| 78,80
| 1,87
| 22,49
|-
| 74,80
| 1,82
| 22,71
|-
| 62,00
| 1,75
| 20,24
|-
| 81,60
| 1,84
| 24,10
|-
| 76,60
| 1,80
| 23,64
|-
| 83,60
| 1,78
| 26,44
|-
| 74,60
| 1,76
| 24,08
|-
| 76,40
| 1,80
| 23,50
|-
| 63,20
| 1,65
| 23,36
|-
| 60,90
| 1,73
| 20,35
|-
| 74,80
| 1,84
| 22,21
|-
| 59,50
| 1,70
| 20,59
|-
| 67,20
| 1,82
| 20,29
|-
| 61,30
| 1,70
| 21,21
|-
| 68,60
| 1,78
| 21,70
|-
| 55,20
| 1,64
| 20,50
|-
| 57,00
| 1,63
| 21,45
|-
| 66,10
| 1,72
| 22,40
|-
| 72,00
| 1,82
| 21,74
|-
| 64,60
| 1,67
| 23,16
|-
| 74,80
| 1,78
| 23,66
|-
| 70,00
| 1,65
| 25,87
|-
| 68,40
| 1,77
| 21,96
|-
| 65,90
| 1,69
| 22,96
|-
| 75,70
| 1,82
| 22,83
|-
| 73,20
| 1,77
| 23,29
|-
| 53,90
| 1,67
| 19,23
|-
| 72,00
| 1,78
| 22,70
|-
| 55,50
| 1,69
| 19,46
|-
| 58,40
| 1,57
| 23,63
|}

On s'intéresse à l'espérance <math>\mu</math> de l'IMC. L'estimateur naturel est la moyenne empirique :

:<math>\hat\mu = \frac{1}{n} \sum_{i=1}^n x_i</math>
L'estimateur de la variance de cette moyenne empirique, noté <math>\hat\sigma^2(\hat\mu)</math>, est connu explicitement : il est obtenu à partir de la variance empirique <math>\hat\sigma^2_{P}</math>, divisée par ''n'', c'est-à-dire :
:<math>\hat\sigma^2(\hat\mu) = \frac{\hat\sigma^2_{P}}{n} = \frac{1}{n(n-1)} \sum_{i=1}^n (x_i - \hat\mu)^2</math>
Les estimations empiriques sont <math>\hat\mu = 22,32941</math> et <math>\hat\sigma^2(\hat\mu)=0,079882</math>.

On peut comparer aux résultats obtenus grâce aux techniques bootstrap. On utilise <math>B=1000</math> échantillons bootstrap, de dimension <math>n=34</math>. On rappelle la procédure à suivre :
* pour ''b'' allant de 1 à ''B''
** on construit un échantillon bootstrap par rééchantillonnage avec remise ;
** on calcule la moyenne (empirique) de cet échantillon bootstrap, notée <math>\mu_b</math> ;
* on calcule la moyenne empirique et la variance de cette moyenne empirique de la distribution bootstrap.

Ces calculs sont les suivants :

:<math>\hat\mu_\ast = \frac{1}{B} \sum_{b=1}^B \mu_b</math>
et

:<math>\hat\sigma^2(\hat\mu)_\ast = \frac{1}{B-1} \sum_{b=1}^B (\mu_b - \hat\mu_\ast )^2</math>

La moyenne empirique est <math>\hat\mu_\ast =22,33521</math> et la variance de cette estimation de moyenne empirique est de <math>\hat\sigma^2(\hat\mu)_\ast =0,079582</math>, valeurs très proches des estimations non bootstrap. Qui plus est, la distribution bootstrap semble normale, comme en témoigne le [[Diagramme Quantile-Quantile|qq-plot]]. On pourrait alors construire un intervalle de confiance bootstrap, malgré la taille très modeste de l'échantillon.

== Notes et références ==

=== Notes ===
{{références|groupe="note"}}

=== Références ===
{{références}}

=== Bibliographie ===
* {{article
| langue = en
| doi = 10.2307/2958830
| issn = 0090-5364
| volume = 7
| numéro = 1
| pages = 1-26
| nom1 = Efron
| prénom1 = Bradley
| lien auteur1 = Bradley Efron
| titre = Bootstrap Methods: Another Look at the Jackknife
| périodique = Annals of Statistics | lien périodique = Annals of Statistics
| consulté le = 27-04-2009
| mois = 01
| année = 1979
| url texte = https://www.jstor.org/stable/2958830
}}
* {{en}} {{ouvrage
| éditeur = Cambridge University Press
| isbn = 0-521-57471-4
| auteurs =  A. C. Davison, D. V. Hinkley
| titre = Bootstrap Methods and Their Application
| année = 1997
| mois = 10
| jour = 28
}}
* {{Ouvrage
| langue=en
| auteurs=Efron Bradley, R.J. Tibshirani
| titre=An Introduction to the Bootstrap
| éditeur=Chapman & Hall/CRC
| lieu=New York
| année=1994
| mois=05
| jour=15
| pages totales=436
| isbn=0-412-04231-2
}}
* {{Ouvrage
| langue=en
| auteur1=Efron Bradley
| titre=The Jackknife, the Bootstrap, and Other Resampling Plans
| éditeur=Society for Industrial & Applied Mathematics,U.S.
| lieu=Philadelphia (Pa.)
| année=1982
| mois=01
| jour=31
| pages totales=92
| isbn=0-89871-179-7
}}
== Voir aussi ==
=== Liens internes ===
* [[Jackknife]]
* [[Méthode de Monte-Carlo]]

=== Liens externes ===
* {{fr}} [http://www.unige.ch/ses/sococ/eda/bernard/bootransp.pdf Introduction assez complète] {{pdf}}
* {{en}} [http://www.stat.washington.edu/jaw/COURSES//580s/581/LECTNOTES/ch8.pdf Les méthodes du boostrap et du jacknife] {{pdf}}
* {{fr}} [http://accromath.uqam.ca/contents/pdf/cerfs.pdf Une application du bootstrap] dans la revue Accromath {{pdf}}

{{Portail|probabilités}}

{{DEFAULTSORT:Bootstrap (statistiques)}}
[[Catégorie:Statistiques]]
[[Catégorie:Exploration de données]]