Voir la source de Estimateur (statistique)

{{Voir homonymes|Estimateur}}
{{sources à lier|date=novembre 2022}}
[[Fichier:ConsistentEstimationFunction.png|vignette|Visualisation d'un estimateur consistent d'une quantité gamma. Plus la taille de l'échantillon (ici 100, 178, 400) est grande, plus la variance de l'estimateur diminue, meilleure est l'estimation du paramètre.]]
En [[statistique]], un '''estimateur''' est une [[Statistique (indicateur)|fonction]] des observables permettant d'estimer une caractéristique d'une [[loi de probabilité]]<ref name="Pages">{{Ouvrage|auteur1=Jérôme Pagès|titre=Pratique de la statistique|éditeur=Pr. Univ. Rennes|année=2005|pages totales=212|passage=25|isbn=9782753501645|titre chapitre=2. Estimation}}</ref> telle que ses [[Moment (probabilités)|moments]] (comme son [[Espérance mathématique|espérance]] ou sa [[Variance (statistiques et probabilités)|variance]]). Il peut par exemple servir à estimer certaines caractéristiques d'une population totale à partir de données obtenues sur un [[échantillon (statistiques)|échantillon]] comme lors d'un [[sondage (statistique)|sondage]]. La définition et l'utilisation de tels estimateurs constitue la [[Inférence statistique|statistique inférentielle]].

La qualité des estimateurs s'exprime par leur convergence, leur biais, leur efficacité et leur robustesse. Diverses méthodes permettent d'obtenir des estimateurs de qualités différentes.

== Illustrations de la notion ==
Si l'on cherche à évaluer la taille moyenne des enfants de 10 ans, on peut effectuer un [[Sondage (statistique)|sondage]] sur un échantillon de la population des enfants de 10 ans (par exemple en s'adressant à des écoles réparties dans plusieurs milieux différents). La taille [[moyenne]] calculée sur cet échantillon, appelée moyenne empirique, est un estimateur de la taille moyenne des enfants de 10 ans.

Si l'on cherche à évaluer la surface totale occupée par la [[jachère]] dans un pays donné, on peut effectuer un sondage sur plusieurs portions du territoire de même taille, calculer la surface moyenne occupée par la jachère et appliquer une règle de [[proportionnalité]].

Si l'on cherche à déterminer le pourcentage d'électeurs décidés à [[voter]] pour le candidat A, on peut effectuer un sondage sur un échantillon représentatif. Le pourcentage de votes favorables à A dans l'échantillon est un estimateur du pourcentage d'électeurs décidés à voter pour A dans la population totale.

Si l'on cherche à évaluer la population totale de poissons dans un lac, on peut utiliser la méthode CMR ([[Capture-marquage-recapture]]) : on commence par ramasser {{mvar|n}} poissons, on les bague pour pouvoir les identifier ultérieurement, les relâche, les laisse se mélanger aux autres poissons. On tire alors un échantillon de poissons du lac, on calcule la proportion ''p'' de poissons bagués. La valeur ''n''/''p'' est un estimateur de la population totale de poissons dans le lac. S'il n'y a aucun poisson bagué dans l'échantillon, on procède à un autre tirage.

Un estimateur est très souvent une moyenne, une population totale, une proportion ou une [[Variance (statistiques et probabilités)|variance]].

== Définition formelle ==
Soit <math>(\Omega,\mathcal{F},\mathbb{P}) </math> un [[espace de probabilité]]. On s'intéresse à une variable aléatoire {{mvar|X}} de loi de probabilité inconnue.
On suppose que l'on va réaliser plusieurs observations (n observations) de cette variable aléatoire.

Formellement, observer n fois la réalisation de la variable {{mvar|X}} est équivalent à observer une seule fois la réalisation d'un n-uplet {{math|(''X''{{ind|1}}, ..., ''X{{ind|n}}'')}} de [[variables indépendantes et identiquement distribuées]] qui suivent la même loi que {{mvar|X}}. Ce [[n-uplet]] est appelé un '''échantillon''' à {{mvar|n}} éléments de la variable aléatoire {{mvar|X}}.

On cherche à estimer un paramètre {{mvar|θ}} qui dépend de la loi de {{mvar|X}} (par exemple son espérance ou sa variance). Pour cela, on définit un estimateur <math>\hat{\theta}(X)</math>. Il est lui-même une variable aléatoire car il est une fonction (disons <math>f</math>) de la variable échantillon qui est le n-uplet {{math|(''X''{{ind|1}}, ..., ''X{{ind|n}}'')}} défini ci-dessus. Ainsi :

:<math>\hat \theta(X)=f(X_1, X_2,\dots, X_n)</math>

Par exemple, un estimateur de l'espérance (ou moyenne) de {{mvar|X}} est : 
<math> \frac{1}{n} (X_1 + X_2 + \dots + X_n) </math>. Comme on l'a dit cet estimateur est une variable aléatoire et pour cet exemple on peut nommer cette variable "espérance de l'échantillon" (puisqu'on calcule la moyenne (ou l'espérance) des valeurs <math>x_i</math> prises par les <math> X_i</math>).

Formellement, un estimateur ne peut prendre qu'un nombre fixe {{mvar|n}} d'arguments. En pratique, on considère généralement une suite d'estimateurs <math> \hat \theta_n</math> pour chaque taille d'échantillon, qu'on appelle également estimateur.

Un estimateur ne doit évidemment jamais dépendre de <math>\theta</math>, il ne dépend que des observations empiriques (i.e. de la réalisation de l'échantillon).

== Qualité d'un estimateur ==

Un estimateur <math>\hat\theta</math> étant une fonction de [[Variable aléatoire|variables aléatoires]], il est possible de calculer son [[espérance mathématique|espérance]] <math>\mathbb{E}(\hat\theta)</math> et sa [[Variance (statistiques et probabilités)|variance]] <math>\operatorname{Var}(\hat\theta)</math>. L'objectif est donc de maîtriser l'erreur commise par l'estimateur <math>\hat\theta</math> par rapport à la vraie valeur du paramètre à estimer <math>\theta</math>. Un estimateur est parfois interprété comme une [[variable aléatoire]] par [[abus de langage]] mais cela peut prêter à confusion.

=== Biais ===
{{Article détaillé|Biais (statistique)}}
Une variable aléatoire fluctue autour de son espérance. On peut donc souhaiter que l'espérance de <math>\hat\theta</math> soit égale à <math>\theta</math>, autrement dit qu'en « moyenne » l'estimateur ne se trompe pas.
{{Théorème|Définition| <math> \operatorname{Biais}(\hat\theta)\equiv \mathbb{E}[\hat\theta]-\theta</math>}}

Lorsque l'espérance <math>\mathbb{E}(\hat\theta)</math> de l'estimateur égale <math>\theta</math>, i.e. le biais est égal à zéro, l'estimateur est dit sans biais.

Par exemple, l'estimateur <math> \frac{1}{n} (X_1 + X_2 + \dots + X_n) </math> de l'espérance de {{mvar|X}} vu ci-dessus est un estimateur sans biais. Dit autrement : l'espérance de la variable  "espérance de l'échantillon" est égale à l'espérance de X.

Dans la première édition de son ouvrage ''Dynamic programming''<ref name="DynaPro">{{Ouvrage|langue=en|auteur1=Richard Bellman|titre=Dynamic programming|éditeur=[[Princeton University Press]]|année=1957|réimpression=1re}} contient notamment le poème satirique [https://home.adelphi.edu/~stemkoski/mathematrix/poetry.html Hiawatha Designs an Experiment], repris dans {{article|auteur=W. E. Mientka|langue=en|titre=Professor Leo Moser – Reflections of a Visit
|périodique=American Mathematical Monthly|volume= 79|numéro= 6|date=juin-juillet 1972}}</ref>, [[Richard Bellman]] s'en prend violemment à la recherche trop systématique des estimateurs sans biais, en rappelant à l'aide d'exemples que des estimateurs ''biaisés'' peuvent avoir une convergence plus rapide, et donc une plus grande efficacité ''pratique''.

=== Erreur quadratique moyenne ===
{{Article détaillé|Erreur quadratique moyenne}}
L'erreur quadratique moyenne (''{{lang|en|mean squared error}}'' en anglais) est l'espérance du carré de l'erreur entre la vraie valeur et sa valeur estimée.

{{Théorème|Définition|<math>\operatorname{MSE}(\hat{\theta})\equiv\mathbb{E}\left((\hat{\theta}-\theta)^2\right).</math>}}

=== Convergence ===
On souhaite aussi pouvoir, en augmentant la taille de l'échantillon, diminuer l'erreur commise en prenant <math>\hat\theta</math> à la place de {{mvar|θ}}. Si c'est le cas, on dit que l'estimateur est '''convergent''' (on voit aussi ''consistant''), c'est-à-dire qu'il [[Convergence de variables aléatoires|converge]] vers sa vraie valeur. La définition précise en mathématique est la suivante : 
{{Théorème|Définition| L'estimateur <math>\hat\theta_n</math> est convergent s'il [[Convergence de variables aléatoires#Convergence en probabilité|converge en probabilité]] vers {{mvar|θ}}, soit : <math>\forall\,\varepsilon > 0, \lim_{n \to \infty}\mathbb{P}(|\hat\theta_n - \theta| > \varepsilon)=0</math>.}}
On l'interprète comme le fait que la probabilité de s'éloigner de la valeur à estimer de plus de {{mvar|ε}} tend vers 0 quand la taille de l'échantillon augmente.

Il existe enfin un type de convergence plus forte, la convergence presque sûre, définie ainsi pour un estimateur :
{{Théorème|Définition|L'estimateur <math>\hat\theta_n</math> est ''fortement'' convergent s'il [[Convergence de variables aléatoires#Convergence presque sûre|converge presque sûrement]] vers {{mvar|θ}}, soit : <math>\mathbb{P}\left(\lim_{n \to \infty}\hat\theta_n = \theta\right)=1</math>}} 

'''Exemple :''' La [[moyenne empirique]] est un estimateur convergent de l'espérance d'une variable aléatoire. La [[Loi des grands nombres#Loi faible des grands nombres|loi faible des grands nombres]] assure que la moyenne converge en probabilité vers l'espérance et la [[loi forte des grands nombres]] qu'elle converge presque sûrement.

=== Efficacité ===
La variable aléatoire fluctue autour de son espérance. Plus la variance <math>\operatorname{Var}(\hat{\theta})</math> est faible, moins les variations sont importantes. On cherche donc à ce que la variance soit la plus faible possible. Un estimateur sans biais pour lequel la [[borne de Cramér-Rao]] devient égalité est dit efficace.

=== Robustesse ===
{{Article détaillé|Robustesse (Statistiques)}}

Il arrive que lors d'un sondage, une valeur extrême et rare apparaisse (par exemple un enfant de 10 ans mesurant {{unité|1.80|m}}). On cherche à ce que ce genre de valeur ne change que de manière très faible la valeur de l'estimateur. On dit alors que l'estimateur est [[Robustesse (Statistiques)|robuste]].

'''Exemple :''' En reprenant l'exemple de l'enfant, la moyenne n'est pas un estimateur robuste car ajouter l'enfant très grand modifiera beaucoup la valeur de l'estimateur. La [[Médiane (statistiques)|médiane]] par contre n'est pas modifiée dans un tel cas.

Il existe différents outils pour caractériser la robustesse d'un estimateur. On peut par exemple regarder sa [[fonction d'influence]], quantifiant le biais induit par une proportion infinitésimale de valeurs extrêmes, ou bien sa fonction de changement de variance.

== Estimateurs classiques ==
On se placera dans le cas simple d'un tirage aléatoire de ''n'' individus dans une population en comportant ''N''. On s'intéresse au caractère quantitatif ''Y'' de moyenne {{surligner|{{mvar|Y}}}} et de variance {{math|Var(''Y'')}}. Dans l'échantillon tiré, le caractère quantitatif est {{mvar|y}}, sa moyenne est {{surligner|{{mvar|y}}}} et sa variance est <math>\sigma ^2 = \frac{1}{n}\sum_{i=1}^n (y_i - \overline y)^2</math>. Les valeurs {{surligner|{{mvar|y}}}} et {{math|''σ''{{2}}}} varient selon l'échantillon et sont donc des variables aléatoires possédant chacune une espérance, une variance et un [[écart type]].

=== Estimateur de la moyenne de ''Y'' ===
On prend en général comme estimateur de {{surligner|{{mvar|Y}}}} la valeur : 
{{Retrait|<math>\overline y = \frac{1}{n}\sum_{i=1}^n y_i</math>.}}
appelée moyenne empirique de ''Y''. On démontre que c'est un estimateur sans biais, c'est-à-dire que <math>\mathbb{E}(\overline y) = \overline Y</math>

=== Estimateur de la variance de ''Y'' ===
On pourrait penser que {{math|''σ''{{2}}}} est un bon estimateur de {{math|Var(''Y'')}}. Cependant des calculs prouvent que cet estimateur est biaisé, l'espérance de {{math|''σ''{{2}}}} est toujours inférieure à {{math|Var(''Y'')}}.
On prouve qu'un estimateur sans biais de {{math|Var(''Y'')}} est :
* <math>\frac{n}{n-1}\sigma^2</math> dans le cas de [[tirage avec remise]]<ref>{{ouvrage|langue= en|auteur1=Murray R. Spiegel|auteur2=John Schiller|auteur3=Alu Srinivasan|titre=Probability and Statistics|éditeur=Schaum's outlines|année=2000}}, énoncé p. 158 (16) - avec notations différentes - et  démonstration p. 173 </ref>,
* <math>\frac{N-1}{N} \frac{n}{n-1}\sigma^2</math> dans le cas de [[tirage sans remise]]<ref>{{harvsp|Spiegel|Schiller|Srinivasan|2000}}, énoncé {{p.|158}} (19) - avec notations différentes</ref> (qui vaut bien {{math|''σ''{{2}}}} lorsque ''n'' = ''N'' : l'échantillon est identique à la population, donc on mesure la variance réelle).

On peut remarquer que, pour ''N'' grand, le calcul avec remise et le calcul sans remise donnent des résultats presque équivalents. (le quotient {{sfrac|''N'' – 1|''N''}} est alors proche de 1). On prend donc en général, pour estimateur sans biais de ''V''(''Y'') la valeur :
{{Retrait|<math>s^2 = \frac{1}{n-1}\sum_{i=1}^n (y_i - \overline y)^2</math>}}
appelée variance empirique sans biais de {{mvar|Y}}.

=== Efficacité, convergence et intervalle de confiance ===
La manière dont {{surligner|{{mvar|y}}}} fluctue autour de son espérance <math>\mathbb{E}(Y)</math> dépend de sa variance {{math|Var({{surligner|''y''}})}}. Cette variance se calcule grâce à {{math|Var(''Y'')}}.
* <math>V(\overline y) = \frac{V(Y)}{n}</math> dans le cas d'un [[tirage avec remise]],
* <math>V(\overline y) =\frac{N - n}{N - 1} \frac{V(Y)}{n}</math> dans le cas d'un [[tirage sans remise]] (qui vaut bien 0 lorsque ''n'' = ''N'' : l'échantillon est identique à la population, donc on mesure la moyenne réelle, donc l'incertitude de la mesure est nulle).
On peut remarquer que, pour ''N'' très grand devant ''n'', les deux valeurs sont très voisines. Par la suite, on ne s'intéressera donc qu'au cas du tirage avec remise en considérant que ''N'' est très grand.

On s'aperçoit que plus ''n'' est grand, plus {{math|''V''({{surligner|''y''}})}} est petit. Donc, plus la taille de l'échantillon est grande, plus l'estimateur {{surligner|{{mvar|y}}}} est efficace.

L'[[inégalité de Bienaymé-Tchebychev]] précise que, pour tout réel strictement positif {{mvar|ε}},
{{Retrait|<math>\mathbb{P}\left(|\overline y - \overline Y| > \varepsilon\right) \leq \frac{V(\overline y)}{\varepsilon ^2}</math>}}
donc que 
{{Retrait|<math>\mathbb{P}\left(|\overline y - \overline Y| > \varepsilon\right) \leq \frac{V(Y)}{n\varepsilon ^2}</math>}}
Or <math>\frac{V(Y)}{n\varepsilon ^2}</math> converge vers 0 quand ''n'' tend vers l'infini. Il en est de même de <math>\mathbb{P}(|\overline y - \overline Y| > \varepsilon)</math> : l'estimateur {{surligner|{{mvar|y}}}} est convergent.

Enfin, il résulte du [[théorème central limite]] que pour ''n'' relativement grand, la variable aléatoire {{surligner|{{mvar|y}}}} suit (approximativement) une [[loi normale]] d'espérance {{mvar|Y}} et de variance {{sfrac|''V''(''Y'')|''n''}}, variance que l'on peut estimer être voisine de {{sfrac|''s''{{2}}|''n''}}. Pour toute loi normale, dans 95 % des cas, la variable aléatoire s'éloigne de son espérance de moins de deux fois son écart type. Dans le cas du sondage, cela signifie qu'il y a 95 % de chances que l'estimateur {{surligner|{{mvar|y}}}} s'éloigne de {{surligner|{{mvar|Y}}}} de moins de <math>\frac{2s}{\sqrt n}</math>. L'intervalle <math>\left[\overline Y - \frac{2\sigma(Y)}{\sqrt n}, \overline Y +\frac{2\sigma(Y)}{\sqrt n}\right]</math> est appelé [[intervalle de confiance]] à 95 %. On peut remarquer que, pour diviser par 10 la longueur de l'intervalle de confiance, ce qui consiste à augmenter la précision de l'estimateur, il faut multiplier par 10<sup>2</sup> = 100 la taille de l'échantillon.

On parle souvent de la précision d'une enquête : c'est le rapport <math>\frac{\sigma(\overline y)}{\overline Y}</math> entre l'écart type et la moyenne de la variable aléatoire {{surligner|{{mvar|y}}}}. Si l'enquête est précise à 2 % par exemple, c'est que ce rapport est de 2 %. Cela signifie que l'intervalle de confiance à 95 % est de {{math|[0,96 {{surligner|''Y''}}, 1,04 {{surligner|''Y''}}]}}

=== Influence des techniques de sondages sur les estimateurs ===
Découper la population en strates homogènes peut réduire de manière significative la valeur de la variance de l'estimateur et donc le rendre plus efficace.

Utiliser un tirage aléatoire à probabilités inégales, procéder à un sondage en plusieurs étapes ou par grappe change évidemment les formules calculées précédemment.

Enfin, l'utilisation d'informations auxiliaires permet parfois d'effectuer une correction sur l'estimateur pour le rapprocher de la valeur réelle.

== Construction d'estimateurs ==

=== Méthode du maximum de vraisemblance ===
{{article détaillé|M-estimateur|Maximum de vraisemblance}}

Comme son nom l'indique, cette méthode consiste à maximiser une fonction appelée '''fonction de vraisemblance''', contenant le paramètre que l'on souhaite estimer. Elle aura ainsi de fortes chances d'être très proche de ce paramètre.

La [[fonction de vraisemblance]], au vu d'un ''n''-échantillon {{math|(''x''{{ind|1}},...,''x{{ind|i}}'',...,''x{{ind|n}}'')}} :
{{Retrait|<math>L(x_1,\dots,x_i,\dots,x_n;\theta) = f(x_1;\theta) \times f(x_2;\theta) \times \dots\times f(x_n;\theta) = \prod_{i=1}^n f(x_i;\theta) </math>}}

L'estimateur obtenu par cette méthode est généralement le meilleur possible, mais cela peut être fastidieux et surtout nécessite de maîtriser des règles [[mathématiques]] plus difficiles que la méthode des moments (voir ci-dessous).

=== Méthode des moments ===
{{article détaillé|Méthode des moments (statistiques)}}

La méthode des moments permet d'estimer des paramètres : pour cela, on pose l'égalité entre [[Moment (mathématiques)|moments]] théoriques et empiriques correspondants puis, en résolvant les équations écrites, on exprime les paramètres en fonction de ces moments.

== Estimateurs et loi de probabilité ==
Le fait de pouvoir estimer une espérance et une variance permet alors d'estimer les paramètres d'une [[loi de probabilité]] (loi normale, [[loi de Poisson]]{{Etc.}}).

En probabilité, on cherche parfois à valider une loi de probabilité théorique à l'aide d'une expérience statistique. Dans le cas d'une variable discrète finie, on prend comme estimateur de chaque probabilité {{mvar|p{{ind|k}}}}, la fréquence {{mvar|f{{ind|k}}}} dans l'échantillon. Les valeurs {{mvar|f{{ind|k}}}} étant des variables aléatoires, il est normal que ces estimateurs ne coïncident pas complètement avec les valeurs {{mvar|p{{ind|k}}}}. Pour vérifier si les différences trouvées sont significatives ou non, on effectue des [[test (statistique)|tests]] d'adéquations dont le plus connu est le [[test du χ²]].

== Notes et références ==
{{Références}}

== Voir aussi ==

=== Bibliographie ===
* {{Ouvrage |langue=fr |auteur1=Jean-Pierre Favre |titre=Mathématiques de gestion |éditeur=Digilex |année=2009 |pages totales=1006 |isbn=978-2-940404-01-8}}
* {{Ouvrage |langue=fr |auteur1=Pierre Dagnelie |titre=Statistique théorique et appliquée. Tome 1 : Statistique descriptive et base de l'inférence statistique |lieu=Paris et Bruxelles |éditeur=De Boeck et Larcier |année=2007 |isbn=}}.
* {{Ouvrage |langue=fr |auteur1=Pierre Dagnelie |titre=Statistique théorique et appliquée. Tome 2 : Inférence statistique à une et à deux dimensions Paris et Bruxelles |éditeur=De Boeck et Larcier |année=2006 |isbn=}}.
* {{Ouvrage |langue=fr |auteur1=Catherine Dehon |auteur2=Jean-Jacques Droesbeke |auteur3=Catherine Vermandele |titre=Éléments de statistique |lieu=Paris |éditeur=[[Éditions Ellipses|Ellipses]] |année=2001 |isbn=}}.
* {{Ouvrage |langue=fr |auteur1=Brigitte Escofier |auteur2=Jérôme Pagès |titre=Initiation au traitement statistique |sous-titre=Méthodes, méthodologie |lieu=Rennes |éditeur=[[Presses universitaires de Rennes|PUR]] |année=1997 |isbn=}}.
* {{Ouvrage |langue=fr |auteur1=Sabin Lessard |titre=Statistique |sous-titre=concepts et méthodes |lieu=Paris |éditeur=Elsevier Masson |année=1993 |isbn=2-225-84189-6}}.
* {{Ouvrage |langue=fr |auteur1=Henry Rouanet |auteur2=J.-M. Bernard |auteur3=Brigitte Le Roux |titre=Statistique en sciences humaines |sous-titre=analyse inductive des données |lieu=Paris |éditeur=[[Éditions Dunod|Dunod]] |année=1990 |isbn=}}.
* {{Saporta1}}
* {{Ouvrage |langue=fr |auteur1=Renée Veysseyre |titre=Statistique et probabilité pour l'ingénieur |lieu=Paris |éditeur=[[Éditions Dunod|Dunod]] |année=2002 |isbn=}}.
* {{Ouvrage |langue=en |auteur1=[[Erich Leo Lehmann]] |titre=Theory of Point Estimation |lieu=New York |éditeur=[[John Wiley & Sons]] |année=1983 |isbn=}}.

=== Articles connexes ===
* [[Biais (statistique)]]
* [[Inférence statistique]]
* [[M-estimateur]]
* [[Statistique mathématique]]
* [[Sondage (statistique)|Sondage]]
* [[Théorème de Masreliez]]
* [[Variable indépendante et identiquement distribuée]]
* [[Variance (statistiques et probabilités)|Variance]]
* [[Estimateur du minimum du χ²]]

=== Liens externes ===
* [http://www-lmc.imag.fr/lmc-sms/Bernard.Ycart/smel/cours/ep/node6.html estimateur] cours de Bernart Ycart
* [http://rfv.insa-lyon.fr/~jolion/STAT/node64.html Estimation] cours de l'INSA de Lyon
* [http://www.aiaccess.net/French/Glossaires/GlosMod/f_gm_estimation.htm Glossaire ]sur l'estimation
* Rémy Clairin et Philippe Brion, ''[http://www.ceped.org/cdrom/integral_publication_1988_2002/manuels/pdf/manuels_cpd_03.pdf Manuel de sondages - Application aux pays en développement]'', Paris, Centre français sur la population et le développement, 1996 {{pdf}}

{{Palette|Probabilités et statistiques}}
{{Portail|probabilités et statistiques}}

[[Catégorie:Statistiques]]