Voir la source de Théorie de l'estimation

En [[statistique]], la '''théorie de l'estimation''' s'intéresse à l'estimation de [[Paramètre statistique|paramètres]] à partir de données empiriques mesurées ayant une composante aléatoire. Les paramètres décrivent un phénomène physique sous-jacent tel que sa valeur affecte la distribution des données mesurées. Un ''[[estimateur (statistique)|estimateur]]'' essaie d'approcher les paramètres inconnus à partir des mesures. En théorie de l'estimation, deux approches sont généralement considérées<ref>
{{ouvrage|lang=en |nom1=Walter |prénom1=E. |nom2=Pronzato |prénom2=L. |titre=Identification of Parametric Models from Experimental Data |année=1997 |éditeur=Springer-Verlag |lieu=London, England }}
</ref>:

* l'approche probabiliste (décrite ici) suppose que les données mesurées sont aléatoires avec une [[distribution de probabilités]] dépendant des paramètres d'intérêt
* l'[[Estimation d'ensemble|approche ensembliste]] suppose que le vecteur des données mesurées appartient à un ensemble qui dépend du vecteur des paramètres.

== Exemples ==
On souhaite estimer la proportion d'une population d'électeurs qui va voter pour un candidat donné dans une élection. Cette proportion est le paramètre recherché ; l'estimation est basé sur un petit échantillon aléatoire de votants. De façon alternative, on veut évaluer la probabilité d'un électeur de voter pour un candidat particulier, en se basant sur des données démographiques, comme son âge.

Avec un [[radar]], on veut trouver la taille des objets (avions, bateaux, etc.) en analysant le temps aller-retour des échos reçus d'ondes pulsées. Comme les ondes réfléchies sont toutes perturbées par un bruit électrique, leurs valeurs mesurées sont aléatoires, et le temps de transit doit être estimé.

De façon générale, les mesures de signaux électriques sont souvent associés à un [[Bruit de fond|bruit]].

== Bases ==
Pour un modèle donné, plusieurs "ingrédients" statistiques sont requis pour implémenter l'estimateur. Le premier est un [[échantillon statistique]] – un ensemble de données discrètes dans un [[vecteur aléatoire]] de taille ''N'' :
: <math>\mathbf{x} = \begin{bmatrix} x[0] \\ x[1] \\ \vdots \\ x[N-1] \end{bmatrix}.</math>
on associe un vecteur de ''M'' paramètres :
: <math>\mathbf{\theta} = \begin{bmatrix} \theta_1 \\ \theta_2 \\ \vdots \\ \theta_M \end{bmatrix},</math>
dont on veut estimer les valeurs. Enfin, il faut la [[densité de probabilité]], discrète ou continue, de la loi sous-jacente de probabilité qui ont généré les données, et donc conditionnelle aux valeurs des paramètres :
: <math>p(\mathbf{x} | \mathbf{\theta}).\,</math>

Il est aussi possible pour les paramètres d'avoir une loi de probabilité (voir [[statistiques bayésiennes]]). Il est alors nécessaire de définir la [[probabilité bayésienne]]
: <math>\pi( \mathbf{\theta}).\,</math>

Après que le modèle est formé, l'objectif est d'estimer les paramètres, dont on note les estimateurs <math>\hat{\mathbf{\theta}}</math>.

Un estimateur classique est l'[[Méthode des moindres carrés|estimateur des moindres carrés]], qui est celui qui minimise l'erreur entre les paramètres estimés et leurs valeurs réelles
: <math>\mathbf{e} = \hat{\mathbf{\theta}} - \mathbf{\theta}.</math>
Cette erreur est ensuite élevée au carré et la valeur attendue est minimale pour l'estimateur des moindres carrés.

== Estimateurs ==
{{article détaillé|Estimateur (statistique)}}

Les estimateurs les plus communément utilisés et étudiés sont :
* les estimateurs du [[maximum de vraisemblance]]
* les {{lien|trad=Bayes estimator|fr=estimateur bayésien|texte=estimateurs bayésiens}}
* les estimateurs de la [[méthode des moments (statistiques)|méthode des moments]]
* [[borne de Cramér-Rao]]
* [[méthode des moindres carrés]]
* estimateur de l'[[erreur quadratique moyenne]] (MSE), aussi désigné comme l'erreur des moindres carrés de Bayes (BLSE)
* estimateur du [[maximum a posteriori]] (MAP)
* {{lien|trad=Minimum-variance unbiased estimator|fr=estimateur sans biais à variance minimale}} (MVUE)
* {{lien|trad=Nonlinear system identification|fr=identification de systèmes non linéaires}}
* [[Théorème de Gauss-Markov|meilleur estimateur linéaire sans biais]] (BLUE)
* Estimateurs sans [[biais (statistique)|biais]] 
* [[Filtre particulaire]]
* Estimateur de la [[méthode de Monte-Carlo par chaînes de Markov]] (MCMC)
* [[filtre de Kalman]] et ses variantes
* [[filtre de Wiener]]

== Exemples ==

=== Constante inconnue avec bruit blanc gaussien ===
Dans un [[signal discret]] <math>x[n]</math> mesuré avec ''N'' échantillons indépendants constitués d'une constante ''A'' avec un [[bruit blanc]] gaussien additif (AWGN) <math>w[n]</math> de moyenne nulle et de variance <math>\sigma^2</math> connue (i.e., <math>w \sim \mathcal{N}(0, \sigma^2)</math>).
Le vecteur de paramètres à estimer se réduit uniquement à ''A''.
Le signal modèle s'écrit :
: <math>x[n] = A + w[n] \quad n=0, 1, \dots, N-1</math>

On a alors deux estimateurs possibles pour ''A'' :
* <math>\hat{A}_1 = x[0]</math>
* <math>\hat{A}_2 = \frac{1}{N} \sum_{n=0}^{N-1} x[n]</math> qui est la [[moyenne empirique]] de l'échantillon

Les deux estimateurs ont une espérance de ''A'' :
:<math>\mathbb{E}\left[\hat{A}_1\right] = \mathbb{E}\left[ x[0] \right] = A</math>
:<math>
\mathbb{E}\left[ \hat{A}_2 \right]
=
\mathbb{E}\left[ \frac{1}{N} \sum_{n=0}^{N-1} x[n] \right]
=
\frac{1}{N} \left[ \sum_{n=0}^{N-1} \mathbb{E}\left[ x[n] \right] \right]
=
\frac{1}{N} \left[ N A \right]
=
A
</math>

Cependant, en étudiant leurs variances, la différence de qualité entre les deux estimateur apparait :
:<math>\mathrm{Var} \left( \hat{A}_1 \right) = \mathrm{Var} \left( x[0] \right) = \sigma^2</math>
:<math>
\mathrm{Var} \left( \hat{A}_2 \right)
=
\mathrm{Var} \left( \frac{1}{N} \sum_{n=0}^{N-1} x[n] \right)
\overset{\text{independence}}{=}
\frac{1}{N^2} \left[ \sum_{n=0}^{N-1} \mathrm{Var} (x[n]) \right]
=
\frac{1}{N^2} \left[ N \sigma^2 \right]
=
\frac{\sigma^2}{N}
</math>

La moyenne de l'échantillon semble alors un bien meilleur estimateur car sa variance est plus petite dès que&nbsp;''N''&nbsp;>&nbsp;1.

==== Maximum de vraisemblable ====
{{article détaillé|Maximum de vraisemblance}}

Sur le même exemple, on utilise l'estimateur du [[maximum de vraisemblance]], la fonction [[densité de probabilité]] du bruit pour un échantillon {{math|''w''[''n'']}} est
:<math>p(w[n]) = \frac{1}{\sigma \sqrt{2 \pi}} \exp\left(- \frac{1}{2 \sigma^2} w[n]^2 \right)</math>
et la probabilité de {{math|''x''[''n'']}} devient ({{math|''x''[''n'']}} peut être vu comme suivant une loi normale <math>\mathcal{N}(A, \sigma^2)</math>)

:<math>p(x[n]; A) = \frac{1}{\sigma \sqrt{2 \pi}} \exp\left(- \frac{1}{2 \sigma^2} (x[n] - A)^2 \right)</math>

Par [[indépendance (probabilités)|indépendance]], la probabilité de {{math|'''x'''}} devient
:<math>
p(\mathbf{x}; A) = \prod_{n=0}^{N-1} p(x[n]; A) = \frac{1}{\left(\sigma \sqrt{2\pi}\right)^N} \exp\left(- \frac{1}{2 \sigma^2} \sum_{n=0}^{N-1}(x[n] - A)^2 \right)
</math>

On prend le [[logarithme naturel]] de l'expression :
:<math>
\ln p(\mathbf{x}; A) = -N \ln \left(\sigma \sqrt{2\pi}\right) - \frac{1}{2 \sigma^2} \sum_{n=0}^{N-1}(x[n] - A)^2
</math>

dont on tire l'estimateur du maximum de vraisemblance :
:<math>\hat{A} = \arg \max \ln p(\mathbf{x}; A)</math>

En prenant la dérivée de la log-vraisemblance :
:<math>
\frac{\partial}{\partial A} \ln p(\mathbf{x}; A)
=
\frac{1}{\sigma^2} \left[ \sum_{n=0}^{N-1}(x[n] - A) \right]
=
\frac{1}{\sigma^2} \left[ \sum_{n=0}^{N-1}x[n] - N A \right]
</math>

qu'on cherche à annuler
:<math>
0
=
\frac{1}{\sigma^2} \left[ \sum_{n=0}^{N-1}x[n] - N A \right]
=
\sum_{n=0}^{N-1}x[n] - N A
</math>

La résolution de cette équation donne l'estimateur du maximum de vraisemblance :
:<math>
\hat{A} = \frac{1}{N} \sum_{n=0}^{N-1}x[n]
</math>
qui est ici la moyenne empirique.

==== Borne inférieure de Cramér–Rao ====
{{article détaillé|Borne de Cramér-Rao}}

Pour trouver la [[Borne de Cramér-Rao|borne inférieure de Cramér–Rao]] (CRLB) de l'estimateur de la moyenne de l'échantillon, on doit d'abord établir l'[[information de Fisher]] :
:<math>
\mathcal{I}(A) = \mathbb{E} \left( \left[ \frac{\partial}{\partial A} \ln p(\mathbf{x}; A) \right]^2 \right)
= -\mathbb{E} \left[ \frac{\partial^2}{\partial A^2} \ln p(\mathbf{x}; A) \right]
</math>

et en reprenant le même processus que précédemment :
:<math>
\frac{\partial}{\partial A} \ln p(\mathbf{x}; A)
=
\frac{1}{\sigma^2} \left[ \sum_{n=0}^{N-1}x[n] - N A \right]
</math>

La [[dérivée seconde]] donne :
:<math>
\frac{\partial^2}{\partial A^2} \ln p(\mathbf{x}; A) = \frac{1}{\sigma^2} (- N) = \frac{-N}{\sigma^2}
</math>

et trouver la valeur attendue négative est trivial car la dérivée est une constante déterministe :
<math>
-\mathbb{E} \left[ \frac{\partial^2}{\partial A^2} \ln p(\mathbf{x}; A) \right] = \frac{N}{\sigma^2}
</math>

On réinjecte l'information de Fisher dans le calcul :
:<math>
\mathrm{Var}\left( \hat{A} \right) \geq \frac{1}{\mathcal{I}}
</math>

ce qui donne
:<math>
\mathrm{Var}\left( \hat{A} \right) \geq \frac{\sigma^2}{N}
</math>

En comparant ce résultat à la variance de la moyenne empirique (déterminé auparavant) montre que la moyenne empirique ''atteint'' la borne de Cramér–Rao pour toutes valeurs de {{mvar|N}} et {{mvar|A}}.
Ainsi, la moyenne de l'échantillon est un (et même forcément le seul) [[Efficacité (statistiques)|estimateur efficace]], et est donc l'[[estimateur sans biais de variance minimale]] (MVUE), en plus d'être l'estimateur de [[maximum de vraisemblance]].

=== Maximum d'une distribution uniforme ===
{{article détaillé|Problème du char d'assaut allemand}}

Un des exemples non triviaux les plus simples d'estimation est celui de l'estimation du maximum d'une distribution uniforme. Il est utilisé classiquement pour illustrer les principes de bases de la théorie de l'estimation, en mettant en lumière des questions d'a priori et des erreurs dans l'utilisation de l'estimation par [[maximum de vraisemblance]] et des [[fonction de vraisemblance|fonctions de vraisemblance]].

Soit une [[loi uniforme discrète|distribution uniforme discrète]] {{math|1, 2, ..., ''N''}} de maximum inconnu, alors l'[[estimateur sans biais à variance minimale]] du maximum est 
:<math>\frac{k+1}{k} m - 1 = m + \frac{m}{k} - 1</math>
où {{mvar|m}} est le maximum de l'échantillon et {{mvar|k}} la taille de l'échantillon, sans remplacement<ref name="Johnson">{{article|lang=en
|nom=Johnson
|prénom=Roger
|titre=Estimating the Size of a Population
|année=1994
|journal=Teaching Statistics
|volume=16
|numéro=2 (Summer)
|doi=10.1111/j.1467-9639.1994.tb00688.x
|pages=50–52
}}</ref>{{,}}<ref name="Johnson2">{{ouvrage|lang=en
 |nom=Johnson 
 |prénom=Roger 
 |contribution=Estimating the Size of a Population 
 |titre=Getting the Best from Teaching Statistics 
 |année=2006 
 |url=http://www.rsscse.org.uk/ts/gtb/contents.html 
 |contribution-url=http://www.rsscse.org.uk/ts/gtb/johnson.pdf 
 |archive-url=https://web.archive.org/web/20081120085633/http://www.rsscse.org.uk/ts/gtb/contents.html 
 |archive-date=November 20, 2008 
}}</ref>. Ce cas est connu sous le nom du [[problème du char d'assaut allemand]], car il fut appliqué à l'estimation du nombre maximal de chars allemands produits pendant la [[Seconde Guerre Mondiale]].

La formule peut être comprise de façon intuitive comme :
:"le maximum de l'échantillon plus la différence moyenne entre les observations de l'échantillon",
la différence étant ajouté pour compenser le biais négatif du maximum de l'échantillon comme estimateur du maximum de la population<ref group="N">Le maximum de l'échantillon n'excède jamais le maximum de la population, mais peut lui être inférieur, ce qui en fait un [[estimateur biaisé]] : il va tendre à ''sous-estimer'' le maximum de la population.</ref>

Il a une variance de<ref name="Johnson" />
:<math>\frac{1}{k}\frac{(N-k)(N+1)}{(k+2)} \approx \frac{N^2}{k^2} \text{ pour } k \ll N</math>
donc un [[Écart type|écart-type]] proche de {{math|''N''/''k''}}, la taille moyenne (de la population) de la différence entre échantillons ; on pourra comparer avec {{sfrac|''m''|''k''}}. On peut voir ce résultat comme un cas simple d'[[estimation de l'espacement maximum]].

Le maximum de l'échantillon est l'estimateur du maximum de vraisemblance du maximum de la population, mais comme vu au-dessus, il est biaisé.

== Applications ==

De nombreux domaines utilisent la théorie de l'estimation :
* Interprétation d'expériences scientifiques
* [[Traitement du signal]]
* [[Essai clinique|Essais cliniques]]
* [[Sondage d'opinion|Sondages d'opinion]]
* [[Contrôle qualité]]
* [[Télécommunication]]s
* [[Gestion de projet]]
* [[Développement logiciel]]
* [[Théorie du contrôle]] (notamment le [[contrôle adaptatif]])
* [[Système de détection d'intrusion]]
* [[Orbitographie]]

Des mesures sont susceptibles d'être perturbées par un [[bruit (physique)|bruit]] ou une incertitude et c'est grâce à la [[théorie des probabilités]] que des solutions optimales sont étudiées afin d'en tirer autant d'[[Information de Fisher|information]] que possible.

== Voir aussi ==
{{Catégorie principale|Estimation theory}}
{{début de colonnes|nombre=2}}
* [[Meilleur estimateur sans biais]] (BLUE)
* [[Complétude (statistique)]]
* [[Théorie de la détection]]
* [[Efficacité (statistiques)]]
* [[Algorithme prédiction-maximisation]] (algorithme EM)
* [[Problème de Fermi]]
* [[Modèle de boîte grise]]
* [[Théorie de l'information]]
* [[Analyse spectrale des moindres carrés]]
* [[Filtre adapté]]
* [[Estimation spectrale à entropie maximale]]
* [[Paramètre de nuisance]]
* [[Équation paramétrique]]
* [[Principe de Pareto]]
* [[Règle de trois (statistique)]]
* [[Estimateur d'état]]
* [[Traitement statistique du signal]]
* [[Suffisance (statistique)]]
{{fin de colonnes}}

== Notes ==
<references group="N"/>

== Références ==
=== Citations ===
{{Références}}

=== Sources ===
{{refbegin}}
* {{ouvrage|lang=en|titre=Theory of Point Estimation|auteur1=E.L. Lehmann|auteur2=G. Casella|isbn=0387985026}}
* {{ouvrage|lang=en|titre=Systems Cost Engineering|auteur1=Dale Shermon|isbn=978-0-566-08861-2}}
* {{ouvrage|lang=en|titre=Mathematical Statistics and Data Analysis|auteur1=John Rice|isbn=0-534-209343}})
* {{ouvrage|lang=en|titre=Fundamentals of Statistical Signal Processing: Estimation Theory|auteur1=Steven M. Kay|isbn=0-13-345711-7}}
* {{ouvrage|lang=en|titre=An Introduction to Signal Detection and Estimation|auteur1=H. Vincent Poor|isbn=0-387-94173-8}})
* {{ouvrage|lang=en|titre=Detection, Estimation, and Modulation Theory, Part 1|auteur1=Harry L. Van Trees|isbn=0-471-09517-6|lire en ligne=https://web.archive.org/web/20050428233957/http://gunston.gmu.edu/demt/demtp1/}}
* {{ouvrage|lang=en|titre=Optimal State Estimation: Kalman, H-infinity, and Nonlinear Approaches|auteur1=Dan Simon|lire en ligne=http://academic.csuohio.edu/simond/estimation/}}
* {{ouvrage|lang=en|auteur=Ali H. Sayed|titre=Adaptive Filters|éditeur=Wiley, NJ|année=2008|isbn=978-0-470-25388-5}}.
* {{ouvrage|lang=en|auteur=Ali H. Sayed|titre=Fundamentals of Adaptive Filtering|éditeur=Wiley, NJ|année=2003|isbn=0-471-46126-1}}.
* {{ouvrage|lang=en|auteur1=Thomas Kailath|auteur2=Ali H. Sayed|auteur3=Babak Hassibi|titre=Linear Estimation|éditeur=Prentice-Hall, NJ|année=2000|isbn=978-0-13-022464-4}}.
* {{ouvrage|lang=en|auteur1=Babak Hassibi|auteur2=Ali H. Sayed|auteur3=Thomas Kailath|titre=Indefinite Quadratic Estimation and Control: A Unified Approach to H<sup>2</sup> and H<sup><math>\infty</math></sup> Theories|éditeur=Society for Industrial & Applied Mathematics (SIAM), PA|année=1999|isbn=978-0-89871-411-1}}.
* {{ouvrage|lang=en|auteur1=V.G.Voinov|auteur2=M.S.Nikulin|titre=Unbiased estimators and their applications. Vol.1: Univariate case|éditeur=Kluwer Academic Publishers|année=1993 |isbn=0-7923-2382-3}}.
* {{ouvrage|lang=en|auteur1=V.G.Voinov|auteur2=M.S.Nikulin|titre=Unbiased estimators and their applications. Vol.2: Multivariate case|éditeur=Kluwer Academic Publishers |année=1996|isbn=0-7923-3939-8}}.
{{refend}}

== Liens externes ==
{{Traduction/Référence|en|Estimation theory|1056613982}}
{{Autres projets|commons=Category:Théorie de l'estimation}}

{{Palette Traitement du signal}}

{{Portail|analyse}}

[[Catégorie:Traitement du signal]]