M-estimateur

M-estimateur

En statistique, les M-estimateurs constituent une large classe de statistiques obtenues par la minimisation d'une fonction dépendant des données et des paramètres du modèle. Le processus du calcul d'un M-estimateur est appelé M-estimation. De nombreuses méthodes d'estimation statistiques peuvent être considérées comme des M-estimateurs. Dépendant de la fonction à minimiser lors de la M-estimation, les M-estimateurs peuvent permettre d'obtenir des estimateurs plus robustes que les méthodes plus classiques, comme la méthode des moindres carrés.

Définition

Les M-estimateurs ont été introduits en 1964 par Peter Huber sous la forme d'une généralisation de l'estimation par maximum de vraisemblance à la minimisation d'une fonction Modèle:Mvar sur l'ensemble des données. Ainsi, le (ou les) M-estimateur associé aux données et à la fonction Modèle:Mvar est estimé par

$\hat{\theta }={\mathrm{argmin}}_{\theta }(\sum _{i=1}^n\rho (x_i,\theta ))$

Le M de M-estimateur provient donc du maximum de vraisemblance (Modèle:Lang en anglais) et les estimateurs par maximum de vraisemblance sont un cas particulier des M-estimateurs.

Types

La résolution du problème de minimisation passe couramment par une différentiation de la fonction cible. En effet, pour chercher $\hat{\theta }$, une méthode simple consiste à chercher les valeurs telles que

$\frac{\partial }{\partial \theta }(\sum _{i=1}^n\rho (x_i,\theta ))=0.$

Dans le cas où cette différentiation est possible, le M-estimateur est dit de type Modèle:Mvar ; sinon, il est dit de type Modèle:Mvar.

Exemples de M-estimateurs

Parmi les exemples connus de M-estimateurs, on peut citer :

• $\rho (x)=x^2$, ce qui revient à appliquer la méthode des moindres carrés
• $\rho (x)=|x|$
• ${\rho }_k(x)=\{\begin{array}{cc}\frac{x^2}{2}& \text{ si }|x|<k\\ k(|x|-\frac{k}{2})& \text{ si }|x|⩾k\end{array}$ (Modèle:Lien)
• ${\rho }_c(x)=\frac{c^2}{2}\ln (1+{\left(\frac{x}{c}\right)}^2)$ (fonction de Lorentz)
• ${\rho }_c(x)=\frac{x^2}{2}(1-\frac{x^2}{2c^2}+\frac{x^4}{6c^4})$ (bipoids de Tukey)

Articles connexes

• Méthode des moindres carrés

Références

• Modèle:Ouvrage