Voir la source de Différentiabilité en moyenne quadratique (statistiques)

La '''différentiabilité en moyenne quadratique''' est une propriété de certains modèles statistiques introduite par [[Lucien Le Cam]], détaillée dans un article de 1970<ref>{{Article|prénom1=L.|nom1=LeCam|titre=On the Assumptions Used to Prove Asymptotic Normality of Maximum Likelihood Estimates|périodique=The Annals of Mathematical Statistics|volume=41|numéro=3|date=1970-06|issn=0003-4851|doi=10.1214/aoms/1177696960|lire en ligne=http://dx.doi.org/10.1214/aoms/1177696960|consulté le=2023-10-13|pages=802–828}}</ref>. La différentiabilité en moyenne quadratique d'un modèle garantit certains résultats asymptotiques, tels que la normalité asymptotique de l'estimateur du [[maximum de vraisemblance]] associé, ou la [[normalité asymptotique locale]].
== Définition ==
Soit <math>P_\theta</math> un [[modèle statistique]] dépendant d'un paramètre <math>\theta \in \mathbb{R}^k</math> de dimension <math>k \in \mathbb{N}^*</math>, générant une variable aléatoire <math>X</math> dans un espace <math>\mathcal{X}</math>. Notons <math>p(\theta_0;x)</math> la [[vraisemblance]] d'une observation <math>x</math> sous ce modèle avec une valeur <math>\theta_0</math> du paramètre <math>\theta</math>.

Le modèle <math>P_\theta</math> est dit différentiable en moyenne quadratique en <math>\theta_0</math> s'il existe une fonction mesurable <math>s : \mathbb{R}^k \times \mathcal{X} \mapsto \mathbb{R}</math> telle que, pour tout <math>h</math> de <math>\mathbb{R}^k</math> dans un voisinage de 0,
: <math>\int_{\mathcal{X}} \left[\sqrt{p\left(\theta_0 + h; x\right)} - \sqrt{p(\theta_0;x)} - \frac{1}{2} h ^T s(\theta_0, x) \sqrt{p(\theta_0; x)}\right]^2\,dx = o(|| h|| ^{2})\,</math><ref>{{Ouvrage|prénom1=A. W. van der|nom1=Vaart|titre=Asymptotic Statistics|éditeur=Cambridge University Press|collection=Cambridge Series in Statistical and Probabilistic Mathematics|date=1998|isbn=978-0-521-78450-4|doi=10.1017/cbo9780511802256|lire en ligne=https://www.cambridge.org/core/books/asymptotic-statistics/A3C7DAD3F7E66A1FA60E9C8FE132EE1D|consulté le=2023-10-09}}</ref>.

=== Remarques ===

* Dans la plupart des cas, la fonction <math>s</math> correspond à la dérivée de la log-vraisemblance : <math>s\left(\theta; x\right) = \frac{\partial}{\partial \theta} \log \left( p\left(\theta; x\right) \right)</math>, souvent appelée ''fonction'' ''score'' du modèle. En effet, lorsque <math>p(\theta_0; x)</math> est dérivable par rapport à <math>\theta</math>, <math>\frac{1}{2} s(\theta_0, x) \sqrt{p(\theta_0; x)}</math> correspond généralement à la dérivée de <math>\sqrt{p\left(\theta_0; x\right)}</math> par rapport à  <math>\theta</math>, c'est-à-dire à <math>\frac{1}{2}\frac{\partial }{\partial \theta} p(\theta_0; x) / \sqrt{p(\theta_0; x)} = \frac{1}{2} \frac{\partial}{\partial \theta} \log\left(p(\theta_0; x)\right) \sqrt{p(\theta_0; x)}</math>.
* Cette définition désigne en réalité la différentiabilité en moyenne quadratique de la racine carrée de la vraisemblance de ce modèle. Pour être rigoureux, il faudrait donc parler d'un modèle dont la racine carrée de la vraisemblance est différentiable en moyenne quadratique. Cependant, l'appellation ''différentiabilité en moyenne quadratique'' est plus concise et plus couramment utilisée.

=== Différentiabilité dans l'espace L<sup>2</sup> ===
Comme dit précédemment, la différentiabilité en moyenne quadratique d'une [[loi de probabilité]] correspond en réalité à la différentiabilité de la racine carrée de la vraisemblance dans l'[[Espace L2|espace des fonctions <math>L^2</math>]] (fonctions dont le carré est intégrable) muni de la [[Norme (mathématiques)|norme]] 2<ref>{{Chapitre|langue=en|prénom1=David|nom1=Pollard|titre chapitre=Another Look at Differentiability in Quadratic Mean|titre ouvrage=Festschrift for Lucien Le Cam: Research Papers in Probability and Statistics|éditeur=Springer|date=1997|isbn=978-1-4612-1880-7|doi=10.1007/978-1-4612-1880-7_19|lire en ligne=https://doi.org/10.1007/978-1-4612-1880-7_19|consulté le=2023-10-09|passage=305–314}}</ref>.

Pour mieux voir cela, considérons une loi de probabilité dépendant d'un paramètre <math>\theta \in\mathbb{R}^k</math>, dont nous noterons la vraisemblance <math>p_\theta(x)</math>.

La racine carrée de cette vraisemblance peut être vue comme une application qui, à une valeur de paramètre <math>\theta</math> fait correspondre une fonction <math>\sqrt{p_\theta}: x \mapsto \sqrt{p_\theta(x)}</math> dont le carré est intégrable (d'intégrale 1 puisque <math>p_\theta</math> est une densité), c'est-à-dire un élément de <math>L^2</math> : 

<math>\sqrt{p} \,:\,\, \begin{array}{rcc}
 \mathbb{R}^k&\to &L^2 \\
 \theta & \mapsto & \sqrt{p_\theta}
\end{array}</math>.

Cette application est différentiable dans <math>L^2</math> en <math>\theta_0</math> s'il existe un élément <math>Dp_{\theta_0} </math> de  <math>L^2</math> tel que pour tout <math>h</math> dans un voisinage de <math>0</math>, <math>\sqrt{p_{\theta_0 + h}} = \sqrt{p_{\theta_0}} +h\cdot Dp_{\theta_0} +  o(h)</math> lorsque h tend vers 0. Cette égalité porte sur des fonctions de  <math>L^2</math>, le terme <math>o(h)</math> désigne donc ici une fonction dont la norme 2 est négligeable devant <math>h</math> . Cette égalité peut donc se réécrire comme 
: <math>\sqrt{\int_x \left(\sqrt{p_{\theta_0 + h}(x)} - \sqrt{p_{\theta_0}(x)} - Dp_{\theta}(x)\right)^2 \, dx } = o(h)</math> .

== Exemples ==
Une démarche classique pour montrer la différentiabilité en moyenne quadratique d'une loi de probabilité est la suivante :
* Effectuer un [[développement limité]] de la racine carrée de la vraisemblance: <math>\sqrt{p(x;\theta + h)} = \sqrt{p(x; \theta)} + \frac{h}{2}s(x; \theta)\sqrt{p(x; \theta)} + o\left(h\right)</math>,
* Montrer que <math>\left(\sqrt{p(x;\theta + h)} - \sqrt{p(x; \theta)} - \frac{h}{2}s(x; \theta)\sqrt{p(x; \theta)} \right)^2 / h^2 </math> peut être dominé par une fonction <math>g(x; \theta)</math>, intégrable et indépendante de <math>h</math>, pour tout <math>h</math> dans un voisinage de 0, (par exemple en utilisant la [[dérivée seconde]] de la racine carrée de la vraisemblance et l'inégalité de Taylor-Lagrange),
* Conclure en utilisant le [[Intégrale paramétrique#Limite|théorème de convergence dominée]].
=== Distribution exponentielle ===

La loi exponentielle, paramétrée par sa moyenne <math>\theta  </math>, ou par son intensité <math>\lambda  </math>, est différentiable en moyenne quadratique en toute valeur du paramètre différent de 0. La fonction score associée est <math>s(\theta; x) = \frac{x - \theta}{\theta^2}</math>.

{{Démonstration|
Considérons une [[loi exponentielle]] d'espérance <math>\theta > 0</math>. 
Comme il s'agit d'une loi continue, sa vraisemblance est donnée par sa densité de probabilité: <math>p(\theta; x) = \frac{1}{\theta} e^{-x / \theta}</math> pour <math>x \in \mathbb{R}_+</math>. 

La fonction score de ce modèle (c'est-à-dire la dérivée de sa log-vraisemblance par rapport à <math>\theta</math>) est <math>s(\theta; x) = \frac{\partial}{\partial \theta} \left[ - \log(\theta) - \frac{x}{\theta} \right] = \frac{x - \theta}{\theta^2}</math>.

Un [[développement de Taylor]] d'ordre 1 de la racine carrée de la vraisemblance en <math>\theta</math> donne:  
: <math>\sqrt{p(x; \theta + h)} = \sqrt{p(x; \theta)} + \frac{x - \theta}{ 2 \, \theta^2} \sqrt{p(x ; \theta)} \, h + o(h)</math>. 

On en déduit que <math>\left(\sqrt{p(\lambda + h; x)} - \sqrt{p(\lambda ; x)} - \frac{1}{2}\left(\frac{1}{\lambda} - x\right)  \sqrt{p(\lambda ; x)} \, h \right)^2 = o(h^2) </math>. 
Afin de montrer que l'inégalité ci-dessus reste vraie lorsqu'on l'intègre sur <math>\mathbb{R}_+</math> par rapport à <math>x</math>, il faut montrer que 
<math>\left(\sqrt{p(\lambda + h; x)} - \sqrt{p(\lambda ; x)} - \frac{1}{2}\left(\frac{1}{\lambda} - x\right)  \sqrt{p(\lambda ; x)} \, h \right)^2 / h ^2 </math> est borné par une fonction <math>g</math> intégrable et ne dépendant pas de <math>h</math>, pour tout <math>h </math> dans un voisinage de 0. Prenons le voisinage défini par <math>\left[-\frac{\theta}{2} ; \frac{\theta}{2}\right]</math>. 

La dérivée seconde de la racine de la vraisemblance est 
:<math>f(x; \theta) = \frac{\partial^2}{\partial {\theta}^2} \sqrt{p(x;\theta)} = - \frac{2 \theta  + 5 {(x - \theta)}^{2}}{4 \theta ^ 3}\sqrt{p(x ; \theta )}</math>.  
Il est aisé de borner la valeur absolue de cette dérivée seconde calculée en <math>\theta + h</math> lorsque <math>h \in \left[-\frac{\theta}{2}\,; \frac{\theta}{2} \right]</math>. Par exemple, 
:<math>\left|f(x;\theta + h) \right| \leq \frac{3 \theta / 2 + x^2 + 9 \theta ^ 2 /4 }{\theta^3 / 2 } \frac{e^{-\frac{x}{3\theta}}}{\sqrt{\theta / 2}}</math>. 
Appelons cette borne <math>g(x; \theta)</math> 

Le théorème de Taylor-Lagrange implique que  
<math>\left|\sqrt{p(\lambda + h; x)} - \sqrt{p(\lambda ; x)} - \frac{1}{2}\left(\frac{1}{\lambda} - x\right)  \sqrt{p(\lambda ; x)} \, h \right | \leq \frac{h ^ 2}{2} g(x;\theta) </math>,  
et donc que <math>\left(\sqrt{p(\lambda + h; x)} - \sqrt{p(\lambda ; x)} - \frac{1}{2}\left(\frac{1}{\lambda} - x\right)  \sqrt{p(\lambda ; x)} \, h \right)^2 / h ^2 \leq \frac{1}{4}g(x;\theta)^2  </math>. 

Comme <math>\frac{1}{4}g(x ; \theta )^2 </math> est intégrable par rapport à <math>x </math> sur <math>\mathbb{R}_+</math> (il s'agit du produit d'une exponentielle décroissante et d'un polynôme), le théorème de convergence dominé permet de conclure. On a bien 
: <math>\int_{\mathbb{R}_+}\left(\sqrt{p(\lambda + h; x)} - \sqrt{p(\lambda ; x)} - \frac{1}{2}\left(\frac{1}{\lambda} - x\right)  \sqrt{p(\lambda ; x)} \, h \right)^2 / h^2 dx = o(h^2) </math>.
La loi exponentielle est donc bien différentiable en moyenne quadratique pour tout <math>\theta > 0</math>.
}}

=== Contre exemple ===

La loi uniforme sur l'intervalle <math>[ 0 \, ; \theta ]</math> n'est pas différentiable en moyenne quadratique. En effet, lorsque <math>X_1, \ldots, X_n</math> sont générés de façon iid suivant une loi uniforme sur  <math>[ 0 \, ; \theta ]</math>, l'estimateur du maximum de vraisemblance de <math>\theta</math> est donné par <math>\hat{\theta} = \max \{X_1, \ldots, X_n\}</math> et n'est pas asymptotiquement normal. Or l'estimateur du maximum de vraisemblance associé à un modèle différentiable en moyenne quadratique est nécessairement asymptotiquement normal.

== Propriétés ==

=== Normalité asymptotique du maximum de vraisemblance ===
Si des échantillons aléatoires de tailles <math>n</math>, <math>X_1, \ldots, X_n</math>, sont générés de manière iid selon une loi de probabilité <math>p_\theta</math> différentiable en moyenne quadratique, alors l'estimateur du maximum de vraisemblance est asymptotiquement normal avec pour variance asymptotique l'inverse de l'[[information de Fisher]]. Plus précisément, lorsque <math>n</math> tend vers l'infini, 
: <math>\sqrt{n}\left(\hat{\theta}_{MV} - \theta\right) \xrightarrow{\mathcal{L}} \mathcal{N}\left(0, J^{-1}_\theta\right)</math>
où <math>\hat{\theta}_{MV }</math> est l'estimateur du maximum de vraisemblance, défini comme <math>\hat{\theta}_{MV} = \textrm{argmax}_\theta\left\{ \sum_{i=1}^n \log\left(p_\theta(X_i)\right)\right\}</math>, <math>J_\theta</math> désigne l'information de Fisher définie comme <math>J_\theta = \mathrm{var}\left[ \frac{\partial}{\partial \theta}\log(p_\theta(X))\right]</math> et où  <math>\xrightarrow{\mathcal{L}}</math>  désigne la convergence en loi.
=== Normalité asymptotique locale ===
Une loi de probabilité <math>p_\theta</math> différentiable en moyenne quadratique donne un modèle statistique [[Normalité asymptotique locale|localement asymptotiquement normal]] lorsqu'on génère des données [[iid]] selon cette loi.

== Voir aussi ==

* [[Lucien Le Cam]]
* [[Normalité asymptotique locale]]
* [[Maximum de vraisemblance|Estimateur du maximum de vraisemblance]]

== Références ==
{{Références}}

{{Portail|probabilités et statistiques}}

[[Catégorie:Statistiques]]