Réduction de la variance

Modèle:Ébauche La réduction de la variance regroupe l'ensemble des techniques, plus ou moins simples, qui permettent de réduire la variance des estimateurs de Monte-Carlo.

Méthodes de réduction de la variance

• Variable antithétique : on introduit une seconde variable aléatoire très fortement négativement corrélée avec la première, permettant de réduire la variance. L'élément clef est la formule suivante, valable pour deux variables $X,Y$:

$\mathrm{Var}(X+Y)=\mathrm{Var}(X)+\mathrm{Var}(Y)+2\mathrm{Cov}(X,Y)$

• Variable de contrôle : on introduit une variable tierce, dite variable de contrôle, et on construit une nouvelle classe d'estimateurs, dépendant d'un paramètre c. On cherche la valeur du paramètre c permettant de réaliser une réduction de variance, par rapport à l'estimation Monte-Carlo de base ;

• L'échantillonnage préférentiel (ou importance sampling en anglais) : lors du tirage de données aléatoires, certaines valeurs ont plus d'importance que d'autres dans l'évaluation de l'espérance/intégrale. L'idée est donc d'abandonner l'échantillonnage uniforme (selon la loi uniforme continue) pour un échantillonnage selon une autre loi, plus appropriée.

• Le conditionnement statistique : en partant de la formule de la variance totale

$\mathrm{Var}(X)=𝔼[\mathrm{Var}(X|Z)]+\mathrm{Var}[𝔼(X|Z)]$

on peut en déduire que, pour une variable Z bien choisie, on a un meilleur estimateur en utilisant $𝔼(X|Z)$ plutôt que $𝔼(X)$, en effet, on aurait dans ce cas une espérance égale (par le théorème de l'espérance totale) mais une variance moindre :

$𝔼[𝔼(X|Z)]=𝔼(X)\text{ et }\mathrm{Var}[𝔼(X|Z)]⩽\mathrm{Var}(X)$

• La stratification : on partitionne le domaine d'intégration en sous-domaines, et on introduit les lois de probabilités conditionnelles selon le sous-domaine, en cherchant à minimiser la variance induite

Exemples

Illustration de méthodes de réduction de la variance sur le problème de Monte-Carlo de la surface du cercle : la méthode de Monte-Carlo classique (en bleu) converge moins vite que la méthode avec conditionnement statistique (vert), elle-même plus lente que celle avec conditionnement et variable antithétique (brun)

On considère UModèle:Ind et UModèle:Ind deux variables aléatoires iid suivant une loi uniforme sur [0 ; 1], dont on déduit Modèle:Nobr, Modèle:Nobr, qui sont alors iid suivant une loi uniforme sur Modèle:Nobr, et on pose enfin la variable X la variable qui vaut 1 si le couple (VModèle:Ind,VModèle:Ind) est dans le cercle centré en Modèle:Nobr et de rayon 1, et 0 sinon. Alors :

$𝔼(X)=\frac{{𝒜}_{\text{cercle}}}{{𝒜}_{\text{carré}}}=\frac{\pi }{4}.$

Une façon de réduire la variance est d'utiliser le conditionnement par VModèle:Ind. En effet,

$𝔼(X\mid V_1)=\mathbb{P}(V_1^2+V_2^2⩽1\mid V_1)=\mathbb{P}(|V_2|⩽\sqrt{1-V_1^2})=𝔼\left(\sqrt{1-V_1^2}\right).$

d'où :

$\begin{array}{ccccc}𝔼(X)& =& 𝔼[𝔼(X\mid V_1)]& =& 𝔼(\sqrt{1-V_1^2})\\ & =& \underset{-1}{\overset{1}{\int }}\sqrt{1-v^2}\times \frac{1}{2}\mathrm{d}v& =& \underset{0}{\overset{1}{\int }}\sqrt{1-u^2}\mathrm{d}u\\ & =& 𝔼(\sqrt{1-U^2}),u\sim 𝒰([0;1]).\end{array}$

Ainsi, pour estimer la valeur de Modèle:Sfrac, on peut préférer effectuer une série de n tirages uniformes Modèle:Nobr et calculer $\frac{1}{n}(\sqrt{1-U_{(1)}^2}+\dots +\sqrt{1-U_{(n)}^2})$, plutôt que la méthode de Monte-Carlo intuitive, qui consiste en un tirage de couples de variables uniformes. Dans cet exemple, on peut même remarquer que $x\mapsto \sqrt{1-x^2}$ est paire, donc on peut le cumuler avec un tirage antithétique, qui permet encore de diviser par 2 le nombre de tirages.

Références

• Modèle:Ouvrage