Échantillonnage de Gibbs

L'Modèle:Terme défini est une méthode MCMC. Étant donné une distribution de probabilité Modèle:Formule sur un univers Modèle:Formule, cet algorithme définit une chaîne de Markov dont la distribution stationnaire est Modèle:Formule. Il permet ainsi de tirer aléatoirement un élément de Modèle:Formule selon la loi Modèle:Formule (on parle d'échantillonnage).

Introduction

Comme pour toutes les méthodes de Monte-Carlo à chaîne de Markov,

• on se place dans un espace vectoriel Ɛ de dimension finie n ;
• on veut générer aléatoirement N vecteurs x⁽ⁱ⁾ suivant une distribution de probabilité π ;
• pour simplifier le problème, on détermine une distribution q_x⁽ⁱ⁾ permettant de générer aléatoirement x^{(i + 1)} à partir de x⁽ⁱ⁾.

La spécificité de l'échantillonnage de Gibbs consiste à « découper » q_x⁽ⁱ⁾ en n probabilités conditionnelles :

• la première composante du vecteur, x^{(i + 1)}₁, est générée à partir de la probabilité conditionnelle π(x₁|x⁽ⁱ⁾₂, x⁽ⁱ⁾₃, …, x⁽ⁱ⁾_n) ;
• la seconde composante du vecteur, x^{(i + 1)}₂, est générée à partir de la probabilité conditionnelle π(x₂|x^{(i + 1)}₁, x⁽ⁱ⁾₃, …, x⁽ⁱ⁾_n) ;
• la composante j du vecteur, x^{(i + 1)}_j, est générée à partir de la probabilité conditionnelle π(x_j|x^{(i + 1)}₁, x^{(i + 1)}₂, …, x^{(i + 1)}_{j - 1}, x⁽ⁱ⁾_{j + 1}, …, x⁽ⁱ⁾_n).

On remplace donc le problème de génération aléatoire de x^{(i + 1)} par n problèmes que l'on espère plus simples.

Principe

Soit Modèle:Formule une variable de loi Modèle:Formule dans l'espace de sites Modèle:Formule vers l'espace des états Modèle:Formule. Pour Modèle:Formule et les densités conditionnelles Modèle:Formule où Modèle:Formule, on construit l'échantillonneur de Gibbs sur les noyaux Modèle:Formule-invariants : Modèle:Formule.

Échantillonneur par balayage systématique

On visite Modèle:Formule séquentiellement, en relaxant à chaque pas Modèle:Formule la valeur suivant la loi Modèle:Formule conditionnelle à l'état courant. La transition de Modèle:Formule à Modèle:Formule s'écrit: Modèle:Retrait

Échantillonneur par balayage aléatoire

Soit Modèle:Formule une probabilité jamais nulle sur Modèle:Formule. À chaque pas, un site Modèle:Formule est choisi avec la probabilité Modèle:Formule et la valeur y est relaxée selon la loi conditionnelle Modèle:Formule à l'état courant. La transition s'écrit: Modèle:Retrait

Propriétés

• Si Modèle:Formule est fini, la transition Modèle:Formule est positive strictement et la vitesse de convergence de Modèle:Formule est exponentielle.
• Modèle:Formule peut être connu à un facteur multiplicatif près.