Probabilité stationnaire d'une chaîne de Markov

La probabilité stationnaire $\pi =({\pi }_i{)}_{i\in E}$ d'une chaîne de Markov $X=(X_n{)}_{n\ge 0}$ s'interprète usuellement comme la fraction du temps passé en chaque état $i$ de l'espace d'états $E$ de cette chaîne de Markov, asymptotiquement. En effet, une version de la loi forte des grands nombres pour les chaînes de Markov stipule que :

${\pi }_i=\underset{n}{\lim }\frac{1_{X_0=i}+1_{X_1=i}+\dots +1_{X_{n-2}=i}+1_{X_{n-1}=i}}{n}=\underset{n}{\lim }\frac{S_n(i)}{n},$

presque sûrement, sous certaines hypothèses détaillées plus bas. La variable aléatoire $S_n(i)$ s'interprète comme le temps passé en $i$ lors des $n$ premiers pas de la chaîne de Markov $X.$ La fraction $S_n(i)/n$ est donc la fraction de temps passé en l'état $i$ pendant les $n$ premiers pas de la chaîne de Markov. La convergence de cette fraction lorsque $n$ tend vers l'infini n'est pas un résultat anodin. On trouvera une discussion plus poussée sur le temps de séjour sur la page Récurrence et transience d'une chaîne de Markov.

Existence et unicité : cas irréductible

L'existence d'une probabilité stationnaire $\pi$ pour une chaîne de Markov irréductible est liée aux propriétés du temps de retour en $i,$ et en particulier aux propriétés de récurrence de l'état $i.$ Modèle:Théorème Rappelons que lorsqu'on étudie une chaîne de Markov particulière, sa matrice de transition est en général bien définie et fixée tout au long de l'étude, mais la loi initiale peut changer lors de l'étude et les notations doivent refléter la loi initiale considérée sur le moment : si à un moment de l'étude on considère une chaîne de Markov de loi initiale définie par $\mathrm{\forall }i\in E,\mathbb{P}(X_0=i)={\mu }_i,$ alors les probabilités sont notées ${\mathbb{P}}_{\mu }(\dots ),$ et les espérances sont notées ${𝔼}_{\mu }[\dots ].$ En particulier, si $\mathbb{P}(X_0=j)=1,$ on dit que la chaîne de Markov part de $j,$ les probabilités sont notées ${\mathbb{P}}_j(\dots ),$ et les espérances sont notées ${𝔼}_j[\dots ].$ Ci-dessus, dans la notation ${𝔼}_i,$ l'indice $i$ signifie qu'on calcule l'espérance pour la chaîne de Markov partant de $i,$ i.e. de loi initiale définie par $\mathbb{P}(X_0=i)=1.$ Ainsi ${𝔼}_i\left[T_i\right]$ s'interprète comme l'intervalle de temps "typique" entre deux passages consécutifs à l'état $i.$ Modèle:Théorème

La relation entre existence et unicité des probabilités stationnaires, classifications des états de la chaîne de Markov et récurrence positive est traité dans un cadre complètement général à la section Existence et unicité. Cependant les théorèmes ci-dessus, valables uniquement pour les chaînes de Markov irréductibles, sont suffisants dans un grand nombre d'exemples.

Loi forte des grands nombres

Graphe de la marche réfléchie en 0

Distribution empirique (rouge) et distribution stationnaire (bleue) pour la marche réfléchie en 0, départ à la moyenne stationnaire -1+1/ρ=2 : p=0.4, q=0.6, ρ=1/3, 2 000 pas

Distribution empirique (rouge) : départ à la moyenne stationnaire -1+1/ρ=12, p=0.48, q=0.52, ρ=1/13, 2 000 pas

Distribution empirique (rouge) : départ à la moyenne stationnaire -1+1/ρ=12, p=0.48, q=0.52, ρ=1/13, 5 000 pas

Distribution empirique (rouge) : départ à la moyenne stationnaire -1+1/ρ=12, p=0.48, q=0.52, ρ=1/13, 20 000 pas

Dans le cas d'une chaîne de Markov irréductible et récurrente positive, la loi forte des grands nombres est en vigueur : la moyenne d'une fonction $f$ sur les instances de la chaîne de Markov est égale à sa moyenne selon sa probabilité stationnaire. Plus précisément, sous l'hypothèse

$\sum _{i\in E}|f(i)|{\pi }_i<+\mathrm{\infty },$

on a presque sûrement :

$\underset{n}{\lim }\frac{1}{n}\sum _{k=0}^{n-1}f(X_k)=\sum _{i\in E}f(i){\pi }_i=\pi f.$

La moyenne de la valeur des instances est donc, sur le long terme, égale à l'espérance de la probabilité stationnaire. En particulier, cette équivalence sur les moyennes s'applique si $f$ est la fonction indicatrice d'un sous-ensemble $A$ de l'espace des états :

$\underset{n}{\lim }\frac{1}{n}\sum _{k=0}^{n-1}{1}_A(X_k)=\sum _{i\in A}{\pi }_i=\pi (A).$

Cela permet d'approcher la probabilité stationnaire par un histogramme (la distribution empirique) construit à partir d'une séquence particulière.

Ergodicité

En particulier, si le processus est construit en prenant la probabilité stationnaire comme loi initiale, le shift $\theta$ défini par

$x=(x_0,x_1,x_2,\dots )\in E^{\mathbb{N}}\to \theta x=(x_1,x_2,x_3,\dots )$

préserve la mesure, ce qui fait de la chaîne de Markov un système dynamique. La loi forte des grands nombres entraine alors que la chaîne de Markov est un système dynamique ergodique. L'ergodicité est à la fois plus forte que la loi forte des grands nombres car on peut en déduire, par exemple, que $\frac{1}{n}\sum _{k=0}^{n-1}f(X_k,X_{k+1}),$ a pour limite presque sûre $\sum _{i,j\in E}f(i,j){\pi }_i{p}_{i,j},$ mais elle est aussi plus faible car elle réclame en principe la stationnarité de la chaîne de Markov, ce qui n'est pas le cas de la loi forte des grands nombres.

Convergence vers la loi stationnaire

Convergence de la loi marginale

Si la chaîne de Markov est irréductible, récurrente positive et apériodique, alors $P^k$ converge vers une matrice dont chaque ligne est l'unique distribution stationnaire $\pi .$ En particulier, la loi ${\mu }_n$ de $X_n$ converge vers $\pi$ indépendamment de la loi initiale ${\mu }_0.$ Dans le cas d'un espace d'état fini, cela se prouve par le théorème de Perron-Frobenius.

Typiquement, par exemple dans le cas d'une chaîne de Markov à espace d'états fini irréductible et apériodique, la convergence est exponentiellement rapide, i.e. pour une norme quelconque, on peut trouver $K>0$ et $\alpha \in ]0,1[$ tels que

$\Vert {\mu }_n-\pi \Vert \le K{\alpha }^n.$

On trouve plus loin dans l'article une démonstration de cette décroissance exponentielle dans le cas particulier des chaînes réversibles.

Convergence de la mesure empirique

Si la chaîne de Markov est irréductible et récurrente positive alors, par suite de la loi forte des grands nombres, la mesure empirique de la chaîne de Markov,

$\frac{1}{n}\sum _{k=0}^{n-1}{\delta }_{X_k}=\frac{1}{n}\sum _{i\in E}{S}_n(i){\delta }_i,$

converge vers l'unique distribution stationnaire. Typiquement, par exemple dans le cas d'une chaîne de Markov à espace d'états fini irréductible et récurrente positive, la convergence est, en un certain sens, en $𝒪(1/\sqrt{n}).$ Cela permet d'approcher la probabilité stationnaire par un histogramme construit à partir d'une séquence particulière. Nota: alors que la loi de $X_n,$ notée ${\mu }_n$ ci-dessus, est une mesure de probabilité fixée, la loi empirique est, elle, une mesure de probabilité aléatoire, ou bien, si l'on veut, une variable aléatoire à valeurs dans les mesures de probabilité. Modèle:Exemple

Chaînes réversibles

Critères

Modèle:Théorème Modèle:Démonstration La matrice $(q_{i,j}{)}_{i,j\in E}$ est l'adjointe de la matrice $(p_{i,j}{)}_{i,j\in E}$ pour le produit scalaire défini par

$⟨x,y⟩=\sum _{i\in E}{\pi }_i{x}_i{y}_i.$

Interprétation

Si une variable aléatoire $X=(X_t{)}_{t\in \mathbb{Z}}$ à valeur dans $E^{\mathbb{Z}}$ satisfait, pour tout $(t,n)\in \mathbb{Z}\times \mathbb{N},$ et toute suite $(i_0,i_1,\dots ,i_n)\in E^{n+1},$

$\mathbb{P}((X_t,X_{t+1},\dots ,X_{t+n})=(i_0,i_1,\dots ,i_n))={\pi }_{i_0}{p}_{i_0,i_1}\dots p_{i_{n-1},i_n}$

on dit que X est une chaîne de Markov stationnaire, de matrice de transition $(p_{i,j}{)}_{i,j\in E},$ et de loi stationnaire $({\pi }_i{)}_{i\in E}.$ En effet :

• cela définit une et une seule mesure de probabilité sur $E^{\mathbb{Z}}$ ;
• X possède la propriété de Markov faible ;
• stationnarité : la suite $X^{(s)}=(X_t^{(s)}{)}_{t\in \mathbb{Z}}$ (définie par $X_t^{(s)}=X_{s+t}$) a même loi que la suite X, pour tout entier relatif s.

Renversons le cours du temps, i.e. considérons la suite $Y=(Y_t{)}_{t\in \mathbb{Z}}$ définie par

$Y_t=X_{-t}.$

On a alors Modèle:Théorème

Graphe de la marche du cavalier sur l'échiquier (quart Sud-Ouest), et degré des sommets

Exemples

Marche aléatoire sur un graphe

Soit G un graphe connexe, fini, simple et sans boucles. Par définition,

$\mathrm{\forall }i,j\in E=V(G),\text{ tels que }i\sim j,p_{i,j}=\frac{1}{d_i},$

i.e. à partir de $i,$ on saute vers un de ses $d_i$ voisins choisis au hasard (avec équiprobabilité), $d_i$ désignant le degré de $i$ dans le graphe $G.$ La connexité de $G$ entraîne l'irréductibilité de la marche aléatoire et l'unicité de la probabilité stationnaire. On remarque que ${\mu }_i=d_i$ satisfait le critère 2, or $\Vert \mu \Vert =2|E(G)|,$ i.e. $\Vert \mu \Vert$ est deux fois le nombre d'arêtes de $G.$ Ainsi ${\pi }_i=d_i/(2|E(G)|)$ est l'unique probabilité stationnaire : on passe d'autant plus de temps en un sommet que son degré est élevé, et ce temps de séjour asymptotique est proportionnel au degré du sommet, avec coefficient de proportionnalité $1/(2|E(G)|).$ Un exemple amusant est la marche aléatoire d'un cavalier sur un échiquier.

Marche du cavalier sur l'échiquier

C'est un cas particulier de l'exemple ci-dessus, où $2\le d_i\le 8,|V(G)|=|E|=64,$ et $\Vert \mu \Vert =2|E(G)|=336.$ Ainsi

${\pi }_{\text{coin SO}}=\frac{2}{336}\text{et}{𝔼}_{\text{coin SO}}\left[T_{\text{coin SO}}\right]=168,$

c'est-à-dire qu'il faut en moyenne 168 sauts à un cavalier partant du coin Sud-Ouest pour y retourner. On peut étudier de la même manière les autres pièces du jeu d'échecs.

Modèle des urnes d'Ehrenfest

Deux chiens (disons A et B) se partagent N puces de la manière suivante : à chaque instant t entier, une des N puces est tirée au hasard et change alors de chien. Notons X_t le nombre de puces infestant A au temps t : Modèle:Nobr est une chaîne de Markov en vertu du critère fondamental. Supposons que dans l'état initial, le chien A n'a aucune puce.

Cette chaîne de Markov est clairement irréductible. Si on la suppose réversible, on doit avoir

$\frac{{\pi }_{k+1}}{{\pi }_k}=\frac{p_{k,k+1}}{p_{k+1,k}}=\frac{N-k}{k+1}=\frac{(\genfrac{}{}{0ex}{}{N}{k+1})}{(\genfrac{}{}{0ex}{}{N}{k})},$

ce qui suggère une probabilité stationnaire, Modèle:Nobr, proportionnelle aux coefficients binomiaux. La seule loi de probabilité proportionnelle aux coefficients binomiaux est la loi binomiale de paramètre 1/2 (et N). La chaîne est donc bien réversible, et le temps écoulé entre deux passages par l'état initial est

${𝔼}_0\left[T_0\right]=\frac{1}{{\pi }_0}=2^N.$

Cet exemple illustre la réponse de Boltzmann à Zermelo : Zermelo observait une contradiction entre le théorème de récurrence de PoincaréModèle:,, selon lequel un système dynamique repasse infiniment souvent par un état donné, et le théorème H de Boltzmann. La réponse de Boltzmann consiste à estimer le temps de récurrence moyen : pour un gaz macroscopique contenant $N\gg 1$ molécules, Boltzmann estime celui-ci d'ordre $10^N$, une durée qui est largement supérieure à l'âge de l'univers lorsque $N\sim {𝒩}_A=6,02\times 10^{+23}$ ; les récurrences sont donc invisibles à notre échelle.

Théorie spectrale (cas fini)

On suppose

• l'espace d'états E fini, à N éléments,
• la chaîne réversible,
• chaque π_i strictement positif.

Alors Modèle:Théorème Modèle:Démonstration

Convergence pour la distance du χ²

Si la chaîne est irréductible et apériodique, 1 est valeur propre de P de multiplicité 1, et les autres valeurs propres sont en valeur absolue strictement inférieures à 1. Si on note α le maximum de ces valeurs absolues et si on note μ_n la loi de la chaîne au temps n, on en déduit que

$⟨{\mu }_n-\pi ,{\mu }_n-\pi ⟩\le C{\alpha }^{2n}.$

Si l'erreur relative, au site i, est définie par

${\epsilon }_i=\frac{{\mu }_{n,i}-{\pi }_i}{{\pi }_i},$

alors la distance du χ² entre μ_n et π s'écrit

$⟨{\mu }_n-\pi ,{\mu }_n-\pi ⟩=\sum _{i=1}^N{\pi }_i{\epsilon }_i^2.$

Ainsi les erreurs relatives sont moins pénalisantes si elles affectent les états les moins probables mais sont, toutefois, plus pénalisantes que si on utilise la distance euclidienne classique :

$\Vert {\mu }_n-\pi {\Vert }^2=\sum _{i=1}^N({\mu }_{n,i}-{\pi }_i{)}^2=\sum _{i=1}^N{\pi }_i^2{\epsilon }_i^2.$

Théorie spectrale (cas du modèle des urnes d'Ehrenfest)

Ainsi, il y a convergence vers la loi stationnaire uniquement si la loi initiale μ est orthogonale à e_N , i.e. si

$\sum _{i=0}^N(-1{)}^i{\mu }_i=0.$

En ce cas, il existe une constante C_N telle que, pour tout entier naturel k, on ait :

$\Vert \mu .P^k-\pi \Vert \le C_N{(1-\frac{2}{N})}^k.$

Existence et unicité

Graphe d'une chaîne de Markov non irréductible à espace d'états fini, possédant 3 classes : $\{1,3\}\leftarrow \{2\}$ et $\{4,5\}.$

Discuter l'existence et l'unicité d'une probabilité stationnaire $\pi$ telle que ${\pi }_i>0$ amène à discuter les propriétés du graphe de la chaîne de Markov et la classification de ses états, amène aussi à étudier les propriétés de la variable aléatoire appelée "temps de retour" en $i,$ et souvent notée $T_i.$

En particulier, si une chaîne de Markov possède au moins un état récurrent positif, alors il existe une probabilité stationnaire.

Modèle:Théorème Ce théorème vaut en particulier pour les chaînes de Markov irréductibles, puisque ces dernières possèdent une seule classe (qui est donc nécessairement une classe finale) ; les chaînes de Markov irréductibles vérifient en particulier $C=E.$

À voir

Bibliographie

• Laurent Saloff-Coste, Lectures on finite Markov chains, Lectures on Probability Theory and Statistics, 301-413. Lecture Notes in Math. n° 1665. Springer (1997).
• Jim Norris, Markov chains.
• Samuel Karlin et Howard E. Taylor, A Second Course in Stochastic Processes.

Pages liées

• Chaîne de Markov
• Modèle des urnes d'Ehrenfest
• Théorème H
• Distribution quasi-stationnaire