Voir la source de Chaîne de Markov

{{sources|date=mars 2021}}
[[Fichier:Markovkate 01.svg|vignette|Exemple élémentaire de chaîne de Markov, à deux états ''A'' et ''E''. Les flèches indiquent les probabilités de transition d'un état à un autre.]]

En [[mathématiques]], une '''chaîne de Markov''' est un [[processus de Markov]] à temps discret, ou à temps continu et à espace d'états discret. Un processus de Markov est un [[processus stochastique]] possédant la [[propriété de Markov]] : l'information utile pour la prédiction du futur est entièrement contenue dans l'état présent du processus et n'est pas dépendante des états antérieurs (le système n'a pas de « mémoire »). Les processus de Markov portent le nom de leur inventeur, [[Andreï Markov (mathématicien)|Andreï Markov]].

Un processus de Markov à temps discret est une séquence <math>X_0,</math> <math>X_1,</math> <math>X_2,</math> <math>X_3,\ \dots</math> de [[variable aléatoire|variables aléatoires]] à valeurs dans l’''espace des états'', qu'on notera <math>E</math> dans la suite. La valeur <math>X_n</math> est l'''état du processus à l'instant ''<math>n.</math> Les applications où l'espace d'états <math>E</math> est fini ou dénombrable sont innombrables : on parle alors de ''chaîne de Markov'' ou de ''chaînes de Markov à espace d'états discret''. Les propriétés essentielles des [[processus de Markov]] généraux, par exemple les propriétés de [[Raisonnement par récurrence|récurrence]] et d'[[théorie ergodique|ergodicité]], s'énoncent ou se démontrent plus simplement dans le cas des ''chaînes de Markov à espace d'états discret''. Cet article concerne précisément les ''chaînes de Markov à espace d'états discret''.

[[Andreï Markov (mathématicien)|Andreï Markov]] a publié les premiers résultats sur les chaînes de Markov à espace d'états fini en [[1906]]<ref>{{Article|langue=ru|auteur1=A. A. Markov|titre=Extension of the law of large numbers to dependent quantities (reprint)|périodique=Journal Électronique d'Histoire des Probabilités et de la Statistique|volume=2|numéro=1b|date=1906|lire en ligne=https://www.emis.de/journals/JEHPS/Novembre2006/Markov3pdf.pdf|format=pdf}}</ref>. Une généralisation à un espace d'états infini dénombrable a été publiée par [[Andreï Kolmogorov|Kolmogorov]] en [[1936]]. Les processus de Markov sont liés au [[mouvement brownien]] et à l'[[hypothèse ergodique]], deux sujets de [[physique statistique]] qui ont été très importants au début du {{XXe siècle}}.

== Propriété de Markov faible ==
{{Article détaillé|Propriété de Markov}}

=== Définitions ===
C'est la propriété caractéristique d'une chaîne de Markov : la prédiction du futur à partir du présent n'est pas rendue plus précise par des éléments d'information supplémentaires concernant le passé, car toute l'information utile pour la prédiction du futur est contenue dans l'état présent du processus. La propriété de Markov faible possède plusieurs formes équivalentes
qui reviennent toutes à constater que la loi conditionnelle de <math>X_{n+1}</math> sachant le passé, c'est-à-dire sachant <math>\left(X_k\right)_{0\le k\le n},</math> est une fonction de <math>X_n</math> seul :
{{retrait|1= <math>\begin{align}\forall n\ge 0, \forall (i_0,\ldots,i_{n-1},i,j)&\in E^{n+2}\ \text{tel que}\  \mathbb{P}\Big( X_0=i_0, X_1=i_1,\ldots, X_{n-1}=i_{n-1},X_n=i\Big) > 0,  
\\
\mathbb{P}\Big(X_{n+1}=j&\mid\, X_0=i_0, X_1=i_1,\ldots, X_{n-1}=i_{n-1},X_n=i\Big) = \mathbb{P}\left(X_{n+1}=j\mid X_n=i\right).
\end{align}</math> }}

Une variante courante des chaînes de Markov est la chaîne de Markov '''homogène''', pour laquelle la probabilité de transition est indépendante de <math>n</math> :
{{retrait|1= <math>\forall n\ge 1, \forall (i,j) \in E^{2}, \quad \mathbb{P}(X_{n+1} = j \mid X_n=i) = \mathbb{P}(X_n=j\mid X_{n-1}=i)</math>}}

Dans la suite de l'article on ne considèrera que des chaînes de Markov homogènes. Pour une application intéressante des chaînes de Markov ''non homogènes'' à l'[[optimisation combinatoire]], voir l'article [[Recuit simulé#Pseudo-code|Recuit simulé]]. Il existe une propriété de Markov '''forte''', liée à la notion de '''[[temps d'arrêt]]''' <ref>{{Ouvrage|langue=en|auteur1=J. R. Norris|titre=Markov Chains|éditeur=Cambridge University Press|année=1996|pages totales=|passage=19|lire en ligne=https://cape.fcfm.buap.mx/jdzf/cursos/procesos/libros/norris.pdf#page=37|consulté le=27 octobre 2024}}</ref>: cette propriété de Markov forte est  cruciale pour la démonstration de résultats importants (divers critères de récurrence, loi forte des grands nombres pour les chaînes de Markov). Elle est énoncée dans l'article « [[Propriété de Markov]] ».

=== Critère ===
{{Théorème|Critère fondamental|Soit une suite <math>Y=(Y_{n})_{n\ge 1}</math> de variables aléatoires indépendantes et de même loi, à valeurs dans un espace <math>F</math>, et soit <math>f</math> une application mesurable de <math>E\times F</math> dans <math>E.</math> Supposons que la suite  <math>X=(X_{n})_{n\ge 0}</math>   est définie par la relation de récurrence :
{{retrait|1= <math>\forall n\ge 0,\qquad X_{n+1}=f\left(X_n,Y_{n+1}\right),</math> }}
et supposons que la suite <math>Y</math> est indépendante de <math>X_0.</math>  Alors  <math>X</math> est une chaîne de Markov homogène.}}

{{Exemple|nom=Exemple : le [[problème du collectionneur de vignettes]]|Pierrette fait la collection des portraits des onze joueuses de l'équipe nationale de football, qu'elle trouve sur des vignettes à l'intérieur de l'emballage des tablettes de chocolat ; chaque fois qu'elle achète une tablette elle a une chance sur 11 de tomber sur le portrait de la joueuse n°<math>k</math> (pour tout <math>k</math>). On note <math>X_{n}\in\mathcal{P}([\![ 1,11]\!])</math>  l'état de la collection de Pierrette, après avoir ouvert l'emballage de sa <math>n</math>{{e}} tablette de chocolat.  <math>X=(X_{n})_{n\ge 0}</math>  est une chaîne de Markov partant de <math>X_{0}=\emptyset</math>, car elle rentre dans le cadre précédent pour le choix <math>F=[\![1,11]\!],\ E=\mathcal{P}(F),\ f(x,y)=x\cup\{y\},</math> puisque
{{retrait|1= <math> X_{n+1}=X_n\cup\{Y_{n+1}\},</math> }}
où les variables aléatoires <math>Y_{n}</math> sont des variables aléatoires indépendantes et uniformes sur <math>[\![1,11]\!]</math> : ce sont les numéros successifs des vignettes tirées des tablettes de chocolat. Le temps moyen nécessaire pour compléter la collection (ici le nombre de tablettes que Pierrette doit acheter en moyenne pour compléter sa collection) est, pour une collection de <math>N</math> vignettes au total, de <math>N\,H_N,</math> où <math>H_N</math> est le <math>N</math>{{e}} [[nombre harmonique]]. Par exemple, <math>11\,H_{11}=33,2\dots\quad </math> tablettes de chocolat.}}

{{Exemple|nom=Remarques|
* La propriété de Markov découle de l'indépendance des <math>Y_i\ ;</math> elle reste vraie lorsque les  <math>Y_i</math> ont des lois différentes, et lorsque la « relation de récurrence » <math>X_{n+1}=f_n\left(X_n,Y_{n+1}\right)</math>  dépend de <math>n.</math> Les hypothèses faites en sus de l'indépendance sont là uniquement pour assurer l'''homogénéité'' de la chaîne de Markov.
* Le critère est fondamental en cela que toute chaîne de Markov homogène peut être simulée via une récurrence de la forme <math>X_{n+1}=f\left(X_n,Y_{n+1}\right),</math> pour une fonction <math>f</math> bien choisie. On peut même choisir <math>F=[0,1],</math> et choisir des variables <math>Y_{j}</math> indépendantes et uniformes sur l'intervalle [0,1], ce qui est commode pour l'étude de chaînes de Markov via des [[Méthode de Monte-Carlo|méthodes de Monte-Carlo]].}}

== Probabilités de transition ==
=== Définition ===
{{Théorème|Définition|Le nombre <math>\mathbb{P}\left(X_{1}=j\mid X_0=i\right)</math> est appelé ''probabilité de transition de l'état'' <math>i</math>  ''à l'état'' <math>j</math> ''en un pas'', ou bien ''probabilité de transition de l'état'' <math>i</math>   ''à l'état'' <math>j,</math> s'il n'y a pas d'ambigüité. On note souvent ce nombre <math>p_{i,j}:</math> 
{{retrait|1= <math>p_{i,j} = \mathbb{P}\left(X_{1}=j\mid X_0=i\right).</math> }}

La famille de nombres  <math>P=\left(p_{i,j}\right)_{(i,j)\in E^2}</math>  est appelée ''matrice de transition'', ''noyau de transition'', ou ''opérateur de transition'' de la chaîne de Markov.}}
La terminologie ''[[Matrice (mathématiques)|matrice]] de transition'' est la plus utilisée, mais elle n'est appropriée, en toute rigueur, que lorsque, pour un entier <math>n\ge 1,</math> <math>E=\{1,2,\ldots,n\}.</math> Lorsque <math>E</math> est fini, par exemple de cardinal <math>n,</math>  on peut toujours numéroter les éléments de <math>E</math>  arbitrairement de 1 à <math>n,</math> ce qui règle  le problème, mais imparfaitement, car cette renumérotation est contre-intuitive dans beaucoup d'exemples.
{{Exemple|nom=Modèle d'Ehrenfest : les deux chiens et leurs puces|Deux chiens se partagent <math>N</math> puces de la manière suivante : à chaque instant, une des <math>N</math> puces est choisie au hasard et saute alors d'un chien à l'autre. L'état du système est décrit par un élément <math>x=(x_1,x_2,\dots,x_N)\in\{0,1\}^N,</math> où
{{retrait|1= <math>x_{i} = 0\text{ ou }1\text{ selon que la puce n}^{\circ}\ i\text{ est sur le 1er ou sur le 2e chien.}</math> }}

Alors <math>E</math>  possède <math>2^N</math> éléments, mais les numéroter de 1 à <math>2^N</math>  serait malcommode pour suivre l'évolution du système, qui consiste à choisir une des <math>N</math> coordonnées de <math>x</math>  au hasard et à changer sa valeur.
Si l'on veut comprendre le système moins en détail (car on n'est pas capable de reconnaître une puce d'une autre), on peut se contenter d'étudier le nombre de puces sur le chien n°1, ce qui revient à choisir <math>E=\{0, 1, 2,\dots, N\}.</math> Là encore, pour la compréhension, il serait dommage de renuméroter  les états de 1 à <math>N+1.</math>  Notons que pour cette nouvelle modélisation,
{{retrait|1= <math>p_{k,k+1} = \tfrac{N-k}N\text{ et }p_{k,k-1} = \tfrac{k}N,</math> }}
puisque, par exemple, le nombre de puces sur le dos du chien n°1 passe de ''k'' à ''k-1'' si c'est une de ces ''k'' puces qui est choisie pour sauter, parmi les ''N'' puces présentes dans le « système ». Ce modèle porte plus souvent le nom de « [[modèle des urnes d'Ehrenfest]] ». Il a été introduit en 1907 par [[Tatiana Afanassieva|Tatiana]] et [[Paul Ehrenfest]] pour illustrer certains des « paradoxes » apparus dans les fondements de la mécanique statistique naissante, et pour modéliser le [[bruit rose]]. Le [[modèle des urnes d'Ehrenfest]] était considéré par le mathématicien [[Mark Kac]] comme « probablement l'un des modèles les plus instructifs de toute la physique ».}}
Plutôt que de renuméroter les états à partir de 1, il est donc plus ergonomique dans beaucoup de cas d'accepter des matrices finies ou infinies dont les lignes et colonnes sont « numérotées » à l'aide des éléments de <math>E.</math> Le produit de deux telles « matrices », <math>A=\left(a_{i,j}\right)_{(i,j)\in E^2}</math> et <math>B=\left(b_{i,j}\right)_{(i,j)\in E^2}</math>, est alors défini très naturellement par
{{retrait|1= <math>(AB)_{i,j} = \sum_{\ell\in E}a_{i,\ell}b_{\ell,j},</math> }}
par analogie avec la formule plus classique du produit de deux matrices carrées de taille  <math>n,</math>
{{retrait|1= <math>(AB)_{i,j} = \sum_{k=1}^na_{i,k}b_{k,j}.</math> }}

=== Propriétés ===
{{Théorème|Proposition|La matrice de transition <math>P=\left(p_{i,j}\right)_{(i,j)\in E^2}</math>  est [[Matrice stochastique|stochastique]] : la somme des termes de n'importe quelle ligne de  <math>P</math> donne toujours 1.
{{retrait|1= <math>\forall i\in E, \quad\sum_{j\in E}p_{i,j}=1.</math> }} }}

{{Théorème|Proposition| La loi de la chaîne de Markov <math>X=\left(X_n\right)_{n\ge 0}</math> est caractérisée par le couple constitué de sa matrice de transition <math>P,</math> et de sa loi initiale (la loi de <math>X_0</math>) : pour tout <math>n\ge 1</math> la loi jointe de <math>(X_0,X_1,\ldots,X_n)</math>  est donnée par
{{retrait|1= <math>\mathbb{P}\left(X_{0}=i_0,X_{1}=i_1,\ldots,X_{n-1}=i_{n-1},X_{n}=i_n\right)=\mathbb{P}\left(X_{0}=i_0\right)\ p_{i_{0},i_1}\,p_{i_{1},i_2}\,\ldots\,p_{i_{n-2},i_{n-1}}\,p_{i_{n-1},i_n}.</math> }} }}

{{Démonstration| Par récurrence, au rang 0, 
{{retrait|1= <math>\mathbb{P}\left(X_{0}=i_0\right)=\mathbb{P}\left(X_{0}=i_0\right).</math> }}

Au rang <math>n,</math> en posant <math>P_k=\mathbb{P}\left(X_{0}=i_0,X_{1}=i_1,\ldots,X_{k-1}=i_{k-1},X_{k}=i_k\right),</math> 
{{retrait|1= <math>\frac{P_n}{P_{n-1}}=\mathbb{P}\Big(X_{n}=i_n\mid\, X_0=i_0, X_1=i_1,\ldots, X_{n-1}=i_{n-1}\Big)=p_{i_{n-1},i_n},</math> }}
en vertu de la propriété de Markov faible, donc si <math>P_{n-1}</math> a l'expression attendue, alors <math>P_{n}</math> aussi. }}

Lorsqu'on étudie une chaîne de Markov particulière, sa matrice de transition est en général bien définie et fixée tout au long de l'étude, mais la loi initiale peut changer lors de l'étude et les notations doivent refléter la loi initiale considérée sur le moment :
si à un moment de l'étude on considère une chaîne de Markov de loi initiale définie par <math>\forall i\in E,\quad \mathbb{P}\left(X_{0}=i\right)=\mu_i</math>, alors les probabilités sont notées <math>\mathbb{P}_{\mu}\left(\dots\right)</math> et les espérances sont notées <math>\mathbb{E}_{\mu}\left[\dots\right]</math>. 
En particulier, si <math>\mathbb{P}\left(X_{0}=j\right)=1</math>, on dit que la chaîne de Markov part de <math>j</math>, les probabilités sont notées <math>\mathbb{P}_{j}\left(\dots\right)</math> et les espérances sont notées <math>\mathbb{E}_{j}\left[\dots\right]</math>.

=== Puissances de la matrice de transition ===
Pour <math>k\ge 1,</math> la probabilité de transition en <math>k</math> pas, <math>\mathbb{P}\left(X_{n+k}=j\mid X_n=i\right),</math> ne dépend pas de <math>n</math> :
{{Théorème|Proposition|La ''matrice de transition en'' <math>k</math> ''pas'', <math>\left(\mathbb{P}\left(X_{n+k}=j\mid X_n=i\right)\right)_{(i,j)\in E^2},</math> est égale à la puissance <math>k</math><sup>ème</sup> de la matrice de transition <math>P.</math> On note 
{{retrait|1= <math>p^{(k)}_{i,j}=\mathbb{P}\left(X_{n+k}=j\mid X_n=i\right),</math> }}
et
{{retrait|1= <math>P^k=\left(p^{(k)}_{i,j}\right)_{(i,j)\in E^2}.</math> }}
}}

{{Démonstration| Par récurrence. Au rang 1, c'est une conséquence de l'homogénéité de la chaîne de Markov déjà mentionnée à la section [[#Propriété de Markov faible|Propriété de Markov faible]] :
{{retrait|1= <math>\mathbb{P}\left(X_{n+1}=j\mid X_n=i\right) = \mathbb{P}\left(X_{1}=j\mid X_0=i\right).</math> }}

Au rang <math>k,</math> 
{{retrait|1= <math>\begin{align}\mathbb{P}\left(X_n=i\text{ et }X_{n+k}=j\right)&= \sum_{\ell\in E}\mathbb{P}\left(X_n=i,\,X_{n+k-1}=\ell\text{ et }X_{n+k}=j\right)
\\
&= \sum_{\ell\in E}\mathbb{P}\left(X_n=i,\,X_{n+k-1}=\ell\right)\ \mathbb{P}\left(X_{n+k}=j\mid X_n=i,\,X_{n+k-1}=\ell\right) 
\\
&= \sum_{\ell\in E}\mathbb{P}\left(X_n=i,\,X_{n+k-1}=\ell\right)\ p_{\ell,j}
\\
&= \mathbb{P}\left(X_n=i\right)\ \sum_{\ell\in E}p^{(k-1)}_{i,\ell}\ p_{\ell,j}
\\
&= \mathbb{P}\left(X_n=i\right)\ p^{(k)}_{i,j},
\end{align}
</math> }}
où 
* la {{1re|égalité}} est le [[Axiomes des probabilités#Troisième axiome|troisième axiome des probabilités]],
* la {{2e|égalité}} est la définition d'une [[probabilité conditionnelle]],
* la {{3e|égalité}} est due à une forme de propriété de Markov faible,
* la {{4e|égalité}} est la propriété de récurrence au pas <math>k-1,</math>
* la {{5e|égalité}} est la formule du produit de deux « matrices », appliquée au produit de  <math>P^{k-1}</math> avec <math>P.</math>
Pour conclure, on divise les deux termes extrêmes de cette suite d'égalités par <math>\mathbb{P}\left(X_n=i\right),</math> sauf si ce dernier terme est nul, auquel cas on peut définir <math>\mathbb{P}\left(X_{n+k}=j\mid X_n=i\right)</math>  arbitrairement, donc, par exemple, égal à <math>p^{(k)}_{i,j}.</math>
}}

Par une simple application de la [[formule des probabilités totales]], on en déduit les lois marginales  de la chaîne de Markov.

{{Théorème|Corollaire|La loi de <math>X_{n+k}</math> est donnée par 
{{retrait|1= <math>\mathbb{P}\left(X_{n+k}=j\right)=\sum_{i\in E}\mathbb{P}\left(X_{n}=i\right)p^{(k)}_{i,j}.</math> }}

En particulier,
{{retrait|1= <math>\mathbb{P}\left(X_{n}=j\right)=\sum_{i\in E}\mathbb{P}\left(X_{0}=i\right)p^{(n)}_{i,j}.</math> }}

En écriture matricielle, si la loi de <math>X_{n}</math> est considérée comme un vecteur-ligne  <math>\mu_{n}=(\mu_{n,i})_{i\in E},</math> avec <math>\mu_{n,i}=\mathbb{P}\left(X_{n}=i\right),</math> cela  se reformule en : 
{{retrait|1= <math>\mu_{n+k}=\mu_{n}P^k\quad\text{ et }\quad \mu_{n}=\mu_{0}P^n.</math> }}
}}

== Classification des états ==
[[Image:CavalierRW3.png|thumb|right|upright=1.2|[[Graphe d'une chaîne de Markov et classification des états|Graphe]] de la [[Probabilité stationnaire d'une chaîne de Markov#Chaînes réversibles|marche du cavalier]] sur l'échiquier (quart Sud-Ouest de l'échiquier).]]
{{Article détaillé|Graphe d'une chaîne de Markov et classification des états}}
Pour <math>(i,j)\in E^2</math>, on dit que <math>j</math> est ''accessible'' à partir de <math>i</math> si et seulement s'il existe <math>n\ge 0</math> tel que <math>\mathbb{P}(X_{n}=j\mid X_0=i) >0.</math> On note :
{{retrait|1= <math>\{j\leftarrow i\}\quad\Leftrightarrow\quad\left\{\exists n\ge 0\text{ tel que }p^{(n)}_{i,j}>0\right\}.</math> }}

On dit que <math>i</math> et <math>j</math> ''communiquent'' si et seulement s'il existe <math>(n,m)\in \mathbb{N}^2</math> tels que <math>\mathbb{P}(X_{n}=j\mid X_0=i) >0</math>  et <math>\mathbb{P}(X_{m}=i\mid X_0=j) >0.</math> On note :
{{retrait|1= <math>\{j\leftrightarrow i\}\quad\Leftrightarrow\quad\left\{j\leftarrow i\text{ et }i\leftarrow j\right\}.</math> }}

La relation ''communiquer'', notée <math>\leftrightarrow,</math> est une [[relation d'équivalence]]. Quand on parle de classe en parlant des états d'une chaîne de Markov, c'est en général aux classes d'équivalence pour la relation <math>\leftrightarrow</math>  qu'on fait référence. Si tous les états communiquent, la chaîne de Markov est dite '''[[Graphe d'une chaîne de Markov et classification des états#Lexique : graphes-chaînes de Markov|irréductible]]'''.

La relation ''être accessible'', notée <math>\leftarrow,</math>  s'étend aux classes d'équivalence : pour deux classes <math>C</math> et <math>C^{\prime}</math>, on a
{{retrait|1= <math>\{C\leftarrow C^{\prime}\}\quad\Leftrightarrow\quad\left\{\exists (i,j)\in C\times C^{\prime},\qquad i\leftarrow j\right\}\quad\Leftrightarrow\quad\left\{\forall (i,j)\in C\times C^{\prime},\qquad i\leftarrow j\right\}.</math> }}

La relation <math>\leftarrow</math> est une [[relation d'ordre]] entre les classes d'équivalence.

Une classe est dite ''finale'' si elle ne conduit à aucune autre, i.e. si la classe est minimale pour la relation  <math>\leftarrow.</math> Sinon, elle est dite ''transitoire''. L'appartenance à une classe finale ou transitoire a des conséquences sur les propriétés probabilistes d'un état de la chaîne de Markov, en particulier sur son statut d'état [[Récurrence et transience d'une chaîne de Markov#Récurrence et transience (définition informelle)|récurrent]] ou d'état [[Récurrence et transience d'une chaîne de Markov#Récurrence et transience (définition informelle)|transient]]. Le nombre et la nature des classes finales dicte la [[Probabilité stationnaire d'une chaîne de Markov#Existence et unicité|structure de l'ensemble des probabilités stationnaires]], qui résument de manière précise le comportement asymptotique de la chaîne de Markov, comme on peut le voir à la [[#Loi stationnaire|prochaine section]] et dans les [[#Exemple : Doudou le hamster|deux exemples]] [[#Illustration de l'impact du modèle|détaillés]] à la fin de cette page.

Soit  {{retrait|1= <math>M_{ij} = \left\{n\ge 1\ |\ p^{(n)}_{i,j}>0\right\}.</math> }}

La '''période''' d'un état <math>i</math> est le PGCD de l'ensemble <math>M_{ii}.</math>
Si deux états communiquent, ils ont la même période : on peut donc parler de la période d'une classe d'états. Si la période vaut 1, la classe est dite '''apériodique'''. L'apériodicité des états d'une chaîne de Markov conditionne la convergence de la loi de  <math>X_n</math> vers la probabilité stationnaire, voir la page [[Probabilité stationnaire d'une chaîne de Markov#Convergence vers la loi stationnaire|Probabilité stationnaire d'une chaîne de Markov]].

La classification des états et leur période se lisent de manière simple sur le [[Graphe d'une chaîne de Markov et classification des états|graphe de la chaîne de Markov]]. Toutefois, si tous les éléments de la matrice de transition sont strictement positifs, la chaîne de Markov est [[Graphe d'une chaîne de Markov et classification des états#Lexique : graphes-chaînes de Markov|irréductible]] et apériodique : dessiner le graphe de la chaîne de Markov est alors superflu.

== Loi stationnaire ==
{{Article détaillé|Probabilité stationnaire d'une chaîne de Markov}}

=== Définition ===
Il peut exister une ou plusieurs mesures <math>\pi=(\pi_i)_{i\in E},</math> sur l'espace d'états <math>E,</math> telles que :
{{retrait|1= <math> \pi = \pi\,P,</math> }}
ou bien encore
{{retrait|1= <math>\forall j\in E,\qquad \pi_j = \sum_{i\in E}\pi_i\,p_{i,j}.</math> }}

Une telle mesure <math>\pi</math> est appelée une ''mesure stationnaire''. Une mesure stationnaire est une [[fonction propre]] de la transposée de la matrice de transition, associée à la [[Valeur propre (synthèse)|valeur propre]] 1. Elle est appelée '''probabilité stationnaire''' ou '''loi stationnaire''' si elle remplit les conditions supplémentaires :

* <math>\forall i\in E, \qquad \pi_i\ \ge\ 0,</math>
* <math>\sum_{i\in E}\pi_i\ =\ 1.</math>

Le terme « ''stationnaire'' » est justifié par la proposition suivante :

{{Théorème|Proposition|Si la loi initiale de la chaîne de Markov (i.e. la loi de <math>X_0</math>) est une probabilité stationnaire <math>\pi,</math> alors pour tout <math>n\ge 0,</math> la loi de <math>X_n</math> est encore <math>\pi.</math>}}
{{Démonstration|Cela découle des propriétés des [[#Puissances de la matrice de transition|puissances de la matrice de transition]] donnée plus haut : la loi ''μ<sub>n </sub>'' de  ''X<sub>n </sub>'' s'exprime en fonction de la loi ''μ<sub>0 </sub>'' de  ''X<sub>0 </sub>''  de la manière suivante : <math>\mu_n=\mu_0P^n=\pi P^n,</math> or <math>\pi P=\pi</math> entraîne <math>\pi P^n=\pi.\  </math> }}
Plus généralement, la chaîne de Markov est un ''processus stationnaire'' si et seulement si sa loi initiale est une ''probabilité stationnaire''.

=== Existence et unicité ===
{{Article détaillé|Récurrence et transience d'une chaîne de Markov}}
Dans le cas des chaînes de Markov à espace d'états discret, certaines propriétés du processus déterminent s'il existe ou non une probabilité stationnaire, et si elle est unique ou non :
* une chaîne de Markov est ''[[Graphe d'une chaîne de Markov et classification des états#Lexique : graphes-chaînes de Markov|irréductible]]'' si tout état est '''accessible''' à partir de n'importe quel autre état ;
* un état est ''récurrent positif'' si l'espérance du temps de premier retour en cet état, partant de cet état, est finie.

Si une chaîne de Markov possède au moins un état récurrent positif, alors il existe une probabilité stationnaire.
S'il existe une probabilité stationnaire <math>\pi</math> telle que <math>\pi_i>0</math>, alors l'état <math>i</math>  est récurrent positif, et réciproquement.   

{{Théorème|Si une chaîne de Markov possède une seule classe finale  <math>C,</math> alors il existe au plus une probabilité stationnaire. On a alors équivalence entre les 3 propositions :
* il existe une unique probabilité stationnaire, notée <math>\pi,</math>
* il existe un état récurrent positif,
* tous les états de la classe finale sont récurrents positifs.
On a de plus l'équivalence
{{retrait|1= <math>\{\pi_i>0\}\Leftrightarrow\{i\in C\}\Leftrightarrow\{i\text{ est recurrent positif}\}.</math> }}
}}

Ce théorème vaut en particulier pour les chaînes de Markov irréductibles, puisque ces dernières possèdent une seule classe (qui est donc nécessairement une classe finale) ; les chaînes de Markov irréductibles vérifient en particulier 
<math>C=E.</math>

=== Loi forte des grands nombres et ergodicité ===
Dans le cas d'une chaîne de Markov [[Graphe d'une chaîne de Markov et classification des états#Lexique : graphes-chaînes de Markov|irréductible]] et récurrente positive, la [[loi forte des grands nombres]] est en vigueur : la moyenne d'une fonction <math>f</math> sur les instances de la chaîne de Markov est égale à sa moyenne selon sa probabilité stationnaire. Plus précisément, sous l'hypothèse
{{retrait|1= <math>\sum_{i\in E} |f(i)|\,\pi_i\ < +\infty, </math> }}
on a [[presque sûrement]] :
{{retrait|1= <math> \lim_{n}\; \frac{1}{n} \; \sum_{k=0}^{n-1} f(X_k)
  \ =\ \sum_{i\in E} f(i)\,\pi_i\ =\ \pi f. </math> }}

La moyenne de la valeur des instances est donc, sur le long terme, égale à l'espérance suivant la probabilité stationnaire. En particulier, cette équivalence sur les moyennes s'applique si <math>f</math> est la [[Fonction caractéristique (théorie des ensembles)|fonction indicatrice]] d'un sous-ensemble <math>A</math> de l'espace des états :
{{retrait|1= <math> \lim_{n}\; \frac{1}{n} \; \sum_{k=0}^{n-1} \chi_A(X_k)\ 
=\ \sum_{i\in A}\ \pi_i\ =\ \pi(A).</math> }}

Cela permet d'approcher la probabilité stationnaire par la [[Probabilité stationnaire d'une chaîne de Markov#Convergence vers la loi stationnaire|distribution empirique]] (qui est un [[histogramme]] construit à partir d'une séquence particulière), comme dans le cas de la [[Probabilité stationnaire d'une chaîne de Markov#Convergence vers la loi stationnaire|marche aléatoire avec barrière]].

En particulier, si le processus est construit en prenant la probabilité stationnaire comme loi initiale, le shift <math>\theta</math> défini par
{{retrait|1= <math> x=(x_0,x_1,x_2,\dots)\in E^{\mathbb{N}}\quad\rightarrow\quad \theta\,x=(x_1,x_2,x_3,\dots)</math> }}
préserve la mesure, ce qui fait de la chaîne de Markov un [[système dynamique mesuré]]. La loi forte des grands nombres entraine alors que la chaîne de Markov est un système dynamique [[hypothèse ergodique|ergodique]]. L'ergodicité est à la fois plus forte que la loi forte des grands nombres car on peut en déduire, par exemple, que <math>\frac{1}{n} \; \sum_{k=0}^{n-1} f(X_k,X_{k+1}),</math> a pour limite presque sûre  <math>\sum_{i,j\in E} f(i,j)\,\pi_ip_{i,j},</math>  mais elle est aussi plus faible car elle réclame en principe la stationnarité de la chaîne de Markov, ce qui n'est pas le cas de la loi forte des grands nombres.

=== Convergence vers la loi stationnaire ===
Si la chaîne de Markov est [[Graphe d'une chaîne de Markov et classification des états#Lexique : graphes-chaînes de Markov|irréductible]], récurrente positive et apériodique, alors <math>P^k</math> converge vers une matrice dont chaque ligne est l'unique distribution stationnaire <math>\pi.</math>
En particulier, la loi  <math>\mu_n</math> de <math>X_n</math> converge vers <math>\pi</math> indépendamment de la loi initiale <math>\mu_0.</math> Dans le cas d'un espace d'état fini, cela se prouve par le [[théorème de Perron-Frobenius]]. Notons qu'il est naturel que la suite  <math>\mu_n,</math> définie par récurrence par la relation  <math>\mu_{n+1}=\mu_nP,</math> ait, éventuellement, pour limite un [[point fixe]] de cette transformation, i.e. une solution de l'équation <math>\pi=\pi P.</math>

=== Chaînes de Markov à espace d'états fini ===

Si une chaîne de Markov est irréductible et si son espace d'états est fini, tous ses états sont récurrents positifs. La loi forte des grands nombres est alors en vigueur.

Plus généralement, tous les éléments d'une classe finale finie sont récurrents positifs, que l'espace d'états soit fini ou bien infini dénombrable.

== Distributions quasi-stationnaires d'une chaîne de Markov absorbée ==

Soit <math>(X_n)</math> une chaîne de Markov sur l'ensemble des entiers naturels <math>\{0,1,2,...\}</math>. Supposons que l'état 0 soit absorbant et la chaîne soit absorbée en 0 presque sûrement. Soit <math>T_0=\inf \{n\geq 0, X_n=0\}</math> le temps d'absorption en 0. On dit qu'une probabilité <math>\nu</math> sur <math>\{1,2,3,...\}</math> est une distribution quasi-stationnaire si pour tout <math>j\geq 1</math> et pour tout <math>n\geq 1</math>, 
::<math> \sum_{i\geq 1} \nu_i \mathbb{P}(X_n=j |X_0=i, T_0>n) = \nu_j.</math>
On dit qu'une probabilité <math>\mu</math> sur <math>\{1,2,3,...\}</math> est une limite de [[Akiva Yaglom|Yaglom]] si pour tout <math>i\geq 1</math> et tout <math>j\geq 1</math>, 
::<math> \lim_{n\to \infty} \mathbb{P}(X_n=j|X_0=i,T_0>n)=\mu_j.</math>
Une limite de Yaglom est une [[distribution quasi-stationnaire]]. Si elle existe, la limite de Yaglom est unique. En revanche, il peut y avoir plusieurs distributions quasi-stationnaires.

Si <math>\nu</math> est une distribution quasi-stationnaire, alors il existe un nombre réel <math>\rho(\nu) \in ]0,1[</math> tel que <math>\sum_i \nu_i \mathbb{P}(T_0>n|X_0=i)=\rho(\nu)^n</math>.

== Notation ==
Dans les formules qui précèdent, l'élément (<math>i , j</math>) est la probabilité de la transition de <math>i</math> à <math>j</math>. La somme des éléments d'une ligne vaut toujours 1 et la distribution stationnaire est donnée par le vecteur propre gauche de la matrice de transition.

On rencontre parfois des matrices de transition dans lesquelles le terme (<math>i , j</math>) est la probabilité de transition de <math>j</math> vers <math>i</math>, auquel cas la matrice de transition est simplement la [[Matrice (mathématiques)#Définitions|transposée]] de celle décrite ici. La somme des éléments d'une colonne vaut alors 1. De plus, la distribution stationnaire du système est alors donnée par le vecteur propre droit de la matrice de transition, au lieu du vecteur propre gauche.

== Exemple : Doudou le hamster ==
Doudou le hamster ne connaît que trois endroits dans sa cage : les copeaux où il dort, la mangeoire où il mange et la roue où il fait de l'exercice. Ses journées sont assez semblables les unes aux autres, et son activité se représente aisément par une chaîne de Markov. Toutes les minutes, il peut soit changer d'activité, soit continuer celle qu'il était en train de faire. L'appellation ''processus sans mémoire'' n'est pas du tout exagérée pour parler de Doudou.
* Quand il dort, il a 9 chances sur 10 de ne pas se réveiller la minute suivante.
* Quand il se réveille, il y a 1 chance sur 2 qu'il aille manger et 1 chance sur 2 qu'il parte faire de l'exercice.
* Le repas ne dure qu'une minute, après il fait autre chose.
* Après avoir mangé, il y a 3 chances sur 10 qu'il parte courir dans sa roue, mais surtout 7 chances sur 10 qu'il retourne dormir.
* Courir est fatigant pour Doudou ; il y a 8 chances sur 10 qu'il retourne dormir au bout d'une minute. Sinon il continue en oubliant qu'il est déjà un peu fatigué.

=== Diagrammes ===
Les diagrammes peuvent montrer toutes les flèches, chacune représentant une probabilité de transition. Cependant, c'est plus lisible si :
* on ne dessine pas les flèches de probabilité zéro (transition impossible) ;
* on ne dessine pas les boucles ''(flèche d'un état vers lui-même)''. Cependant elles existent ; leur probabilité est sous-entendue car on sait que la somme des probabilités des flèches partant de chaque état doit être égale à 1.

<gallery widths="300" heights="210">
Chaine_de_markov_exemple_sans_boucles.svg|Exemple avec boucles implicites
Chaine_de_markov_exemple_avec_boucles.svg|Exemple avec boucles dessinées
</gallery>

=== Matrice de transition ===
La matrice de transition de ce système est la suivante (les lignes et les colonnes correspondent dans l'ordre aux états représentés sur le graphe par ''copeaux'', ''mangeoire'', ''roue'') :
{{retrait|1=<math> P =\begin{bmatrix}
0,9 & 0,05 & 0,05 \\
0,7 & 0 & 0,3 \\
0,8 & 0 & 0,2 \\
\end{bmatrix}</math>}}

=== Prévisions ===
Prenons l'hypothèse que Doudou dort lors de la première minute de l'étude.
{{retrait|1= <math>  \mathbf{x}^{(0)} = \begin{bmatrix}
        1 & 0 & 0
    \end{bmatrix} </math> }}

Au bout d'une minute, on peut prédire :
{{retrait|1= <math>
    \mathbf{x}^{(1)} = \mathbf{x}^{(0)} P  = 
\begin{bmatrix}
        1 & 0 & 0
\end{bmatrix}
\begin{bmatrix}
0,9 & 0,05 & 0,05 \\
0,7 & 0 & 0,3 \\
0,8 & 0 & 0,2 \\
\end{bmatrix}

= \begin{bmatrix}
        0,9 & 0,05 & 0,05
  \end{bmatrix} 
</math> }}

Ainsi, après une minute, on a 90 % de chances que Doudou dorme encore, 5 % qu'il mange et 5 % qu'il coure.

{{retrait|1= <math>
    \mathbf{x}^{(2)} = \mathbf{x}^{(1)} P  = \mathbf{x}^{(0)} P^2  = 
\begin{bmatrix}
        1 & 0 & 0
\end{bmatrix}
\begin{bmatrix}
0,9 & 0,05 & 0,05 \\
0,7 & 0 & 0,3 \\
0,8 & 0 & 0,2 \\
\end{bmatrix}^2

    = \begin{bmatrix}
        0,885 & 0,045 & 0,07
    \end{bmatrix} 
</math> }}

Après 2 minutes, il y a 4,5 % de chances que le hamster mange. 

De manière générale, pour <math>n</math> minutes :
{{retrait|1= <math>
    \mathbf{x}^{(n)} = \mathbf{x}^{(n-1)} P
</math> et }}
{{retrait|1= <math>
    \mathbf{x}^{(n)} =  \mathbf{x}^{(0)} P^n
</math> }}

La théorie montre qu'au bout d'un certain temps, la loi de probabilité est indépendante de la loi initiale. Notons-la <math>q</math> :
{{retrait|1= <math>
    \mathbf{q} = \lim_{n \to \infty} \mathbf{x}^{(n)}
</math> }}

On obtient la convergence si et seulement si la chaîne est apériodique et [[Graphe d'une chaîne de Markov et classification des états#Lexique : graphes-chaînes de Markov|irréductible]]. C'est le cas dans notre exemple, on peut donc écrire :
{{retrait|1= <math>
\begin{align}
\\
         &\mathbf{q} = \mathbf{q}P \qquad \mbox{(} \mathbf{q} \mbox{ est la loi invariante par rapport à } P \mbox{ avec } P =   \begin{bmatrix}
                0,9 & 0,05 & 0,05 \\
                0,7 & 0 & 0,3 \\
                0,8 & 0 & 0,2 \\
                \end{bmatrix}\mbox{.)}
\\
        \iff & \mathbf{q} - \mathbf{q} P = \begin{bmatrix}
0 & 0 & 0
\end{bmatrix}
\\
        \iff & \mathbf{q} (I - P) =  \begin{bmatrix}
0 & 0 & 0
\end{bmatrix}
\\
        \iff & \mathbf{q} \left( \begin{bmatrix}
            1 & 0 & 0 \\
            0 & 1 & 0 \\
            0 & 0 & 1 \\
        \end{bmatrix}
        - \begin{bmatrix}
                0,9 & 0,05 & 0,05 \\
                0,7 & 0 & 0,3 \\
                0,8 & 0 & 0,2 \\
           \end{bmatrix} \right) =  \begin{bmatrix}
0 & 0 & 0
\end{bmatrix}
\\
       \iff & \mathbf{q} \begin{bmatrix}
            0,1 & -0,05 & -0,05 \\
            -0,7 & 1 & -0,3 \\
            -0,8 & 0 & 0,8 \\
        \end{bmatrix} =  \begin{bmatrix}
0 & 0 & 0
\end{bmatrix}
\\
\iff & \begin{bmatrix}
q_1 & q_2 & q_3
\end{bmatrix}\begin{bmatrix}
            0,1 & -0,05 & -0,05 \\
            -0,7 & 1 & -0,3 \\
            -0,8 & 0 & 0,8 \\
\end{bmatrix} =
\begin{bmatrix}
0 & 0 & 0
\end{bmatrix}
\end{align}
</math> }}

Sachant que <math>q_1 + q_2 + q_3 = 1</math>, on obtient :
{{retrait|1= <math>\begin{bmatrix}
q_1 & q_2 & q_3
\end{bmatrix} 
= \begin{bmatrix}
0,884 & 0,0442 & 0,0718
\end{bmatrix} 
</math> }}

Doudou passe donc 88,4 % de son temps à dormir, 4,42 % à manger et 7,18 % à courir. 

== Illustration de l'impact du modèle ==
L'exemple qui suit a pour but de montrer l'importance de la modélisation du système. Une bonne modélisation permet de répondre à des questions complexes avec des calculs simples.

On étudie une civilisation (fictive) constituée de plusieurs classes sociales, et dans laquelle les individus peuvent passer d'une classe à l'autre. Chaque étape représentera un an. On considérera une lignée plutôt qu'un individu, pour éviter d'obtenir des citoyens bicentenaires. Les différents statuts sociaux sont au nombre de quatre : 
* esclave ;
* libre ;
* citoyen ;
* haut fonctionnaire.

Dans cette société :
* les esclaves peuvent rester esclaves ou devenir des hommes libres (en achetant leur liberté ou en étant affranchis généreusement par leur maître) ;
* les hommes libres peuvent rester libres ou bien vendre leur liberté (pour payer leurs dettes, etc.) ou encore devenir citoyens (là encore par mérite ou en achetant le titre de citoyen) ;
* les citoyens sont citoyens à vie et transmettent leur citoyenneté à leur lignée (on pourrait croire que le nombre de citoyens tend à augmenter et qu'au bout d'un certain temps, tous sont citoyens mais historiquement, dans les civilisations qui suivaient ce schéma, les citoyens sont décimés par les guerres et de nouveaux esclaves arrivent régulièrement de l'étranger). Ils peuvent aussi se porter candidats lors des élections annuelles afin de devenir hauts-fonctionnaires (magistrats). Au terme de leur mandat, ils peuvent être réélus ou redevenir de simples citoyens.

Pour compliquer un peu l'exemple et montrer ainsi l'étendue des applications des chaînes de Markov, nous considérerons que les fonctionnaires sont élus pour plusieurs années. Par conséquent, l'avenir d'un individu fonctionnaire dépend du temps depuis lequel il est fonctionnaire. Nous sommes donc dans le cas d'une chaîne de Markov non homogène. Heureusement, nous pouvons aisément nous ramener à une chaîne homogène. En effet, il suffit de rajouter un état artificiel pour chaque année du mandat. Au lieu d'avoir un état 4 : ''Fonctionnaire'', nous aurons un état :
* 4 : Fonctionnaire en début de mandat ;
* 5 : Fonctionnaire en seconde année de mandat ;
* etc.

Les probabilités reliant deux états artificiels consécutifs (troisième et quatrième année par exemple) sont de valeur 1 car l'on considère que tout mandat commencé se termine (on pourrait modéliser le contraire en changeant la valeur de ces probabilités). Fixons la durée des mandats à deux ans, le contingent des fonctionnaires étant renouvelable par moitié chaque année. On a alors le graphe suivant : 
[[Image:Chaine de Markov - exemple.svg|thumb|upright=2|center]]

Pour modéliser des élections qui ne seraient pas annuelles, il faudrait de même ajouter des états fictifs (année d'élection, un an depuis la dernière élection, etc.).

La matrice '''<math>P</math>''' s'écrit alors :
{{retrait|1= <math>
\mathbf{P}=\begin{bmatrix}
	\frac{97}{98} & \frac{1}{98} & 0 & 0 & 0 \\
	\frac{2}{73} & \frac{65}{73} & \frac{6}{73} & 0 & 0 \\
	0 & 0 & \frac{12}{13} & \frac{1}{13} & 0 \\
	0 & 0 & 0 & 0 & 1 \\
	0 & 0 & \frac{7}{8} & \frac{1}{8} & 0 		
\end{bmatrix}
</math> }}

Comme cela est expliqué plus haut, <math> P^{n}</math> donne les probabilités de transition en <math>n</math> étapes. Donc <math> p^{n}_{ij}</math> est la probabilité d'être dans l'état <math>j</math> au bout de <math>n</math> années pour une lignée partie de la classe sociale <math>i</math>. Pour savoir ce que devient un esclave au bout de <math>n</math> ans, il suffit donc d'écrire :
{{retrait|1= <math>
\begin{bmatrix}1 & 0 & 0 & 0 & 0 \end{bmatrix} \times \mathbf P^{(n)} = \begin{bmatrix}p_1^{(n)} & p_2^{(n)} & p_3^{(n)} & p_4^{(n)} & p_5^{(n)} \end{bmatrix}
</math> }}

Où <math>p_i^{n}</math> est la probabilité d'être dans la classe sociale <math>i</math> au bout de <math>n</math> années sachant que la lignée étudiée est partie de l'état d'esclave.

Si on connaît les effectifs de chaque classe sociale à l'an 0, il suffit alors de calculer :
{{retrait|1= <math>\frac1\mathrm{lign\acute ees} \times \begin{bmatrix}\rm esclaves&\rm libres &\rm citoyens &\rm \acute elus_1 &\rm \acute elus_2 \end{bmatrix} \times \mathbf P^{n} = Y</math> }}

On obtient ainsi la répartition de la population dans les différentes classes sociales (au bout de <math>n</math> années). En multipliant ce vecteur <math>Y</math> par l'effectif total de la population, on obtient les effectifs de chaque classe au bout de <math>n</math> années.

Posons-nous maintenant la question suivante : « Au bout de <math>n</math> années, combien de lignées auront déjà eu un haut fonctionnaire ayant terminé son mandat ? »

La réponse est différente du nombre de mandats effectués en <math>n</math> années car il y a possibilité d'être réélu. Répondre à cette question semble difficile (encore faudrait-il que ce soit possible). En fait, il suffit de changer la modélisation du problème. Passons donc à une nouvelle modélisation pour répondre à cette question. (Par contre, elle ne permet pas de répondre aux questions précédentes d'où la présentation des deux modèles.)

Il suffit de modifier ainsi le graphe :
[[Image:Chaine de Markov - exemple apres retouche.svg|thumb|center|upright=2]]

On ajoute un sommet absorbant car une fois qu'une lignée a fini un mandat, on ne tient plus compte d'elle.

Si certains lecteurs font preuve d'esprit critique, ils diront peut-être que le modèle est faux car les lignées comportant un élu ne participent plus aux élections. Il n'en est rien. En effet, le nombre d'élus est proportionnel au nombre de citoyens. Ne pas réinjecter les anciens hauts-fonctionnaires parmi les candidats ne change donc en rien la probabilité pour un citoyen d'être élu car, la population des citoyens étant plus restreinte, le nombre de postes offerts l'est aussi. Ce modèle permet de répondre avec exactitude à la question posée.

On a donc une nouvelle matrice de transition :
{{retrait|1= <math>
\mathbf{Q}=
\begin{bmatrix}
	\frac{97}{98} & \frac{1}{98} & 0 & 0 & 0 & 0 \\
	\frac{2}{73} & \frac{65}{73} & \frac{6}{73} & 0 & 0 & 0 \\
	0 & 0 & \frac{12}{13} & \frac{1}{13} & 0 & 0 \\
	0 & 0 & 0 & 0 & 1 & 0\\
	0 & 0 & 0 & 0 & 0 & 1 \\	
	0 & 0 & 0 & 0 & 0 & 1 	
\end{bmatrix}
</math> }}

En faisant les mêmes calculs qu'aux questions précédentes on obtient en dernière ligne du vecteur solution le pourcentage de lignées ayant accompli au moins un mandat ou bien l'effectif (si on multiplie par l'effectif total de la population). Autrement dit, modéliser à nouveau le problème permet de répondre à la question qui semblait si compliquée par un simple calcul de puissances d'une matrice.

== Applications ==
{{section à sourcer|date=mars 2017}}
* Un [[processus de Bernoulli]] est un exemple simple de chaîne de Markov.
* Les systèmes markoviens sont très présents en [[physique]] particulièrement en [[physique statistique]]. Plus généralement l'hypothèse markovienne est souvent invoquée lorsque des probabilités sont utilisées pour modéliser l'état d'un système, en supposant toutefois que l'état futur du système peut être déduit du passé avec un historique assez faible.
* Le célèbre article de [[1948]] de [[Claude Shannon]], ''{{lang|en|A mathematical theory of communication}}'', qui fonde la [[théorie de l'information]], commence en introduisant la notion d'[[Entropie de Shannon|entropie]] à partir d'une modélisation markovienne de la [[anglais|langue anglaise]]. Il montre ainsi le degré de prédictibilité de la langue anglaise, muni d'un simple modèle d'ordre 1. Bien que simples, de tels modèles permettent de bien représenter les propriétés statistiques des systèmes et de réaliser des prédictions efficaces sans décrire la structure complète des systèmes.
* En [[Compression de données|compression]], la modélisation markovienne permet la réalisation de techniques de [[codage entropique]] très efficaces, comme le [[codage arithmétique]]. De très nombreux algorithmes en [[reconnaissance des formes]] ou en [[intelligence artificielle]] comme l'[[algorithme de Viterbi]], utilisé dans la grande majorité des systèmes de téléphonie mobile pour la correction d'erreurs, font l'hypothèse d'un processus markovien sous-jacent.
* L'indice de popularité d'une [[Page web|page Web]] ([[PageRank]]) tel qu'il est utilisé par [[Google]] est défini par une chaîne de Markov. Il est défini par la probabilité d'être dans cette page à partir d'un état quelconque de la chaine de Markov représentant le Web. Si <math>N</math> est le nombre de pages Web connues, et une page <math>i</math> a <math>k_i</math> liens, alors sa probabilité de transition vers une page liée (vers laquelle elle pointe) est <math>p_i^l= \tfrac{1-q}{k_i}+\tfrac qN</math> et <math>p_i^{nl}=\tfrac qN</math> pour toutes les autres (pages non liées). Notons qu'on a bien <math>k_i p_i^l+(N-k_i) p_i^{nl}=1</math>. Le paramètre <math>q</math> vaut environ 0,15.
* Les chaînes de Markov sont un outil fondamental pour modéliser les processus en [[théorie des files d'attente]] et en [[statistique]]s.
* Les chaînes de Markov sont couramment employées en [[sûreté de fonctionnement]] pour les calculs de [[fiabilité]] et de [[disponibilité]] des [[systèmes techniques]], en particulier pour modéliser des séquences d'évènements de type pannes, réparations, changements de configuration.
* Les chaînes de Markov fondent les systèmes de Bonus/Malus mis au point par les actuaires des sociétés d'assurances automobiles (la probabilité d'avoir n accidents au cours de l'année t étant conditionnée par le nombre d'accidents en t-1)  
* Les chaînes de Markov sont également utilisées en [[bioinformatique]] pour modéliser les relations entre symboles successifs d'une même séquence (de [[nucléotide]]s par exemple), en allant au-delà du modèle polynomial. Les modèles markoviens cachés ont également diverses utilisations, telles que la segmentation (définition de frontières de régions au sein de séquences de [[gène]]s ou de [[protéine]]s dont les propriétés chimiques varient), l'[[alignement de séquences|alignement multiple]], la prédiction de fonction, ou la découverte de gènes (les modèles markoviens cachés sont plus « flexibles » que les définitions strictes de type ''[[codon]] start + multiples codons + codons stop'' et ils sont donc plus adaptés pour les [[eucaryote]]s (à cause de la présence d'introns dans le [[génome]] de ceux-ci) ou pour la découverte de pseudo-gènes).
* On peut se servir de ce type de chaines pour produire des mots, du texte, pour suggérer un mot à écrire<ref>https://www.youtube.com/watch?v=YsR7r2378j0 La machine à inventer des mots (avec Code MU), ScienceEtonnante</ref>.

== Notes et références ==
{{Références}}

== Voir aussi ==
{{Autres projets
 | commons     = <!-- Commons -->
 | wikispecies = <!-- Wikispecies -->
 | wiktionary  = <!-- Wiktionary -->  chaîne de Markov 
 | wikiversity = <!-- Wikiversity -->
 | wikibooks   = <!-- Wikibooks -->
 | wikisource  = <!-- Wikisource -->
 | wikiquote   = <!-- Wikiquote -->
 | wikinews    = <!-- Wikinews -->
 | meta        = <!-- Meta-Wiki -->
 | outreach    = <!-- Outreach -->
 | wikivoyage  = <!-- Wikivoyage -->
}}

=== Articles connexes ===

* [[Méthode de Monte-Carlo par chaînes de Markov]]
* [[Matrice d'adjacence]]
* [[Processus de décision markovien|Problème de décision de Markov]] (MDP)
* [[Processus de décision markovien partiellement observable|Problème de décision de Markov partiellement observable]] (POMDP)
* [[Marche aléatoire]]
* [[Mouvement brownien]]
* [[Modèle des urnes d'Ehrenfest]]
* [[Modèle de Markov caché]]
* [[Processus de Markov à temps continu]]
* [[Processus de Markov]]
* [[Propriété de Markov]]
* [[Couverture de Markov]]
* [[Martingale]]
*[[Équation maîtresse]]

=== Bibliographie ===
* Bruno Sericola : ''Chaînes de Markov - Théorie, algorithmes et applications''. Hermes/Lavoisier, 2013. 
* [[Sylvie Méléard]] : ''Modèles aléatoires en écologie et évolution''. Springer, 2016. 
* Paolo Baldi, Laurent Mazliak, Pierre Priouret, ''Martingales et chaînes de Markov. Théorie élémentaire et exercices corrigés'', {{ISBN|2-7056-6425-4}}, [[Hermann (éditions)]], 2001

=== Liens externes ===
* {{Lien web|langue=fr |url=http://images.math.cnrs.fr/Markov-et-la-Belle-au-bois-dormant.html |titre=Markov et la Belle au bois dormant |date= 5 septembre 2014 |site= [[Images des Maths]] |consulté le= | auteur = Philippe Gay}}
* {{en}} {{pdf}} Charles M. Grinstead et J. Laurie Snell, chap. « [http://www.dartmouth.edu/~chance/teaching_aids/books_articles/probability_book/Chapter11.pdf Markov Chains] », dans ''[http://www.dartmouth.edu/~chance/teaching_aids/books_articles/probability_book/book.html Introduction to probability]'', [[American Mathematical Society|AMS]]
* {{en}} [http://www.syntheticsapien.com/MarkovChain/index.html Markov Marvellous Chain]
* [http://wims.unice.fr/wims/fr_U2~proba~oefmarkov.fr.html Exercices corrigés] ([[wims]] de l'[[université de Nice Sophia Antipolis]])

{{Palette|Probabilités et statistiques}}
{{Portail|probabilités et statistiques|physique}}

{{DEFAULTSORT:Chaine Markov}}
[[Catégorie:Chaîne de Markov|*]]
[[Catégorie:Physique statistique]]