Voir la source de Méthode de Monte-Carlo par chaînes de Markov

{{Infobox Méthode scientifique}} 

Les '''méthodes de Monte-Carlo par chaînes de Markov''', ou '''méthodes MCMC''' pour '''''Markov chain Monte Carlo''''' en [[anglais]], sont une classe de méthodes d'[[Échantillon (statistiques)|échantillonnage]] à partir de distributions de probabilité. Ces [[méthode de Monte-Carlo|méthodes de Monte-Carlo]] se basent sur le parcours de [[Chaîne de Markov|chaînes de Markov]] qui ont pour [[Probabilité stationnaire d'une chaîne de Markov|lois stationnaires]] les distributions à échantillonner.

Certaines méthodes utilisent des [[Marche aléatoire|marches aléatoires]] sur les chaînes de Markov ([[algorithme de Metropolis-Hastings]], [[échantillonnage de Gibbs]]), alors que d'autres algorithmes, plus complexes, introduisent des contraintes sur les parcours pour essayer d'accélérer la convergence ([[Monte Carlo Hybride]], [[Surrelaxation successive]]).

Ces méthodes sont notamment appliquées dans le cadre de l'[[inférence bayésienne]].

== Approche intuitive ==

On se place dans un espace vectoriel <math>\varepsilon</math> de dimension finie ''n''. On veut [[générateur de nombres aléatoires|générer aléatoirement]] des vecteurs <math>x</math> suivant une [[distribution de probabilité]] {{Formule|''π''}}. On veut donc avoir une suite de <math>N</math> vecteurs <math>(x_0,x_1,\dots,x_{N-1})</math> telle que la distribution des <math>x_i</math> approche {{Formule|''π''}}.

Les méthodes de Monte-Carlo par chaînes de Markov consistent à générer un vecteur <math>x_i </math> uniquement à partir de la donnée du vecteur <math>x_{i-1}</math> ; c'est donc un processus « sans mémoire », ce qui caractérise les chaînes de Markov. Il faut donc trouver un générateur aléatoire avec une distribution de probabilité <math>q_{x_{i-1}}</math> qui permette de générer <math>x_i</math> à partir de <math>x_{i-1}</math>. On remplace ainsi le problème de génération avec une distribution {{Formule|''π''}} par <math>N</math> problèmes de génération avec des distributions <math>q_{x_i}</math>, que l'on espère plus simples.

== Principe ==

{{Voir lexique|Chaîne de Markov}}

On veut simuler une loi {{Formule|''π''}} sur un espace d'états général {{Formule|(''Ω'' ; ''Ɛ'')}}. Une transition sur {{Formule|(''Ω'' ; ''Ɛ'')}} est une application
{{Formule|''P'' : (''Ω'' ; ''Ɛ'') → [0 ; 1]}} telle que {{Formule|''P''(·, ''A'')}} pour tout {{Formule|''A''∈''Ɛ''}} est mesurable et {{Formule|''P''(''x'',·)}} pour tout {{Formule|''x''∈''Ω''}} est une probabilité sur {{Formule|(''Ω'' ; ''Ɛ'')}}. Soit {{Formule|''X'' {{=}} (''X''{{ind|''k''}},''k''∈ℕ)}} une chaîne de Markov homogène de transition {{Formule|''P''}} et de loi initiale {{Formule|''X''{{ind|0}} ~ ''v''}}, on note {{Formule|''P''{{ind|''v''}}}} la loi de la chaîne {{Formule|''X''}}.

Pour simuler {{Formule|''π''}}, on veut savoir construire une transition {{Formule|''P''}} telle que {{Formule|∀ ''v'', ''vP{{exp|k}}'' → ''π''}}, avec convergence en norme en variation totale {{Formule|∥''μ''∥ {{=}} sup{{ind|''A''∈''Ɛ''}} ''μ''(''A'') − inf{{ind|''A''∈''Ɛ''}} ''μ''(''A'')}}. La chaîne de transition {{Formule|''P''}} est [[processus ergodique|ergodique]].

{{Théorème |Si une transition {{Formule|''P''}} est {{Formule|''π''}}-réductible, {{Formule|''π''}}-invariante, apériodique, Harris-récurrente, alors {{Formule|∀''x'', ''P''{{exp|''k''}}(''x'',·) →{{ind|''k''→∞}} ''π''}}.|nom=Convergence d'une chaîne de Markov}}

La dernière condition, délicate, est satisfaite dans les cas de l'échantillonnage de Gibbs et de [[Algorithme de Metropolis-Hastings|l'algorithme de Metropolis-Hastings]].

== Méthodes d'échantillonnage ==
Les méthodes d’échantillonnage sont utilisées pour estimer la distribution (complète) postérieure des paramètres d’un modèle. Parmi elles, les [[Méthode de Monte-Carlo|méthodes de Monte-Carlo]] sont très précises. Néanmoins, elles sont coûteuses en calculs et prennent beaucoup de temps à converger. Elles sont également limitées par la taille de l’échantillon, puisqu’elles deviennent insolubles lorsque ceux-ci sont trop grands. Même sur de petits échantillons, le calcul d'une distribution de probabilité peut s’avérer difficile. Il existe plusieurs approches à ce problème, utilisées pour obtenir un ensemble de bons réseaux d'échantillonnage à partir de la distribution postérieure. 

* [[Algorithme de Metropolis]] : l'algorithme de Metropolis consiste en une marche aléatoire avec une correction afin que chaque nouvelle valeur extraite puisse être rejetée si elle correspond à une valeur de la fonction d'intégration plus petite que le point précédent, avec une probabilité égale à un moins le rapport entre ces valeurs. Le processus aléatoire se concentre ainsi dans les zones où la fonction d'intégration a des valeurs plus élevées, d'où l'efficacité. Toutefois, contrairement aux méthodes de Monte-Carlo simples, où les valeurs échantillonnées sont statistiquement indépendantes, dans l'algorithme de Metropolis (et les chaînes de Monte-Carlo de Markov en général), elles sont auto-corrélées.

* [[Algorithme de Metropolis-Hastings|Algorithme de Metropolis–Hastings]] : Hastings a publié une généralisation de l'algorithme Metropolis (qui a valu le nom d'algorithme Metropolis-Hastings) qui utilise un processus aléatoire de base (distribution des propositions) qui n'est pas nécessairement du type marche aléatoire. 

* [[Echantillonnage de Gibbs]] : exige que toutes les distributions conditionnelles de la distribution cible soient connues correctement et puissent être utilisées pour les échantillonner. Cette méthode est devenue populaire car, si elle peut être appliquée, elle ne nécessite pas de paramètres d'algorithme prédéfinis.

* [[Échantillonnage par tranches]] : dépend du principe selon lequel il est possible d'échantillonner une distribution uniformément à partir de la région située sous la courbe de sa fonction de densité. Cette méthode alterne entre l'échantillonnage uniforme dans la direction verticale et l'échantillonnage de la couche identifiée par la position verticale actuelle.

* [[Metropolis à tentatives multiples]] : il s'agit d'une variante de l'algorithme de Metropolis-Hastings qui permet des tentatives multiples à chaque point. Cela permet à l'algorithme de définir des étapes plus importantes sous une forme systématique, ce qui permet de s'attaquer à des problèmes présentant des dimensions intrinsèquement importantes.

* [[Méthode de surrelaxation successive|Méthode de sur-relaxation]] : une version Monte Carlo de cette technique peut être considérée comme une variation de l'échantillonnage Gibbs ; elle évite parfois les répétitions de parcours.

* [[Méthode hybride/Hamiltonienne de Monte Carlo]] (HMC) : Implante la dynamique Hamiltonienne dans la chaîne de Markov en augmentant l'espace étudié avec un espace auxiliaire de temps. La densité cible devient alors la fonction d'énergie potentielle et le temps est graduellement tiré d'une distribution prédéterminée conditionnée au point xi , où une trajectoire d'énergie constante est calculée et arrêtée après un temps arbitraire. À la fin de l'échantillonnage, les données sont rejetées. Le résultat final est d'allonger les étapes proposées tout en les maintenant dans les régions à haute densité.

* [[No U-Turn Sampling]] (NUTS) : Variante de la méthode HMC qui permet d'éviter les répétitions en chaîne en calculant de manière adaptative le temps des trajectoires.

* La méthode MCMC de [[Paul Langevin|Langevin]] : La méthode MCMC de Langevin et d'autres méthodes basées sur la méthode du gradient (éventuellement en [[dérivée seconde]]) du logarithme de la distribution objective, proposent des chemins qui sont de préférence dans la direction de la densité de probabilité la plus élevée.

* Méthodes basées sur le changement de dimension : La méthode du saut réversible est une variante de la méthode de Metropolis-Hastings qui permet de proposer des pas qui modifient la dimension de l'espace paramétrique sur lequel la marche aléatoire opère. Cette méthode a été proposée en 1995 par le statisticien Peter Green de l'Université de Bristol. Les méthodes MCMC qui modifient la dimensionnalité sont utilisées depuis longtemps dans les applications de [[physique statistique]], où les distributions basées sur l'ensemble grand-canonique (par exemple, lorsque le nombre de molécules dans une boîte est variable) ont été utilisées pour divers problèmes. Une certaine variation de la méthode du saut réversible est nécessaire dans le cas de l'échantillonnage MCMC ou Gibbs sur des modèles bayésiens non paramétriques tels que ceux impliqués dans le processus de Dirichlet (un processus stochastique qui peut être considéré comme une distribution de probabilités dont le domaine est lui-même une distribution aléatoire) ou celui du processus du restaurant chinois, où le nombre de composants, de grappes, etc. est automatiquement déduit des données.

== Construction de réseaux aléatoires et recherche de motifs ==
La méthode de Monte Carlo par chaines de Markov est souvent utilisée dans les algorithmes traitant les réseaux (biologiques ou non). Plusieurs applications sont possibles dont 2 principales : la génération de réseaux aléatoires<ref name=":0">{{Article |langue=en |auteur1= |prénom1=R. |nom1=Milo |prénom2=N. |nom2=Kashtan |prénom3=S. |nom3=Itzkovitz |prénom4=M. E. J. |nom4=Newman |titre=On the uniform generation of random graphs with prescribed degree sequences |périodique=arXiv:cond-mat/0312028 |date=2004-05-30 |issn= |lire en ligne=http://arxiv.org/abs/cond-mat/0312028 |consulté le=2021-02-11 |pages= }}</ref> et la classification d’éléments dans les graphes. Les exemples choisis pour illustrer l'utilisation des MCMC par la suite seront basées sur la biologie<ref>{{Article |langue=en |prénom1=N. T. L. |nom1=Tran |prénom2=S. |nom2=Mohan |prénom3=Z. |nom3=Xu |prénom4=C.-H. |nom4=Huang |titre=Current innovations and future challenges of network motif detection |périodique=Briefings in Bioinformatics |volume=16 |numéro=3 |date=2015-05-01 |issn=1467-5463 |issn2=1477-4054 |doi=10.1093/bib/bbu021 |lire en ligne=https://academic.oup.com/bib/article-lookup/doi/10.1093/bib/bbu021 |consulté le=2021-02-11 |pages=497–525 }}</ref>.

=== Réseaux aléatoires ===
La MCMC est très souvent utilisée pour générer des réseaux aléatoires servant comme modèles nuls, le plus proche possible du hasard, tout en gardant les caractéristiques de bases d’un réseau étudié afin de rester comparable. Ces modèles nuls permettent ensuite de déterminer si des caractéristiques d’un réseau étudié sont statistiquement significatives ou non.

Le déroulement de la méthode est simple : 2 arêtes sont prises en compte (A -> B ; C -> D) et un échange des nœuds de ces arêtes (A -> D ; C -> B) est ensuite considéré et accepté seulement si les nouvelles arêtes n’existent pas déjà et qu’il n’y a pas d’arête cyclique (A -> A). Le nombre d’échanges considérés suit souvent la formule Q x E, où E est le nombre d’arêtes d’un réseau réel (souvent le réseau étudié) et Q est un nombre suffisamment élevé pour s’assurer de l’aspect aléatoire du réseau produit, souvent mis a 100.

L’utilisation de la méthode de Monte Carlo par chaînes de Markov pour générer un modèle nul contre lequel on détermine la significativité d’un (ou plusieurs) caractère(s) peut être rencontré sous le nom de «switching algorithm»<ref name=":0" />, avec le «matching algorithm»<ref name=":0" /> étant l’alternatif dans la génération des réseaux aléatoires. Ce dernier, qui n’emploie pas le MCMC, présente aussi comme désavantage la présence d’un biais dans les réseaux produits. Ces algorithmes sont le plus souvent utilisés dans la biologie pour rechercher des motifs dans les réseaux, des sous-graphes composés d’un nombre limité de nœuds et qui se retrouvent dans un très grand nombre de réseaux. Parmi les outils qui utilisent le MCMC pour générer des réseaux aléatoires sont mfinder<ref>{{Article |langue=en |prénom1=N. |nom1=Kashtan |prénom2=S. |nom2=Itzkovitz |prénom3=R. |nom3=Milo |prénom4=U. |nom4=Alon |titre=Efficient sampling algorithm for estimating subgraph concentrations and detecting network motifs |périodique=Bioinformatics |volume=20 |numéro=11 |date=2004-07-22 |issn=1367-4803 |issn2=1460-2059 |doi=10.1093/bioinformatics/bth163 |lire en ligne=https://academic.oup.com/bioinformatics/article-lookup/doi/10.1093/bioinformatics/bth163 |consulté le=2021-02-11 |pages=1746–1758 }}</ref>, FANMOD<ref>{{Article |langue=en |prénom1=S. |nom1=Wernicke |prénom2=F. |nom2=Rasche |titre=FANMOD: a tool for fast network motif detection |périodique=Bioinformatics |volume=22 |numéro=9 |date=2006-05-01 |issn=1367-4803 |issn2=1460-2059 |doi=10.1093/bioinformatics/btl038 |lire en ligne=https://academic.oup.com/bioinformatics/article-lookup/doi/10.1093/bioinformatics/btl038 |consulté le=2021-02-11 |pages=1152–1153 }}</ref>, KAVOSH<ref>{{Article |langue=en |auteur1= |prénom1=Zahra Razaghi Moghadam |nom1=Kashani |prénom2=Hayedeh |nom2=Ahrabian |prénom3=Elahe |nom3=Elahi |prénom4=Abbas |nom4=Nowzari-Dalini |titre=Kavosh: a new algorithm for finding network motifs |périodique=BMC Bioinformatics |volume=10 |numéro=1 |date=2009-10-04 |issn=1471-2105 |pmid=19799800 |pmcid=PMC2765973 |doi=10.1186/1471-2105-10-318 |lire en ligne=https://doi.org/10.1186/1471-2105-10-318 |consulté le=2021-02-11 |pages=318 }}</ref> et NetMODE<ref>{{Article |langue=en |prénom1=Xin |nom1=Li |prénom2=Rebecca J. |nom2=Stones |prénom3=Haidong |nom3=Wang |prénom4=Hualiang |nom4=Deng |titre=NetMODE: Network Motif Detection without Nauty |périodique=PLoS ONE |volume=7 |numéro=12 |date=2012-12-18 |issn=1932-6203 |pmid=23272055 |pmcid=PMC3525646 |doi=10.1371/journal.pone.0050093 |lire en ligne=https://dx.plos.org/10.1371/journal.pone.0050093 |consulté le=2021-02-11 |pages=e50093 }}</ref>.

=== Recherche de motifs ===
En ce qui concerne l’utilisation du MCMC pour la classification d’éléments dans un graphe, on parle notamment de «Markov clustering» (MCL) <ref>{{Article |langue=en |auteur1=Stijn van Dongen |titre=Graph Clustering by Flow Simulation |périodique=PhD thesis, University of Utrecht |date=May 2000 |issn= |lire en ligne= |pages= }}</ref>, une méthode de classification non-supervisée basée sur le concept de «marche aléatoire», nécessitant presque aucune information a priori afin de pouvoir classifier les éléments d’un graphe. Plus spécifiquement, en partant d’un nœud, si on se «promène» de nœud en nœud en passant par les arêtes, on a tendance à passer plus souvent entre les nœuds qui se trouvent au sein d’un même groupe que de faire un passage uniforme entre tous les nœuds. Ainsi, en augmentant l’importance des arêtes fréquemment traversées et diminuant celle des arêtes moins traversées, les groupes dans un réseau sont progressivement mises à jour.

== Application à la biologie ==
Il existe deux principaux types d’utilisation du MCMC dans la [[biologie de systèmes]], à savoir les réseaux de gènes et la [[dynamique moléculaire]] pouvant se résumer à un système de molécules. Dans ces deux cas, il s’agit de comprendre les interactions complexes entre plusieurs éléments. C'est pourquoi la méthode MCMC est combinée aux réseaux bayésiens.

=== Réseaux bayésiens ===
Les [[réseaux bayésiens]] sont couramment utilisé en biologie de systèmes et associés à la méthode MCMC. Ils offrent une représentation nette et compacte de distribution de probabilités communes de systèmes. Leur utilisation dans des modèles graphiques présentent plusieurs avantages. Dans un premier temps, ils peuvent représenter les relations/dépendances causales entre les variables et ainsi être interprétés comme un modèle causal qui génère les données. De plus, les réseaux bayésiens sont utiles pour adapter les paramètres d'un modèle en [[apprentissage automatique]], qu'il soit utilisé pour effectuer de la prédiction ou de la classification de données. La [[théorie des probabilités]] bayésiennes s'est également révélée efficace pour décrire l'incertitude et pour adapter le nombre de paramètres à la taille des données. La représentation et l'utilisation de la théorie des probabilités dans les réseaux biologiques permet à la fois de combiner les connaissances et les données d'un domaine, d’exprimer les relations de cause à effet, d’éviter de sur-ajuster un modèle pour former des données et de tirer des enseignements d'ensembles de données incomplets. 

=== Réseaux bayésiens dynamiques ===
La rétroaction est une caractéristique essentielle de nombreux systèmes biologiques. Ce qui fait de la création de mesures expérimentales de [[Série temporelle|séries temporelles]] est un défi particulièrement important en modélisation des systèmes biologiques.

Les réseaux bayésiens sont adaptés à la modélisation de boucles de rétroaction, ainsi qu'aux séries temporelles. Ce sont les [[Réseau bayésien dynamique|réseaux bayésiens dynamiques]] qui consistent en l'utilisation de réseaux bayésiens lors de la modélisation de séries temporelles ou de boucles de rétroaction. Dans ces conditions, les variables sont indexées par le temps et reproduites dans les réseaux. Des [[Modèle de Markov caché|modèles de Markov cachés]] ainsi que des systèmes dynamiques linéaires sont des cas particuliers des réseaux bayésiens dynamiques. Dans les modèles de Markov cachés, il y a un ensemble caché de nœuds (normalement des états discrets), un ensemble de variables observées, et les tranches du graphique n'ont pas besoin d'être temporelles. Ils sont souvent utilisés pour l'analyse des séquences notamment dans le cas de réseaux de gènes. 

Les réseaux bayésiens dynamiques ont été utilisés pour déduire des interactions de régulation génétique à partir de données de puces à ADN, à partir de quelques dizaines de points temporels issus d'un [[cycle cellulaire]]. Notamment en étant combiné au MCMC, cela a permis d'accéder aux performances d'inférence du réseau avec différentes tailles d'ensembles d'entraînement, d'antécédents et de stratégies d'échantillonnage<ref>{{Ouvrage|prénom1=Husmeier,|nom1=Dirk.|titre=Probabilistic Modeling in Bioinformatics and Medical Informatics|éditeur=Springer-Verlag London Limited|date=2005|isbn=978-1-84628-119-8|isbn2=1-84628-119-9|oclc=981318762|lire en ligne=http://worldcat.org/oclc/981318762|consulté le=2021-02-14}}</ref>. 

=== Réseaux de gènes ===
Les réseaux de gènes sont bien adaptés à la modélisation des systèmes biologiques complexes et stochastiques. Ils représentent chaque expression de gène par une variable décrivant la régulation entre les gènes. 

Dans ce type de réseaux, l'inférence de leurs structures, par exemple, l'identification des réseaux de régulation et de signalisation à partir de données, est l'aspect le plus intéressant. La distinction de corrélation permet l'élucidation de dépendances entre les variables mesurées et ainsi à l'apprentissage de relations inconnues et d'excellents modèles prédictifs. Néanmoins, l'apprentissage des structures de modèles est difficile et nécessite souvent une conception expérimentale minutieuse. 

=== Dynamique moléculaire ===
La méthode classique pour simuler l'évolution de molécules en réaction dans le temps est basée sur l'hypothèse du continuum. Lorsque le nombre de ces molécules réagissant dans un ensemble de réactions est de l'ordre du [[nombre d'Avogadro]], on peut supposer que cette concentration (nombre de molécules dans l’ensemble) est une variable réelle continue. Dans ce cas, la cinétique classique de l'action de masse peut être utilisée pour décrire les vitesses de réaction. Cependant, lorsque le nombre de ces molécules est de l'ordre de centaines ou de milliers, nous ne pouvons plus utiliser l'hypothèse du continuum. Par conséquent, au lieu de concentrations à valeur réelle, nous devons considérer le nombre de molécules à valeur entière. Un autre effet du faible nombre de molécules est que la cinétique classique de l'action de masse n'est plus valable. Les taux de réaction ne sont plus déterministes, et une approche probabiliste est donc nécessaire. Au lieu de tenir compte de la quantité de réactifs consommés et de produits fabriqués dans un intervalle de temps, nous devons tenir compte de la probabilité qu'une réaction se produise dans un intervalle de temps. Cette approche de modélisation des réactions est connue sous le nom de cinétique stochastique<ref>{{Article |langue=en |prénom1=Ankur |nom1=Gupta |prénom2=James B. |nom2=Rawlings |titre=Comparison of parameter estimation methods in stochastic chemical kinetic models: Examples in systems biology |périodique=AIChE Journal |volume=60 |numéro=4 |date=2014-04 |pmid=27429455 |pmcid=PMC4946376 |doi=10.1002/aic.14409 |lire en ligne=http://doi.wiley.com/10.1002/aic.14409 |consulté le=2021-02-14 |pages=1253–1268 }}</ref>.

=== Exemples en biologie de systèmes ===
Les processus cellulaires en biologie systémique présentent souvent un caractère aléatoire <ref>{{Article |prénom1=Michael B. |nom1=Elowitz |prénom2=Arnold J. |nom2=Levine |prénom3=Eric D. |nom3=Siggia |prénom4=Peter S. |nom4=Swain |titre=Stochastic gene expression in a single cell |périodique=Science (New York, N.Y.) |volume=297 |numéro=5584 |date=2002-08-16 |issn=1095-9203 |pmid=12183631 |doi=10.1126/science.1070919 |lire en ligne=https://pubmed.ncbi.nlm.nih.gov/12183631 |consulté le=2021-02-14 |pages=1183–1186 }}</ref>{{,}}<ref>{{Article |prénom1=William J. |nom1=Blake |prénom2=Mads |nom2=KAErn |prénom3=Charles R. |nom3=Cantor |prénom4=J. J. |nom4=Collins |titre=Noise in eukaryotic gene expression |périodique=Nature |volume=422 |numéro=6932 |date=2003-04-10 |issn=0028-0836 |pmid=12687005 |doi=10.1038/nature01546 |lire en ligne=https://pubmed.ncbi.nlm.nih.gov/12687005 |consulté le=2021-02-14 |pages=633–637 }}</ref>{{,}}<ref>{{Article |prénom1=Jonathan M. |nom1=Raser |prénom2=Erin K. |nom2=O'Shea |titre=Control of stochasticity in eukaryotic gene expression |périodique=Science (New York, N.Y.) |volume=304 |numéro=5678 |date=2004-06-18 |issn=1095-9203 |pmid=15166317 |pmcid=1410811 |doi=10.1126/science.1098641 |lire en ligne=https://pubmed.ncbi.nlm.nih.gov/15166317 |consulté le=2021-02-14 |pages=1811–1814 }}</ref>causé par le faible nombre de molécules en réaction.

* Des modèles cinétiques stochastiques<ref>{{Article |prénom1=H. H. |nom1=McAdams |prénom2=A. |nom2=Arkin |titre=Stochastic mechanisms in gene expression |périodique=Proceedings of the National Academy of Sciences of the United States of America |volume=94 |numéro=3 |date=1997-02-04 |issn=0027-8424 |pmid=9023339 |pmcid=PMC19596 |doi=10.1073/pnas.94.3.814 |lire en ligne=https://pubmed.ncbi.nlm.nih.gov/9023339 |consulté le=2021-02-14 |pages=814–819 }}</ref>{{,}}<ref name="re">{{Article |prénom1=A. |nom1=Arkin |prénom2=J. |nom2=Ross |prénom3=H. H. |nom3=McAdams |titre=Stochastic kinetic analysis of developmental pathway bifurcation in phage lambda-infected Escherichia coli cells |périodique=Genetics |volume=149 |numéro=4 |date=1998-08 |issn=0016-6731 |pmid=9691025 |pmcid=1460268 |lire en ligne=https://pubmed.ncbi.nlm.nih.gov/9691025 |consulté le=2021-02-14 |pages=1633–1648 }}</ref>ont été utilisés pour expliquer comment une population de cellules d'''E. coli'' infectées pouvait se diviser en sous-populations suivant des chemins différents.
* Il a été démontré que la bifurcation phénotypique des cellules T infectées par le VIH-1 pouvait être expliquée par la présence de faibles concentrations moléculaires et d'une boucle de rétroaction transcriptionnelle stochastique<ref>{{Article |prénom1=Leor S. |nom1=Weinberger |prénom2=John C. |nom2=Burnett |prénom3=Jared E. |nom3=Toettcher |prénom4=Adam P. |nom4=Arkin |titre=Stochastic gene expression in a lentiviral positive-feedback loop: HIV-1 Tat fluctuations drive phenotypic diversity |périodique=Cell |volume=122 |numéro=2 |date=2005-07-29 |issn=0092-8674 |pmid=16051143 |doi=10.1016/j.cell.2005.06.006 |lire en ligne=https://pubmed.ncbi.nlm.nih.gov/16051143 |consulté le=2021-02-14 |pages=169–182 }}</ref>.
* Hensel et al.<ref>{{Article |prénom1=Sebastian C. |nom1=Hensel |prénom2=James B. |nom2=Rawlings |prénom3=John |nom3=Yin |titre=Stochastic kinetic modeling of vesicular stomatitis virus intracellular growth |périodique=Bulletin of Mathematical Biology |volume=71 |numéro=7 |date=2009-10 |issn=1522-9602 |pmid=19459014 |pmcid=3169382 |doi=10.1007/s11538-009-9419-5 |lire en ligne=https://pubmed.ncbi.nlm.nih.gov/19459014 |consulté le=2021-02-14 |pages=1671–1692 }}</ref> ont développé un modèle détaillant la croissance intracellulaire d'un virus impliqué dans des stomatites pour démontrer que l'expression stochastique des gènes contribue à la variation du rendement viral.
 
=== Estimation des paramètres par MCMC ===
La cinétique stochastique est devenue un élément de base pour la modélisation de divers phénomènes en biologie de systèmes. Ces modèles, bien plus encore que les modèles déterministes, posent un problème difficile dans l'estimation des paramètres cinétiques à partir de données expérimentales. Initialement, les paramètres ont été fixés à des valeurs biologiquement plausibles, puis ajustés à l'œil nu de sorte que la simulation du modèle ressemble aux données expérimentales<ref name="re" />. Dans ce cas, les estimations des paramètres peuvent être facilement obtenues par ajustement des moindres carrés ou par estimation du [[maximum de vraisemblance]]. Cependant l'utilisation des méthodes statistiques de Monte Carlo permettent le maintien de la stochasticité du modèle lors de l'estimation de ces paramètres. Ces méthodes d'estimation peuvent être classées en deux catégories bien connues : les méthodes de maximum de vraisemblance et les méthodes d'inférence bayésiennes.
 
Les méthodes d'inférence bayésiennes tentent d'obtenir la distribution postérieure des paramètres, qui peut ensuite être maximisée pour obtenir des estimations maximales a posteriori.  La plupart des méthodes d'inférence bayésiennes s'appuient sur les techniques MCMC. L'application à la biologie de systèmes ne fait pas exception :

* Rempala et al.<ref name="tr">{{Article |prénom1=Grzegorz A. |nom1=Rempala |prénom2=Kenneth S. |nom2=Ramos |prénom3=Ted |nom3=Kalbfleisch |titre=A stochastic model of gene transcription: an application to L1 retrotransposition events |périodique=Journal of Theoretical Biology |volume=242 |numéro=1 |date=2006-09-07 |issn=0022-5193 |pmid=16624324 |doi=10.1016/j.jtbi.2006.02.010 |lire en ligne=https://pubmed.ncbi.nlm.nih.gov/16624324 |consulté le=2021-02-14 |pages=101–116 }}</ref> utilisent l'inférence bayésienne avec MCMC pour estimer les paramètres dans un modèle spécifique de transcription de gènes.
* Wilkinson et al. ont développé une série d'algorithmes d'inférence bayésienne, qui utilisent tous des méthodes MCMC<ref name="yt">{{Article |prénom1=Daniel A. |nom1=Henderson |prénom2=Richard J. |nom2=Boys |prénom3=Kim J. |nom3=Krishnan |prénom4=Conor |nom4=Lawless |titre=Bayesian Emulation and Calibration of a Stochastic Computer Model of Mitochondrial DNA Deletions in Substantia Nigra Neurons |périodique=Journal of the American Statistical Association |volume=104 |numéro=485 |date=2009-03 |issn=0162-1459 |issn2=1537-274X |doi=10.1198/jasa.2009.0005 |lire en ligne=http://dx.doi.org/10.1198/jasa.2009.0005 |consulté le=2021-02-14 |pages=76–87 }}</ref>{{,}}<ref>{{Article |prénom1=A. |nom1=Golightly |prénom2=D.J. |nom2=Wilkinson |titre=Bayesian inference for nonlinear multivariate diffusion models observed with error |périodique=Computational Statistics & Data Analysis |volume=52 |numéro=3 |date=2008-01 |issn=0167-9473 |doi=10.1016/j.csda.2007.05.019 |lire en ligne=http://dx.doi.org/10.1016/j.csda.2007.05.019 |consulté le=2021-02-14 |pages=1674–1693 }}</ref>{{,}}<ref>{{Ouvrage |langue=en |prénom1=Darren J. |nom1=Wilkinson |titre=Stochastic Modelling for Systems Biology |édition=3 |date=2018-12-07 |isbn=9781351000918 |doi=10.1201/9781351000918 |lire en ligne=http://dx.doi.org/10.1201/9781351000918 |consulté le=2021-02-14 }}</ref>{{,}}<ref name="uy">{{Article |prénom1=Andrew |nom1=Golightly |prénom2=Darren J. |nom2=Wilkinson |titre=Bayesian parameter inference for stochastic biochemical network models using particle Markov chain Monte Carlo |périodique=Interface Focus |volume=1 |numéro=6 |date=2011-12-06 |issn=2042-8901 |pmid=23226583 |pmcid=3262293 |doi=10.1098/rsfs.2011.0047 |lire en ligne=https://pubmed.ncbi.nlm.nih.gov/23226583 |consulté le=2021-02-14 |pages=807–820 }}</ref>{{,}}<ref>{{Article |prénom1=Andrew |nom1=Golightly |prénom2=Darren J. |nom2=Wilkinson |titre=Bayesian sequential inference for stochastic kinetic biochemical network models |périodique=Journal of Computational Biology: A Journal of Computational Molecular Cell Biology |volume=13 |numéro=3 |date=2006-04 |issn=1066-5277 |pmid=16706729 |doi=10.1089/cmb.2006.13.838 |lire en ligne=https://pubmed.ncbi.nlm.nih.gov/16706729 |consulté le=2021-02-14 |pages=838–851 }}</ref>.
* Autorégulation des gènes procaryotes<ref name="re" />{{,}}<ref>{{Article |prénom1=Tommaso |nom1=Mazza |prénom2=Gennaro |nom2=Iaccarino |prénom3=Corrado |nom3=Priami |titre=Snazer: the simulations and networks analyzer |périodique=BMC systems biology |volume=4 |date=2010-01-07 |issn=1752-0509 |pmid=20056001 |pmcid=2880970 |doi=10.1186/1752-0509-4-1 |lire en ligne=https://pubmed.ncbi.nlm.nih.gov/20056001 |consulté le=2021-02-14 |pages=1 }}</ref>{{,}}<ref name="uy" />.
* Modèles de transcription des gènes<ref name="iu">{{Article |prénom1=S. |nom1=Reinker |prénom2=R.M. |nom2=Altman |prénom3=J. |nom3=Timmer |titre=Parameter estimation in stochastic biochemical reactions |périodique=IEE Proceedings - Systems Biology |volume=153 |numéro=4 |date=2006 |issn=1741-2471 |doi=10.1049/ip-syb:20050105 |lire en ligne=http://dx.doi.org/10.1049/ip-syb:20050105 |consulté le=2021-02-14 |pages=168 }}</ref>{{,}}<ref name="tr" />.
* Expression de l'ARN<ref>{{Article |prénom1=Ido |nom1=Golding |prénom2=Johan |nom2=Paulsson |prénom3=Scott M. |nom3=Zawilski |prénom4=Edward C. |nom4=Cox |titre=Real-time kinetics of gene activity in individual bacteria |périodique=Cell |volume=123 |numéro=6 |date=2005-12-16 |issn=0092-8674 |pmid=16360033 |doi=10.1016/j.cell.2005.09.031 |lire en ligne=https://pubmed.ncbi.nlm.nih.gov/16360033 |consulté le=2021-02-14 |pages=1025–1036 }}</ref>{{,}}<ref>{{Article |prénom1=Suresh Kumar |nom1=Poovathingal |prénom2=Rudiyanto |nom2=Gunawan |titre=Global parameter estimation methods for stochastic biochemical systems |périodique=BMC Bioinformatics |volume=11 |numéro=1 |date=2010-08-06 |issn=1471-2105 |doi=10.1186/1471-2105-11-414 |lire en ligne=http://dx.doi.org/10.1186/1471-2105-11-414 |consulté le=2021-02-14 }}</ref>{{,}}<ref name="iu" />.
* Dynamique de l'ADNmt à cellule unique<ref name="yt" />.

== Voir aussi ==
=== Bibliographie ===
* {{Ouvrage|langue=en|prénom1=George|nom1=Casella|lien auteur1=George Casella|prénom2=Christian|nom2=Robert|lien auteur2=Christian Robert (statisticien)|titre=Introducing Monte Carlo Methods with R|éditeur=[[Springer Science+Business Media|Springer-Verlag]]|collection=Use R! Series|année=2007|pages totales=283|isbn=978-1-4419-1575-7|lire en ligne=https://books.google.com/books?id=WIjMyiEiHCsC&printsec=frontcover}}
* {{Ouvrage|langue=en|prénom1=Christian|nom1=Robert|lien auteur1=Christian Robert (statisticien)|prénom2=George|nom2=Casella|lien auteur2=George Casella|titre=Monte Carlo Statistical Methods|éditeur=[[Springer Science+Business Media|Springer-Verlag]]|collection=Springer Texts in Statistics|année=2010|isbn=}}
* {{Ouvrage
|langue=en
|auteur1=Christophe Andrieu
|titre=An Introduction to MCMC for Machine Learning
|éditeur=Kluwer Academic Publishers
|année=2003
|isbn=
|lire en ligne=http://www.cs.princeton.edu/courses/archive/spr06/cos598C/papers/AndrieuFreitasDoucetJordan2003.pdf
}}

=== Articles connexes ===
* [[Méthode de Monte-Carlo]]
* [[Algorithme de Metropolis-Hastings à sauts réversibles]]
; D'autres échantillonnages de distribution
* [[Méthode de la transformée inverse]]
* [[Méthode de rejet]]
* [[Échantillonnage préférentiel]]
== Notes et références ==
{{Références}}

{{Portail|Probabilités et statistiques}}

{{DEFAULTSORT:Monte-Carlo par chaines de Markov, Methode de}}

[[Catégorie:Méthode de Monte-Carlo par chaînes de Markov|*]]