Voir la source de Inférence bayésienne

{{Voir homonymes|Inférence}}
L’'''inférence bayésienne''' est une méthode d'[[inférence statistique]] par laquelle on calcule les [[probabilité]]s de diverses [[Causalité|causes]] hypothétiques à partir de l'[[observation]] d'[[Événement (probabilités)|événements]] connus. Elle s'appuie principalement sur le [[théorème de Bayes]].

Le raisonnement bayésien construit, à partir d'observations, une probabilité de la cause d'un type d'événements. On attribue à toute proposition de cause une valeur de sa probabilité, prise dans l'[[Intervalle (mathématiques)|intervalle ouvert]] allant de 0 ([[contradiction]], faux à coup sûr) à 1 ([[Tautologie (logique)|tautologie]], vraie à coup sûr)<ref>{{chapitre|id=Drouet2016a |prénom1=Isabelle |nom1=Drouet |titre chapitre= Le bayésianisme : éléments de définition et mutation récentes| passage=3-25 |titre ouvrage={{harvsp|Drouet|2016|texte=Le bayésianisme aujourd’hui}} |année=2016}}, {{p.|4-5}}.</ref>. Quand un événement possède plus de deux causes possibles, on considère une [[Loi de probabilité|distribution de probabilité]] pour ces causes. Cette distribution est révisée à chaque nouvelle observation et s'affine de plus en plus. Ainsi, un [[Diagnostic (médecine)|diagnostic médical]] indique-t-il qu'une maladie plus qu'une autre est probablement à l'origine des [[symptôme]]s d'un patient, et des examens renforcent ou infirment cette hypothèse. On révise de même, au vu des résultats de chaque sondage d'une campagne de [[Prospection (géologie)|prospection]], la probabilité qu'il existe un gisement de pétrole à un certain endroit.

Le [[théorème de Cox-Jaynes]] formalise la notion intuitive de plausibilité sous une forme numérique. Il démontre que, si les plausibilités satisfont à l'ensemble d'hypothèses qu'il propose, la seule façon cohérente de les manipuler est d'utiliser un système [[Isomorphisme|isomorphe]] à la [[théorie des probabilités]], induisant alors une interprétation « logique » des probabilités indépendante de celle de [[Fréquence (statistiques)|fréquence]] et une base rationnelle au mécanisme d'[[Induction (logique)|induction logique]].

L'inférence bayésienne produit une probabilité qui s'interprète comme le degré de [[confiance]] à accorder à une cause hypothétique. On l'utilise pour l'[[apprentissage automatique]] en [[intelligence artificielle]], notamment depuis 1996 pour la [[Filtrage bayésien du spam|classification automatique des emails]] (détection des spam) par analyse des mots-clés du message. Les classificateurs bayésiens ont l'avantage de pouvoir être partiellement ré-entraînés pendant leur fonctionnement, en confirmant ou en infirmant les prédictions du modèle (notamment les faux-positifs et les faux-négatifs), ce qui permet à l'intelligence artificielle de raffiner son modèle interne de probabilités et améliore la précision du classificateur au cours du temps, sans devoir le ré-entraîner totalement.

Cependant, en comparaison d'autres méthodes d'apprentissage machine supervisé de complexité algorithmique similaire ([[Arbre de décision (apprentissage)|arbres de décision]], [[Machine à vecteurs de support|machine à vecteur support]], [[:en:Markovian_discrimination|discrimination markovienne]], filtre à [[logique floue]]<ref name=":0">{{Article|langue=en|auteur1=BENALA, Tirimula Rao|auteur2=VIDYADHARI, J.|auteur3=SNEHA, P.|titre=Comparative Study of Spam Filters: Bayesian to Fuzzy Similarity Approach.|périodique=Proceedings of Southern Regional Conference on Advances in Information and Communication Technology.|numéro=2010|date=Janvier 2010|lire en ligne=https://papers.ssrn.com/sol3/papers.cfm?abstract_id=1862476|format=pdf}}</ref>), les classificateurs bayésiens souffrent d'une précision inférieure et difficilement améliorable<ref name=":0" />, notamment sur des problèmes à 300 dimensions et plus (ce qui limite par exemple le filtre anti-spam à un vocabulaire de 300 mots)<ref name=":1">{{Lien web |langue=en |prénom=Ion |nom=Androutsopoulos |prénom2=Georgios |nom2=Paliouras |titre=Learning to Filter Spam E-Mail: A Comparison of a Naive Bayesian and a Memory-Based Approach |url=https://arxiv.org/abs/cs/0009009v1 |site=arXiv.org |date=2000-09-18 |consulté le=2024-01-09}}</ref>, et leur précision finale est très sensible au choix a priori des distributions de probabilité des variables. Pour cette raison, l'inférence bayésienne est utilisée pour mesurer l'incertitude d'un [[modèle statistique]] (donc sa qualité de prédiction)<ref>{{Article|prénom1=Michael E.|nom1=Alfaro|prénom2=John P.|nom2=Huelsenbeck|titre=Comparative Performance of Bayesian and AIC-Based Measures of Phylogenetic Model Uncertainty|périodique=Systematic Biology|volume=55|numéro=1|pages=89–96|date=2006-02-01|issn=1076-836X|issn2=1063-5157|doi=10.1080/10635150500433565|lire en ligne=https://doi.org/10.1080/10635150500433565|consulté le=2024-01-09}}</ref> ou pour résoudre des problèmes d'optimisation numérique impliquant des fonctions coûteuses à calculer ([[:en:Bayesian_optimization|optimisation bayésienne]]), pour lesquels on souhaite limiter le nombre de calculs et donc choisir judicieusement les points où estimer ces fonctions coûteuses.

== Manipulation des probabilités : notation et règles logiques ==
L'inférence bayésienne effectue des calculs sur les énoncés probabilistes. Ces énoncés doivent être clairs et concis afin d'éviter toute confusion. L'inférence bayésienne est particulièrement utile dans les problèmes d'[[Induction (logique)|induction]]. Les méthodes bayésiennes se distinguent des méthodes dites standards{{Lesquelles|date=4 juillet 2022}} par l'usage systématique de règles formelles raffinant les probabilités par l'observation.

=== Notation courante ===
{{article détaillé|Liste des symboles logiques}}
La [[notation (mathématiques)|notation]] bayésienne reprend la notation classique des événements en probabilité qui elle-même s'inspire de la notation [[Logique (mathématiques)|logique]].

{| class="wikitable"
|+Table récapitulative non-exhaustive pour <math>A</math> et <math>B</math>
! scope=col | Notation
! scope=col | Sens
|-
|<math>A</math>
|[[évènement (probabilités)|évènement]] <math>A</math> qui s'est réalisé
|-
|<math>\bar A</math>
|<math>A</math> qui ne s'est pas réalisé
|-
| <math>\neg A</math>
|évènement non <math>A</math> qui s'est réalisé{{Pas clair|date=décembre 2022}}
|-
| <math>\neg \bar A</math>
|évènement non <math>A</math> qui ne s'est pas réalisé{{Pas clair|date=décembre 2022}}
|-
| <math>A \cap B </math>
| événements <math>A</math> '''et''' <math>B</math> qui se sont réalisés
|-
| <math>A \cup B </math>
| événement <math>A</math> '''ou''' <math>B</math> qui s'est réalisé
|-
| <math>p(A)</math>
| [[probabilité]] que <math>A</math> ait lieu
|-
| <math>p(B)</math>
| probabilité que <math>B</math> ait lieu
|-
| <math>p(A|B)</math>
| [[probabilité conditionnelle]] que <math>A</math> ait lieu étant donné que <math>B</math> a eu lieu
|-
! scope=row colspan="2" class="sortbottom" style="text-align:left;" | Note : d'autres notations existent, et il est aussi possible de les combiner<ref>Par exemple <math>\neg A \cap B </math>, <math>p(\neg \bar A \cap B)</math>, <math>p(\bar A|\neg B)</math>{{etc.}}</ref>.
|}

=== Règles de la logique bayésienne ===
{{Refnec|
Deux règles permettent de combiner les probabilités, la règle d'addition et celle de multiplication. Le théorème de Bayes, ou de ''probabilité des causes'', s'en dérive aussitôt en mettant à profit la symétrie de la règle de multiplication.

; Règle d'addition
: <math>p(A \cup B|C) = p(A|C) + p(B|C) - p(A \cap B|C)</math>
; Règle de multiplication
: <math>p(A \cap B) = p(A|B)\cdot p(B) = p(B|A)\cdot p(A)</math> 
; Théorème de Bayes
: <math>p(A|B) = \frac{p(B|A)\cdot p(A)}{p(B)}.</math> 

En conséquence, si on connaît dans le détail les causes possibles d'une conséquence observée et leurs probabilités, ''l'observation des effets permet de remonter aux causes''.

On remarque que l'inversion de la probabilité introduit le terme {{math|''p''(''A'')}}, la [[Probabilité a priori|probabilité ''{{langue|la|a priori}}'']] de l'événement {{mvar|A}}, indépendamment de l'événement {{mvar|B}}. Cette ''estimation a priori'' est ignorée par les autres méthodes probabilistes.
}}

=== Notation d'évidence ===
{{Refnec|
Dans la pratique, quand une probabilité est très proche de 0 ou de 1, seule l'observation d'éléments considérés eux-mêmes comme très improbables est susceptible de la modifier.

On définit l'évidence par :
: <math>\mathrm{Ev}(p) = \log\frac{p}{(1-p)} =\log{p}-\log(1-p)</math>

{{math|Ev}} est une abréviation pour ''{{lang|en|weight of evidence}}'', parfois traduit en français par « évidence » ; la formulation la plus conforme à l'expression anglaise d'origine serait le mot à mot « poids de témoignage » ou « poids de la preuve », mais par une coïncidence amusante « évidence » se montre très approprié en français pour cet usage précis.

L'utilisation du logarithme fait varier la valeur de l'évidence sur tout le domaine des [[nombre réel|nombres réels]] quand la probabilité va de 0 à 1, avec une meilleure lisibilité des très petites (10{{-5}}, 10{{-10}}…) et des très grandes (0,999999, 0,999999999) probabilités, faciles à confondre intuitivement.

L'intérêt de cette notation, outre qu'elle évite d'avoir trop de décimales au voisinage de 0 et de 1, est qu'elle permet de présenter l'apport d'une observation sous une forme indépendante des observateurs, donc objective : il faut le même poids de témoignage pour faire passer un événement d'une plausibilité de -4 (probabilité {{nb|e-4}} avec logarithme en base 10) à -3 (probabilité {{nb|e-3}}) que pour le faire passer de -1 (probabilité 0,09) à 0 (probabilité 0,5 soit une chance sur deux), ce qui n'était pas évident en gardant la représentation probabiliste pure.

Choisissant une [[Base (analyse)|base]] 10{{exp|0,1}} pour le logarithme, {{harvsp|Tribus|1972}}{{refins}} exprime par analogie l'évidence en [[décibel]]s (dB) : <math>\mathrm{Ev}(p) = 10\,\log_{10} \tfrac{p}{(1-p)}</math> tandis que le décibel se définit comme <math>\mathrm{n}(p) = 10\,\log_{10} \tfrac{p}{p_{ref}}</math>. Une évidence de -40 correspond à une probabilité de {{nb|e-4}}{{etc.}} En 2011, [[Stanislas Dehaene]] préconise le terme ''décibans''<ref name="dehaene">{{lien web|url=http://www.college-de-france.fr/site/stanislas-dehaene/course-2012-01-10-09h30.htm |titre=Introduction au raisonnement Bayésien et à ses applications |auteur=[[Stanislas Dehaene]] |date=10 janvier 2012 |site=[[Collège de France]]}}.</ref>. Le nom ''ban'' a été créé à partir du nom de la ville de [[Banbury]], où on fabriquait durant la [[Seconde Guerre mondiale]] des bandes de carton utilisées à [[Bletchley Park]] pour déchiffrer les messages produits par la [[Enigma (machine)|machine Enigma]]<ref>{{Ouvrage |langue=fr |prénom1=Jérôme |nom1=Segal |titre=Le zéro et le un |sous-titre=Histoire de la notion d'information au {{XXe siècle}} |volume=1 |éditeur=[[Éditions Matériologiques]] |date=2018-03-29 |pages totales=532 |isbn=978-2-919694-05-1 |présentation en ligne=https://books.google.fr/books?id=ArFTDwAAQBAJ&q=Banbury |consulté le=2019-04-24}}.</ref>. La technique, élaborée par [[Alan Turing]], était appelée {{lien|lang=en|banburismus}}<ref>Science4All, « Le curseur de Turing | {{nobr|Bayes 14}} », {{date-|05/08/2019}}, sur [[YouTube]].</ref>{{refins|date=juillet 2020}}.

D'autres unités ont été utilisées :
* le ''dit'' (pour {{lang|en|decimal digit}})), avec des logarithmes à {{lnobr|Système décimal|base 10}} sans multiplicateur, aussi appelé ''hartley'' (symbole Hart), du nom de [[Ralph Hartley]] qui le proposa en 1928 ;
* le ''NATS'' utilisant les [[Logarithme népérien|logarithmes népériens]], dits aussi ''naturels''.
}}

== Comparaison avec la statistique classique ==
L'usage de ''probabilités a priori'' a entraîné quelques reproches récurrents aux méthodes bayésiennes lors de leur introduction. On devait alors rappeler systématiquement les quatre points suivants<ref name="tribus">{{harvsp|Tribus|1972}}.</ref>{{refins}} :

* {{Refnec|l'effet de la distribution ''{{lang|la|a priori}}'' s'estompe à mesure que les observations sont prises en compte ;}}
* il existe des lois ''impersonnelles'', comme la ''[[Principe d'entropie maximale|maximisation d'entropie]]'' ou l’''[[invariance de groupe]]'' indiquant l'unique distribution possible qui répond aux contraintes ([[moyenne arithmétique]], géométrique, variance{{etc.}}) sans ajouter la moindre information propre à l'expérimentateur<ref>{{lien web|auteur=Jean-Philippe Fauconnier |url=https://fr.slideshare.net/jfaucon/max-ent |titre=Classifieur d'entropie maximale (MaxEnt) |date=15 février 2013}}, [[Institut de recherche en informatique de Toulouse|IRIT]], Toulouse.</ref> ;
* {{Refnec|les probabilités ''{{lang|la|a priori}}'' sont souvent dans d'autres méthodes utilisées inconsciemment (critère de Wald, critère du [[Algorithme minimax|minimax]]…) ;
* comme pour tout autre modèle, les effets de différents choix ''{{lang|la|a priori}}'' peuvent être considérés de front.}}

=== Différence d'esprit ===
{{Refnec|
Les méthodes bayésiennes utilisent des ''méthodes impersonnelles'' pour mettre à jour des ''probabilités personnelles'', tandis que les méthodes statistiques classiques utilisent des ''méthodes personnelles'' pour traiter des ''fréquences impersonnelles''{{sfn|Tribus|1969|p=}}{{refins}}. Dans la théorie bayésienne, les « probabilités » ne sont pas {{citation|interprétées comme les fréquences relatives d’événements (point de vue « fréquentiste »), mais comme des mesures du degré de connaissance subjective}}. De ce point de vue, une « probabilité » est plutôt une « plausibilité »{{sfn|Dehaene|2012}}.

Les bayésiens font donc le choix de ''modéliser leurs attentes'' en début de processus (quitte à réviser ce premier jugement en donnant des poids de plus en plus faibles aux ''{{lang|la|a priori}}'' au fur et à mesure des observations), tandis que les statisticiens classiques se fixent ''{{lang|la|a priori}}'' une méthode et une hypothèse arbitraires et ne traitaient les données qu'ensuite.

La possibilité de diminuer automatiquement le poids des ''{{lang|la|a priori}}'' au fur et à mesure de l’acquisition des données a permis aux modèles bayésiens d'être largement utilisés en [[exploration de données]]. En effet, contrairement aux méthodes classiques, elle ne nécessite que peu d'intervention humaine pour redéfinir à grande vitesse de nombreuses classes hypothèses en éliminant les moins validées par les données du moment.
}}

=== Quand utiliser l'une ou l'autre ? ===

Dans le cas où l'on dispose d'observations (aussi appelées enregistrements, mesures, données ou ''data''), que l'on peut représenter par des [[Variable aléatoire|variables aléatoires]] pour lesquelles on cherche un [[Modèle scientifique|modèle]] décrivant leur probabilité, on peut choisir une [[Loi de probabilité|distribution de probabilité]] ''a priori'', dans laquelle on fixe arbitrairement les paramètres (par exemple : [[moyenne]] et [[écart type]], pour une [[Loi normale|distribution gaussienne]]), et qu'on utilise pour estimer une probabilité ''a posteriori'' individualisée : c'est l'approche bayésienne<ref name=":3" />.

L'approche fréquentielle consisterait à trouver les paramètres de la distribution de probabilité par la méthode du [[maximum de vraisemblance]], la [[Méthode des moments (statistiques)|méthode des moments]], ou des méthodes d'optimisation numérique de sorte à minimiser l'[[Erreur quadratique moyenne|erreur quadratique]] entre les fréquences observées et les fréquences prédites par la distribution de probabilité<ref>{{Ouvrage |auteur1=William W. Hines |auteur2=Douglas C. Montgomery|auteur3=David M. Goldsman |auteur4=Connie M. Borror |traducteur=Luc Adjengue, Emmanuelle Reny-Nolin, Jean-Pierre Carmichael |titre=Probabilités et statistique pour ingénieurs |lieu=Montréal |éditeur=Chenelière Éducation |année=2012 |numéro édition=2 |année première édition=2005 |pages totales=509 |numéro chapitre=10 |passage=228-239 |isbn=978-2-7650-3107-9}}.</ref>.

L'approche fréquentielle requiert un échantillon d'observations plus large, qui satisfasse aux conditions d'application de la [[loi des grands nombres]]. Pour l'approche bayésienne, le modèle ''a priori'' doit être suffisamment précis et [[Stabilité numérique|numériquement stable]]. Ces approches diffèrent essentiellement par la provenance des informations sur lesquelles repose le modèle, mais des considérations techniques sont à prendre en compte (voir plus bas).

Les deux approches se complètent, la statistique fréquentielle étant en général préférable lorsque les informations sont abondantes et d'un faible coût de collecte. Lorsqu'il est question de s'informer en effectuant des opérations coûteuses (ex : un forage pétrolier), les méthodes bayésiennes permettent de réduire le nombre d'observations à réaliser en indiquant où il est le plus judicieux de les réaliser afin de pouvoir conclure avec une [[Incertitude en sciences|incertitude]] (ou un [[Intervalle de confiance|seuil de confiance]]) décidée à l'avance par l'expérimentateur (voir [[:en:Bayesian_optimization|optimisation bayésienne]]). À partir de connaissances générales (''a priori''), et d'observations particulières, on peut donc non seulement formuler un modèle spécifique à une situation donnée (ex : déterminer la présence d'un gisement de pétrole à partir de forages individuels dans une région donnée, en connaissant à l'avance la nature du sol et sa probabilité de contenir du pétrole), mais également optimiser la prise d'observations subséquentes (ex : où forer pour vérifier si pétrole il y a) de façon à minimiser les coûts. Les méthodes bayésiennes sont donc un outil d'aide à la [[prise de décision]] [[Rationalisme|rationnelle]], trouvant leur origine dans l'étude des jeux de hasard<ref>{{Article|prénom1=Bruno de|nom1=Finetti|titre=La prévision : ses lois logiques, ses sources subjectives|périodique=Annales de l'institut Henri Poincaré|volume=7|numéro=1|pages=1–68|date=1937|issn=0365-320X|lire en ligne=https://eudml.org/doc/79004|consulté le=2024-01-10}}</ref>, plutôt qu'un outil d'étude et d'analyse général.

Le ''psi-test'' bayésien (qui est utilisé pour déterminer la plausibilité d'une ''distribution'' par rapport à des ''observations'') est asymptotiquement convergent avec le [[Loi du χ²|χ²]] des statistiques classiques à mesure que le nombre d'observations devient grand. Le choix apparemment arbitraire d'une [[Distance (mathématiques)|distance]] [[Norme (mathématiques)|euclidienne]] dans le χ² est ainsi parfaitement justifié ''{{lang|la|a posteriori}}'' par le raisonnement bayésien<ref name="tribus" />{{refins}}.

=== Limites ===
Diaconis et Freedman<ref name=":3">{{Article|prénom1=Persi|nom1=Diaconis|prénom2=David|nom2=Freedman|titre=On the Consistency of Bayes Estimates|périodique=The Annals of Statistics|volume=14|numéro=1|date=1986-03-01|issn=0090-5364|doi=10.1214/aos/1176349830|lire en ligne=https://projecteuclid.org/journals/annals-of-statistics/volume-14/issue-1/On-the-Consistency-of-Bayes-Estimates/10.1214/aos/1176349830.full|consulté le=2024-01-09}}</ref> concluent que l'approche bayésienne ne présente pas de danger pour des problèmes faisant intervenir des distributions statistiques lisses (continues et de dérivée continue) et « pointues » (fréquences fortement centrées autour d'un pic, faiblement dispersées), avec un petit nombre de [[Dimension topologique|dimensions]], un grand nombre d'observations (au regard du nombre de dimensions) et un petit nombre d'issues (lancer de pièce, mort du patient), car les observations vont primer sur le modèle ''a priori'', ce qui laisse au statisticien la possibilité de choisir sa distribution ''a priori'' en fonction des propriétés mathématiques recherchées (notamment : [[Comparaison asymptotique|comportement asymptotique]] et [[Fonction inverse|inversibilité]]), plutôt qu'en se préoccupant de la précision absolue.

En revanche, dans les problèmes faisant intervenir un grand nombre de dimensions, pour les expériences ayant un nombre infini d'issues (comme des valeurs de nombres entiers, cas à l'origine de la [[Loi de Dirichlet|distribution de Dirichlet]] typiquement utilisée en statistiques bayésiennes), d'autant plus si la distribution ''a priori'' a une [[longue traîne]] (forte dispersion des fréquences) ou une traîne asymétrique<ref name=":2">{{Article|langue=en|prénom1=Lucien|nom1=Le Cam|prénom2=Grace|nom2=Lo Yang|titre=Asymptotics in Statistics|périodique=Springer Series in Statistics|date=1990|issn=0172-7397|doi=10.1007/978-1-4684-0377-0|lire en ligne=https://doi.org/10.1007/978-1-4684-0377-0|consulté le=2024-01-10}}</ref>, les techniques bayésiennes non-paramétriques font primer le modèle ''a priori''  sur les observations, de sorte que le processus bayésien amplifie l'erreur du modèle ''a priori'' et donne un modèle ''a posteriori'' incohérent avec les observations (parfois même avec des oscillations)<ref name=":3" />{{,}}<ref name=":2" />. En dehors de toute considération pour la validité théorique de la méthode bayésienne, ce sont donc des considérations purement calculatoires qui la rendent inapplicable car instable dans ce contexte.

Ceci est confirmé empiriquement par les recherches sur le filtrage bayésien des emails de spam, qui montrent une précision maximale pour 100 dimensions (c'est-à-dire un vocabulaire de 100 mots) et une baisse significative de la précision à partir de 300 dimensions<ref name=":1" />, tout en suggérant que le filtrage bayésien demande 2 à 3 fois plus d'observations que les autres méthodes pour atteindre sa précision maximale (par ailleurs inférieure de 2 à 8 % aux méthodes les plus précises)<ref name=":0" />. Le vocabulaire limité autorisé par cette méthode rend la précision du modèle fortement dépendante du corpus d'emails utilisé pour l'entraînement, puisque les mots-clés retenus sont seulement les plus fréquents.

=== Phénomène de Bernstein-von Mises ===
Laplace (1810), Bernstein (1917), von Mises (1931) et Le Cam (1953) ont successivement noté que les distributions ''a posteriori'' issues de processus bayésiens tendaient asymptotiquement vers une [[Loi normale|distribution normale]] (gaussienne) sous certaines conditions (hors du champ encyclopédique, voir Le Cam & Yang 1990)<ref name=":2" />.

== Usage en apprentissage profond ==
{{Ancre|Usage en "Deep learning"}}
{{article détaillé|réseaux bayésiens}}
Un important article souvent cité<ref>{{en}} [http://www.cs.toronto.edu/~hinton/absps/fastnc.pdf {{lang|en|A fast-learning algorithm for deep belief nets}}] {{pdf}}, de Geoffrey E. Hinton, Simon Osindero (Université de Toronto) et Yee-Whye Teh (Université de Singapour), c.2006.</ref>{{Référence insuffisante}} a introduit la notion de [[Apprentissage profond|''{{lang|en|deep learning}}'']] efficace à partir de [[Réseau bayésien|réseaux bayésiens]].

== Historique ==

{{Refnec|Cette démarche fut induite [[Pragmatisme|pragmatiquement]] par application du [[théorème de Bayes]] bien connu en dehors d'un strict modèle probabiliste antérieurement validé{{Quoi|date=23 décembre 2022}}. Après la publication posthume{{Référence nécessaire|date=23 décembre 2022}} des travaux de Bayes, [[Niels Henrik Abel|Abel]] et [[Pierre-Simon de Laplace|Laplace]] adhérèrent immédiatement au raisonnement bayésien{{Référence nécessaire|date=23 décembre 2022}} (Laplace en tire même la [[Estimateur de Laplace–Bayes|loi de succession]] qui porte son nom).

Le [[Théorème de Cox-Jaynes|théorème de Cox]] le formalisa sur des bases [[Théorie axiomatique|axiomatiques]] indépendantes de la théorie classique des probabilités et les travaux de [[Irving John Good|Good]], [[Harold Jeffreys|Jeffreys]], [[Myron Tribus|Tribus]] et [[Edwin Thompson Jaynes|Jaynes]] la vulgarisèrent.}}

=== Controverses ===

Les critiques de l'inférence bayésienne doivent se comprendre dans leur contexte : les méthodes bayésiennes sont au cœur des mathématiques de l'aide à la [[prise de décision]] [[Rationalisme|rationnelle]]<ref name=":4" />. La définition de ce qui est rationnel dans un contexte incertain est posée de manière axiomatique et formulée par des algèbres utilisant les probabilités conditionnelles<ref>{{Article|langue=en|prénom1=Peter C.|nom1=Fishburn|titre=Subjective expected utility: A review of normative theories|périodique=Theory and Decision|volume=13|numéro=2|pages=139–199|date=1981-06-01|issn=1573-7187|doi=10.1007/BF00134215|lire en ligne=https://doi.org/10.1007/BF00134215|consulté le=2024-01-10}}</ref>, en se plaçant dans une approche [[Utilitarisme|utilitariste]], sans chercher à modéliser le comportement humain mais plutôt en essayant d'améliorer la réaction humaine en se basant sur des axiomes comportementaux idéalisés<ref name=":4" />. Ces axiomes ont donc une visée normative, et leur principale limite se trouve dans leur capacité à formuler des critères éthiques<ref>{{Article|prénom1=Richard C.|nom1=Jeffrey|titre=Ethics and the Logic of Decision|périodique=The Journal of Philosophy|volume=62|numéro=19|pages=528|date=1965-10-07|doi=10.2307/2023748|lire en ligne=http://www.pdcnet.org/oom/service?url_ver=Z39.88-2004&rft_val_fmt=&rft.imuse_id=jphil_1965_0062_0019_0528_0539&svc_id=info:www.pdcnet.org/collection|consulté le=2024-01-10}}</ref>. Dans ce contexte, les considérations [[Épistémologie|épistémologiques]] sur la validité de la distribution ''a priori'', et les considérations techniques sur la stabilité numérique<ref name=":3" /> participent au débat éthique sur la prise de décision par des algorithmes et leur mise en action dans la réalité.

Bien que les découvertes de Bayes (et Laplace) soient antérieures, les méthodes qui se sont historiquement imposées dans la pratique statistique sont celles de l'école portée par les travaux de [[Ronald Aylmer Fisher]] ou [[Richard von Mises]]. Cette approche est parfois appelée ''statistique fréquentiste'' mais le terme reste encore peu usité en français{{note|groupe=alpha|Le {{date-|13 juin 2012}}, {{nombre|447|liens}} sur Google pour la recherche « statistique fréquentiste ». Il plus courant en anglais, le {{date-|13 juin 2012}}, {{nombre|19300|liens}} sur Google pour la recherche « ''{{lang|en|frequentist statistics}}'' »}} : la domination de cette école a été telle qu'en l'état actuel le terme « statistiques » renvoie le plus souvent implicitement à celle-ci<ref>Pablo Carranza, Alain Kuzniak, équipe DIDIREM. Université {{nobr|Paris 7}}  [http://www.asi4.uji.es/actas/p5a4.pdf|Approche bayesienne « cachée » et approche fréquentiste « ambiguë » dans les livres de cours français de Première S et ES] {{pdf}}.</ref>.

{{Refnec|L'approche fréquentiste se prêtait en effet mieux aux problèmes alors rencontrés (grands volumes de données très irrégulières, par exemple en [[agriculture]]) et aux outils disponibles (essentiellement [[Comptabilité|comptables]] {{incise|quatre opérations de base}} et manuels ou mécanographiques, donc limités et lents). L'usage de l'approche bayésienne était limité à un champ d'applications restreint parce que demandant des calculs plus complexes, et pour cette raison onéreux jusqu'au milieu des années 1970. L'[[Loi de Moore|effondrement du coût des calculs]] entraîné par le développement de l'informatique a permis un usage plus courant des méthodes bayésiennes, notamment dans le cadre de l'[[intelligence artificielle]] : perception automatique, reconnaissance visuelle ou de la parole, ''{{lang|en|[[deep learning]]}}''}}.

Ce nouvel usage a contribué à clarifier le débat théorique sur les pertinences comparées des deux approches<ref>[http://www.larecherche.fr/actualite/mathematiques/questions-a-nicolas-vayatis-bayesiens-contre-frequentistes-01-07-2008-75253%20 La recherche, Questions à Nicolas Vayatis : « Bayésiens contre Fréquentistes, un faux débat » mathématiques - 01/07/2008 par Propos recueillis par Mathieu Nowak].</ref>.

La principale critique philosophique faite à l'inférence bayésienne est le recours à une distribution statistique définie ''a priori'' et subjectivement'','' qui empile les erreurs de mesure de l'échantillon de données par dessus les erreurs liées au choix des hypothèses et donc de la distribution<ref>{{Ouvrage|langue=en|prénom1=E. L.|nom1=Lehmann|titre=Theory of Point Estimation|éditeur=Springer New York|date=1983|isbn=978-1-4757-2771-5|isbn2=978-1-4757-2769-2|doi=10.1007/978-1-4757-2769-2|lire en ligne=http://link.springer.com/10.1007/978-1-4757-2769-2|consulté le=2024-01-10}}</ref>. La distribution ''a priori'' doit théoriquement être choisie indépendamment des observations, par exemple à partir d'études séparées utilisant les statistiques descriptives (non bayésiennes). En pratique, ces études n'existent pas toujours et le choix final se fait souvent en fonction de l'apparence des observations, ce qui revient plus ou moins à un problème de [[Régression (statistiques)|régression]]<ref name=":4">{{Ouvrage|prénom1=James O.|nom1=Berger|titre=Statistical Decision Theory and Bayesian Analysis|éditeur=Springer New York|collection=Springer Series in Statistics|date=1985|isbn=978-1-4419-3074-3|isbn2=978-1-4757-4286-2|doi=10.1007/978-1-4757-4286-2|lire en ligne=http://link.springer.com/10.1007/978-1-4757-4286-2|consulté le=2024-01-10}}</ref>. Le modèle ainsi produit peut manquer de généralité et souffrir de [[Surapprentissage|sur-apprentissage]], en plus d'osciller et de diverger dans certains contextes (voir [[#Limites|Limites]]).

Les bayésiens « subjectivistes » répondent à cette critique par « toute probabilité, traduisant un état de connaissance, est subjective par construction » (Tribus) et embrassent la [[subjectivité]] de l'exercice, parfois même en taxant les fréquentistes de subjectivité non-assumée puisqu'ils choisissent eux-mêmes des [[Fonction objectif|fonctions objectif]] subjectivement<ref name=":4" />. Il n'en demeure pas moins que la théorie ''a priori'' choisie subjectivement n'est pas [[Réfutabilité|réfutable]] au sens de [[Karl Popper]]<ref name=":5" />, ce qui pose un problème [[Épistémologie|épistémologique]] quant à la validité du modèle résultant, et cantonne les estimateurs bayésiens au rang de méthodes de [[Régression (statistiques)|régression]] ou d'[[Optimisation (mathématiques)|optimisation]] numérique par [[Apprentissage automatique|apprentissage machine]] (la complexité et le nombre des calculs forçant à l'utilisation d'un ordinateur) impropres à la création de [[Modèle|modèles scientifiques]] généraux, dans la mesure où la méthode bayésienne vise précisément à permettre au statisticien de travailler malgré un petit nombre d'observations<ref name=":4" />, où la [[loi des grands nombres]] est inapplicable. Popper a d'ailleurs vivement critiqué l'inductivisme en général, et l'inductivisme bayésien<ref>{{Chapitre|langue=en|prénom1=Youngjo|nom1=Lee|prénom2=Yudi|nom2=Pawitan|titre chapitre=Popper’s Falsification and Corroboration from the Statistical Perspectives|titre ouvrage=Karl Popper's Science and Philosophy|éditeur=Springer International Publishing|date=2021|pages totales=121–147|isbn=978-3-030-67036-8|doi=10.1007/978-3-030-67036-8_7|lire en ligne=https://doi.org/10.1007/978-3-030-67036-8_7|consulté le=2024-01-10}}</ref> en particulier dans ''[[La Logique de la découverte scientifique|La logique de la découverte scientifique]].''

Les erreurs introduites par une distribution ''a priori'' mal choisie pèsent d'autant plus lourd sur le modèle ''a posteriori'' que le modèle probabiliste recourt à un grand nombre de dimensions ou à des distributions ''a priori'' ayant une [[longue traîne]], où l'effet lissant des observations a moins d'effet<ref name=":2" />{{,}}<ref name=":3" />. Dans le cas de modèles probabilistes à grand nombre de dimensions, les critères formels de [[Convergence de variables aléatoires|convergence]] de la distribution ''a posteriori'' vers les observations sont complexes et souvent ignorés. Lorsque ces critères ne sont pas respectés, la distribution ''a posteriori'' peut osciller et produire un modèle hautement incohérent avec les observations<ref name=":3" />{{,}}<ref name=":2" />. Ceci est particulièrement problématique lorsque le processus bayésien est utilisé en informatique, par un logiciel utilisant l'apprentissage machine sur des observations recueillies par exemple sur l'ordinateur de l'utilisateur, sans contrôle ni validation du modèle résultant par un statisticien qualifié.

Lorsqu'implémenté dans des intelligences artificielles (classificateurs), tel qu'illustré par les [[Filtrage bayésien du spam|filtres de détection de spam]], le processus bayésien est précis pour 100 à 300 dimensions<ref name=":1" />{{,}}<ref name=":0" /> et assez peu robuste : il est aisément mis en échec par une grande fréquence de mots inconnus, mais ne peut fonctionner avec précision que pour un vocabulaire réduit (1 mot par dimension, donc 100 à 300 mots). En apprentissage machine supervisé, des méthodes non probabilistes telles que les [[Arbre de décision (apprentissage)|arbres de décision]] ou les [[Machine à vecteurs de support|machines à vecteur support]] donnent des résultats au moins aussi précis, plus robustes, capables de fonctionner avec de très grands nombres de dimensions, et sans nécessiter le recours subjectif à une distribution de probabilité ''a priori''.

Les bayésiens sont parfois accusés de sectarisme<ref name=":5">{{Lien web |langue=en |nom=Bayes-250 |prénom2=Edinburgh « Xi'an's Og Says: |nom2=September 6 |titre=Misconceptions on Bayesianism |url=https://xianblog.wordpress.com/2008/12/22/misconceptions-on-bayesianism/ |site=Xi'an's Og |date=2008-12-22 |consulté le=2024-01-10}}</ref>, en raison notamment :

* du [[culte de la personnalité]] autour de [[Thomas Bayes]], impliquant l'abus de représentation graphique (probablement apocryphe) de l'homme dans les conférences et publications (dans un milieu scientifique où l'on se contente habituellement des équations), et l'entretien de la tombe de Bayes à [[Londres]] ;
* d'un communautarisme de fait ou organisé, via des [[Société savante|sociétés savantes]] et des journaux scientifiques dédiés, alors qu'il n'existe pas d'équivalents pour les statistiques fréquentielles ;
* d'une prétention [[Universalisme|universaliste]], cherchant à intégrer la pensée bayésienne dans des disciplines scientifiques éloignées du concept de [[probabilité conditionnelle]], à la base du [[théorème de Bayes]].

=== Notation d'évidence ===

Cette notation est souvent attribuée à [[Irving John Good|I. J. Good]]{{Référence nécessaire|date=23 décembre 2022}}. Ce dernier en attribuait cependant la paternité à [[Alan Turing]] et, indépendamment, à d'autres chercheurs dont [[Harold Jeffreys]]{{Référence nécessaire|date=23 décembre 2022}}.

C'est peu après les publications{{Référence nécessaire|date=23 décembre 2022}} de Jeffreys qu'on découvrit qu'[[Alan Turing]] avait déjà travaillé sur cette question en nommant les quantités correspondantes ''{{lang|en|log-odds}}'' dans ses travaux personnels{{Référence nécessaire|date=23 décembre 2022}}.

== Exemples d'inférence bayésienne ==
=== Cette pièce est-elle biaisée ? ===

On lance quatre fois une pièce. Elle tombe quatre fois du même côté. Est-elle biaisée<ref>Exemple cité par {{harvsp|Tribus|1972}}.</ref> ? La position des statistiques classiques est de dire qu'on ne peut pas tirer de conclusion significative de trois tirages (en effet, un côté étant déterminé par le premier lancer, on a bien une probabilité 1/8 d'avoir les trois tirages suivants du côté identique avec une pièce parfaitement honnête, ce qui ne fournit pas les 95 % de certitude demandés traditionnellement).

L'approche bayésienne mesurera simplement que cette probabilité de 1/8 déplace linéairement de 10 log<sub>10</sub>(1/8 / 7/8) = {{unité|-8.45|dB}} l'évidence d'honnêteté de la pièce.

* Si on lui accorde {{unité|40|dB}} (pièce sûre), cette évidence passe à {{unité|31.55|dB}}. En d'autres termes, la probabilité subjective{{note|groupe=alpha|Tribus rappelle que toute probabilité, parce qu'elle traduit un simple état de connaissance, est {{incise|par construction}} ''subjective''}} de sa normalité reste élevée ({{unité|30|dB}} correspondent à une probabilité de 10<sup>-3</sup> environ que la pièce soit biaisée).
* Si en revanche la pièce est douteuse et qu'on estime {{unité|0|dB}} son évidence d'honnêteté (autant de chances d'être bonne que biaisée), cette évidence passe à {{unité|-8.45|dB}}, ce qui correspond maintenant à une probabilité subjective de 87,5 % que la pièce soit biaisée, et il serait avisé de mettre fin au jeu.
{{Refnec|Le recours à l'hypothèse subjective sur la nature de la pièce (sûre ou douteuse ?), influant directement sur la conclusion (probablement biaisée, ou non), illustre la principale critique faite à l'inférence bayésienne, car inverser l'hypothèse ''a priori'' inverse directement la conclusion… qui revient dans les deux cas à notre hypothèse : la pièce est biaisée si on la considère douteuse, non biaisée si on la considère sûre. Le problème est davantage philosophique que mathématique : n'est-on pas simplement en train de dissimuler notre préjugé sous des calculs qui n'ont plus que l'apparence de l'objectivité parce qu'ils quantifient la conclusion ? La position des statistiques classiques prend alors tout son sens : l'expérience ne permet pas de conclure.}}

=== Sex ratio (Laplace, 1786) ===
Laplace constate, dans les statistiques de 1785, {{nombre|251527|naissances}} masculines et {{nombre|241945|naissances}} féminines. Il cherche à déterminer si cette différence est ou non significative d'[[Sex-ratio#Sexe-ratio chez l'être humain|une probabilité ''p'' plus grande d'avoir un garçon]]{{sfn|Robert|2006}}. Sans avis ''{{lang|la|a priori}}'', il prend donc pour distribution de départ de {{mvar|p}} la loi uniforme sur [0, 1]. Il obtient :
:<math>p (x \leq 1/2|(251 527; 241 945)) = 1,15 \times 10^{-42}</math>

Cette évidence inférieure à {{unité|-40|dB}} rend extrêmement improbable qu'il y ait [[équiprobabilité]] entre la naissance d'une fille et celle d'un garçon. Laplace n'emploie toutefois pas cette terminologie, qui n'existe pas encore à son époque.

Par précaution, Laplace effectue ensuite le même calcul sur d'autres statistiques concernant Londres et Paris, qui confirment ce résultat. Il naît donc davantage de garçons que de filles, constat contre-intuitif qu'expliquera {{incise|et pour toute la classe des mammifères}} la [[théorie synthétique de l'évolution]] au {{s-|XX}}. (Les statistiques classiques parviennent sans surprise au même résultat, vu la taille de l'échantillon, par le [[test du χ²]], qui ne sera imaginé par Pearson qu'en 1900.)

=== Test médical ===
Un médecin effectue le dépistage d'une maladie à l'aide d'un test fourni par un laboratoire.

Le test donne un résultat booléen : soit positif, soit négatif. Les études sur des groupes tests ont montré que, lorsque le patient est porteur de la maladie, le test est positif dans 90 % des cas. Pour un patient non atteint de la maladie, le test est positif dans un cas sur 100 ([[faux positif]]).

Le médecin reçoit un résultat positif pour le test d'un patient. Il souhaiterait savoir quelle est la probabilité que le patient soit réellement atteint de la maladie.

On note :
* {{mvar|M}} l'événement « le patient est atteint de la maladie » ({{mvar|{{surligner|M}}}} son complémentaire « le patient n'est pas atteint de la maladie »)
* {{mvar|T}} l'événement « le test est positif »

La grandeur recherchée est {{math|''p''(''M''{{!}}''T'')}}, la probabilité que le patient soit malade sachant que le test est positif.

Les hypothèses se traduisent ainsi :
*  <math>p(T|M)=0,9 </math>
*  <math>p(T|\bar M)=0,01</math>

Le théorème de Bayes donne le résultat suivant :
:<math>p(M|T)=\frac{p(T|M)\cdot p(M)}{p(T)}</math>

La valeur {{math|''p''(''T'')}} s'évalue par :
:<math>p(T)=p(T|M)\cdot P(M)+P(T|\bar M) \cdot P(\bar M) = P(T|M)\cdot P(M)+P(T|\bar M)\cdot (1-P(M))</math>
En combinant les deux égalités, il vient :
<math>p(M|T)=\frac{p(T|M)\cdot p(M)}{p(T|M) \cdot p(M)+p(T|\bar M)\cdot(1-p(M))}</math>

L'application numérique avec les valeurs proposées donne :
:<math>P(M|T)=\frac{0,9 P(M)}{0,9 P(M)+0,01(1-p(M))} =\frac{0,9 p(M)}{0,89 p(M)+0.01}</math>

On peut remarquer que le résultat du calcul dépend de {{math|''p''(''M'')}} soit la probabilité globale que le patient soit malade, autrement dit, de la proportion de malades dans la population à laquelle appartient le patient.

On suppose que la maladie recherchée soit rare et touche 1/{{nombre|100000|personnes}} dans la population. Alors :
:<math>p(M)=10^{-5},\, p(M|T)=0,000899.</math>

Ainsi, bien que le test soit positif pour 90 % des personnes atteintes et produise seulement 1 % de faux positif, le résultat est extrêmement peu concluant. Ce résultat qui peut sembler paradoxal parait plus évident si quand on effectue une analyse de population sur {{nombre|1|million}} de personnes :
* {{nombre|10|personnes}} seront touchées par la maladie, {{formatnum:999990}} seront saines ;
** sur les {{nombre|10|personnes}} touchées 9 reviendront avec un test positif et 1 avec un test négatif ([[faux négatif]]) ;
** sur les {{nombre|999990|saines}}, 1 % soit environ {{formatnum:10000}} seront des faux positifs.

Finalement sur {{nombre|1|million}} de tests, il y aurait {{nombre|10009|tests}} positifs dont seulement {{nombre|9|vrais}} positifs.

La probabilité qu'un patient ayant un résultat positif soit malade reste donc faible car la maladie est dans l'absolu extrêmement rare. D'un tel résultat, on pourrait conclure que le test est complètement inutile, pourtant il faut noter que la probabilité de trouver un patient malade par ce test reste 90 fois supérieure à une recherche par tirage aléatoire ({{math|''p''(''M''){{=}} 0,00001}}).

On suppose maintenant que la maladie ciblée soit moins rare et touche 1/{{nombre|1000|personnes}} dans la population. Alors ''p''(''M'') = 0,001 et ''p''(''M''|''T'') = 0,0826.

Le résultat reste peu concluant. Sur {{nombre|1|million}} de personnes :
* {{nombre|1000|personnes}} seront touchées par la maladie, {{formatnum:999000}} seront saines ;
** sur les {{nombre|1000|personnes}} touchées 900 reviendront avec un test positif et 100 avec un test négatif ([[faux négatif]]);
** sur les {{formatnum:999000}} saines, 1 % soit {{formatnum:9990}} seront des faux positifs.

Finalement sur {{nombre|1|million}} de tests, il y aura {{nombre|10890|tests}} positifs dont seulement {{nombre|900|vrais}} positifs.

La probabilité qu'un patient ayant un résultat positif soit malade s'établit donc à 900 ÷ {{formatnum:10890}}, soit 8,3 %, ce qui reste faible, mais est tout de même {{nombre|83|fois}} plus que dans la population générale.

Si la maladie est [[Épidémie|épidémique]], avec une personne sur dix touchée, on trouvera le test concluant, puisque la probabilité pour qu'une personne revenant avec un test positif soit malade sera de 91 %.

=== Valeur du test et notation d'évidence ===
{{Section à sourcer|date=janvier 2024}}
On reprend les trois cas d'application du test.

{| class="wikitable alternance centre" | style="text-align:center" |+ Probabilité ''p'' et évidence {{math|Ev(''p'')}} de la maladie
 |-
 ! scope="col" | Probabilité avant test
 ! scope="col" | <math>\frac{p}{(1-p)}</math>
 ! scope="col" | <math>\mathrm{Ev}(p) = \log\frac{p}{(1-p)}</math>
 ! scope="col" | Probabilité après test
 ! scope="col" | <math>\frac{p'}{(1-p')}</math>
 ! scope="col" | <math>\mathrm{Ev}(p')</math>
 ! scope="col" | <math>\mathrm{Ev}(p') - \mathrm{Ev}(p)</math>
 |-
 ! scope="row" | 1/{{formatnum:100000}}
 |  {{formatnum:0.00001}}
 | {{formatnum:-5}}
 | {{formatnum:0.000899}}
 | {{formatnum:0.000900}}
 | {{formatnum:-3.05}}
 | '''{{formatnum:1.95}}'''
 |-
 ! scope="row" | 1/{{formatnum:1000}}
 | {{formatnum:0.001}}
 | {{formatnum:-3}}
 | {{formatnum:0.0826}}
 | {{formatnum:0.0900}}
 | {{formatnum:-1.05}}
 | '''{{formatnum:1.95}}'''
|-
 ! scope="row" | 1/10
 | {{formatnum:0.111}}
 | {{formatnum:-0.954}}
 | {{formatnum:0.909}}
 | 10
 | 1
 | '''{{formatnum:1.95}}'''
 |}

On voit que le test déplace toujours l'évidence de la même valeur, valeur unique qui se trouve ainsi caractériser numériquement de façon objective le résultat du test indépendamment des attentes. On peut montrer facilement que cette valeur est égale à
{{Centrer|<math>\log \frac{\mathrm{P}(T|M)}{\mathrm{P}(T|\bar M)}</math>}}

=== D'où vient ce biscuit ? ===
{{Section à sourcer|date=janvier 2024}}
On se donne deux boîtes de biscuits : une {{nobr|boîte A}} comporte {{nombre|30|biscuits}} au chocolat et {{nombre|10|ordinaires}}, l'autre, B, en comporte 20 de chaque sorte.

On choisit les yeux fermés une boîte au hasard, puis dans cette boîte un biscuit au hasard. Il se trouve être au chocolat. De quelle boîte a-t-il le plus de chances d'être issu, et avec quelle probabilité ? Intuitivement, on se doute que la {{nobr|boîte A}} a plus de chances d'être la bonne, mais de combien ?

Le théorème de Bayes donne la réponse exacte :

Notons H<sub>A</sub> la proposition « le gâteau vient de la {{nobr|boîte A}} » et H<sub>B</sub> la proposition « le gâteau vient de la {{nobr|boîte B}} ».

Si lorsqu'on a les yeux bandés les boîtes ne se distinguent que par leur nom, on a ''p''(H<sub>A</sub>) = ''p''(H<sub>B</sub>), et la somme fait 1, puisque qu'une boîte a été choisie, soit une probabilité de 0,5 pour chaque proposition.

Notons D l'événement désigné par la phrase « le gâteau est au chocolat ». Connaissant le contenu des boîtes, il apparait que :
* ''p''(D | H<sub>A</sub>) = 30/40 = 0,75 (évidence 3, soit {{unité|4.77|dB}} ou {{nombre|1.44|bit}})
* ''p''(D | H<sub>B</sub>) = 20/40 = 0,5  (évidence 1, soit {{unité|0|dB}} ou {{nombre|0|bit}})

''Note'': « ''p''(A | B) » se dit « la probabilité de A '''sachant''' B ».

La formule de Bayes donne donc :
: <math>
\begin{matrix} p(\mathrm{H_A} | \mathrm{D}) &=& \dfrac{p(\mathrm{H_A}) \cdot p(\mathrm{D} | \mathrm{H_A})}{p(\mathrm{H_A}) \cdot p(\mathrm{D} | \mathrm{H_A}) + p(\mathrm{H_B}) \cdot p(\mathrm{D} | \mathrm{H_B})} \\  \\  \ & =& \dfrac{0,5 \times 0,75}{0,5 \times 0,75 + 0,5 \times 0,5} \\  \\  \ & =& 0,6 \end{matrix}
</math>

La probabilité ''p''(H<sub>A</sub>|D) représente la probabilité d'avoir choisi la {{nobr|boîte A}} sachant que le gâteau est au chocolat.

Avant de regarder le gâteau, la probabilité d'avoir choisi la boîte A était ''p''(H<sub>A</sub>), soit 0,5. Après l'avoir regardé, on réévalue cette probabilité à ''p''(H<sub>A</sub>|D), qui est 0,6 (évidence 1,5 soit {{unité|1.76|dB}} ou {{nombre|0.58|bit}}). L'observation a donc apporté {{unité|1.76|dB}} ({{nombre|0.58|bit}}).

Et puisque ''p''(H<sub>A</sub>|D) + ''p''(H<sub>B</sub>|D) = 1 (pas d'autre possibilité que d'avoir choisi la {{nobr|boîte A}} ou la {{nobr|boîte B}} sachant que le gâteau est au chocolat), la probabilité d'avoir choisi la {{nobr|boîte B}} sachant que le gâteau est au chocolat est donc de 1 − 0,6 = 0,4.

Si on impose une probabilité ''{{lang|la|a priori}}'' quelconque de suspecter une boîte particulière plutôt que l'autre, le même calcul effectué avec cette probabilité ''{{lang|la|a priori}}'' fournit également {{nombre|0.58|bit}}. C'est là une manifestation de la règle de cohérence qui constituait l'un des ''{{lang|la|desiderata}}'' de Cox.

=== Où en sont les immatriculations du moment ? ===
{{article détaillé|Problème du char d'assaut allemand}}
Supposons qu'un pays numérote les plaques minéralogiques de ses véhicules de 1 en 1 à partir de 1. On observe ''n'' plaques différentes. Pour ''n'' supérieur à 3, on démontre par la méthode de Bayes que le meilleur estimateur du numéro en cours ne dépend que du nombre d'observations et de la plus haute immatriculation trouvée ''S''{{ind|max}}{{note|groupe=alpha|{{harvsp|Tribus|1969|p=248}}, prend l'exemple de l'estimation de la production de pompes d'un concurrent par le relevé de leurs numéros de série. Le calcul se trouve à la page suivante}}.
{{Centrer|<math>e = S_{\max}\frac{n-1}{n-2}</math>}}
L'estimation est d'autant plus exacte que le nombre d'observations est grand. La variance de l'estimation elle-même est inversement proportionnelle au [[Carré (algèbre)|carré]] de ''n''.

== Annexes ==
=== Bibliographie ===
* {{ouvrage|prénom1=Isabelle |nom1=Drouet |responsabilité1=dir.|titre=Le bayésianisme aujourd’hui|sous-titre=Fondements et pratiques |lieu=Paris |éditeur=[[Éditions Matériologiques]] |année=2016 |pages totales=504 |isbn=978-2-37361-078-9 |présentation en ligne=https://materiologiques.com/sciences-philosophie-2275-9948/233-le-bayesianisme-aujourdhui-fondements-et-pratiques-9782373610789.html}}
* {{ouvrage|auteur=Collectif Biobayes |titre=Initiation à la statistique bayésienne|sous-titre=Bases théoriques et applications en alimentation, environnement, épidémiologie et génétique |lieu=Paris |éditeur=Ellipses|année=2015|isbn=9782340005013 }}
* {{Ouvrage|prénom1=Jean-Jacques |nom1=Boreux |prénom2=Éric |nom2=Parent |prénom3=Jacques |nom3=Bernier |titre=Pratique du calcul bayésien |lieu=Paris |éditeur=Springer-Verlag |année=2010}}
* {{Ouvrage|prénom1=Christian P. |nom1=Robert |lien auteur1=Christian Robert (statisticien) |traducteur= l'auteur| langue originale=en |titre original=The Bayesian Choice, 2.nd ed.| titre=Le Choix bayésien, principe et pratique |lieu=Paris |éditeur=Springer|numéro édition=2|année première édition=1992 |année=2006 |isbn=978-2-287-25173-3|présentation en ligne=https://link.springer.com/book/10.1007/2-287-31120-3}} (éd. 1992 sous le titre ''L'Analyse Statistique Bayésienne'', Paris:[[Economica]]).
* {{Ouvrage|prénom1=Jean-Jacques |nom1=Droesbeke |prénom2=Jeanne |nom2=Fine |prénom3=Gilbert |nom3=Saporta |lien auteur3=Gilbert Saporta |titre=Méthodes bayésiennes en statistique|éditeur=Technip|année=2002 |isbn=9782710808138}}

Les ouvrages relatifs à l'utilisation sont plus rares que les ouvrages d'enseignement généraux. Les méthodes bayésiennes, plus coûteuses, ne justifient ce surcoût que si les enjeux et risques financiers sont importants (prospection pétrolière, recherche de médicaments…). Ce sont dans ces deux cas des sociétés privées (pétroliers, laboratoires pharmaceutiques…) qui les financent, et celles-ci n'ont pas vocation à donner à leurs ''concurrents'' des informations financées avec les fonds de leurs actionnaires (voir [[propriété intellectuelle]]). Certains problèmes ludiques comme les tentatives de prédictions dans certaines séries (Travail de Richard Vale sur {{lang|en|Game of Thrones}} [https://arxiv.org/pdf/1409.5830v1.pdf] {{pdf}} en sont également une utilisation possible.

Des analyses bayésiennes de problèmes concrets apparaissent dans la plupart des numéros des grands journaux de statistiques, comme ''{{lang|en|[[Journal of the Royal Statistical Society]]}}'', ''{{lang|en|[[Journal of the American Statistical Association]]}}'', ''[[Biometrika]]'', ''{{lien|lang=en|trad=Technometrics}}'' ou ''{{lang|en|Statistics in Medicine}}'', telles que ci-dessous.
* {{Ouvrage|langue=en |prénom1=José M. |nom1=Bernardo |prénom2=Adrian F.M. |nom2=Smith |titre=Bayesian Theory |lieu=New York |éditeur=[[John Wiley & Sons|John Wiley]] |année=2000 |année première édition=1994 |isbn=}}.
* {{Ouvrage|langue=en |prénom1=Andrew |nom1=Gelman |lien auteur1=Andrew Gelman |prénom2=John B |nom2=Carlin |prénom3=Hal S |nom3=Stern |prénom4=Donald B |nom4=Rubin |lien auteur4=Donald Rubin |titre=Bayesian data analysis |éditeur=[[Chapman & Hall|Chapman CRC]] |année=2003 |isbn=}}.
* {{chapitre|lang=en |prénom1=Edwin T. |nom1=Jaynes |lien auteur1=Edwin Thompson Jaynes |titre chapitre=How Does the Brain Do Plausible Reasoning? |titre ouvrage=Science and Engineering -- Maximum-Entropy and Bayesian Methods |auteurs ouvrage=G. J. Erickson et C. R. Smith (eds.) |année=1988 |lieu=Dordrecht |éditeur=Kluwer<!-- [[Wolters Kluwer]] ? --> |lire en ligne=http://exordio.qfb.umich.mx/archivos%20PDF%20de%20trabajo%20UMSNH/Aphilosofia/bayesian%20importantes/brain.pdf}}. Cet article fut publié pour la première fois en tant que ''{{lang|en|Stanford Microwave Laboratory Report}}'' en 1957. Auparavant, Jaynes l'avait soumis aux ''{{lang|en|IRE Transactions on Information Theory}}'', qui en rejeta une version longue, disponible avec l'opinion des membres du [[Évaluation par les pairs|comité de lecture]] et la réponse de Jaynes [http://bayes.wustl.edu/etj/articles/how.does.the.brain.orig.pdf How does the brain do plausible reasoning?] {{pdf}}.
* {{en}} Jaynes, E.T. (2003) [http://www.cambridge.org/catalogue/catalogue.asp?isbn=9780521592710 ''{{lang|en|Probability Theory : The Logic of Science}}''].
* {{en}} Davic McKay, ''[http://www.inference.phy.cam.ac.uk/itprnn/book.pdf {{lang|en|Information theory, inference, and learning algorithms}}]'' {{pdf}}, {{lang|en|[[Cambridge University Press]]}}, 2005.
* {{en}} Francisco J. Samaniego, ''{{lang|en|A Comparison of the Bayesian and Frequentist Approaches to Estimation}}'', 2010, {{ISBN|978-1-4419-5940-9}}.
* {{Ouvrage|langue=en |prénom1=Myron |nom1=Tribus |lien auteur1=Myron Tribus |titre=Rational Descriptions, Decisions and Designs |éditeur={{lang|en|[[Pergamon Press]]}} |année=1969 |lire en ligne=https://books.google.fr/books?id=fW1bAAAAMAAJ |présentation en ligne=https://www.sciencedirect.com/book/9780080063935/rational-descriptions-decisions-and-designs}}.
* {{Ouvrage|prénom1=Myron |nom1=Tribus |traducteur=Jacques Pezier |titre=Décisions rationnelles dans l'incertain |titre original=Rational descriptions, decisions and designs |lieu=Paris |éditeur=[[Elsevier Masson|Masson]] |année=1972 |pages totales=503 |isbn=}}.
* {{Ouvrage|langue=en |prénom1=Satoshi |nom1=Watanabe |titre=Knowing and guessing : a quantitative study of inference and information |éditeur=[[John Wiley & Sons|Wiley]] |année=1969 |isbn=0-471-92130-0 |isbn2=9780471921301}}.
* [[Lê Nguyên Hoang]] , ''La formule du savoir : Une philosophie unifiée du savoir fondée sur le théorème de Bayes'', [[EDP Sciences]], 2018.

=== Articles connexes ===
* [[Interconnexions entre la théorie des probabilités et la statistique]]
* [[Rasoir d'Occam]]
* [[Théorème de Bayes]]
* [[Plan d'expérience]]
* {{lang|en|[[Data mining]]}}
* [[Intelligence artificielle]]
* {{lang|en|[[Odds ratio]]}}
* [[Réseau bayésien]]
* [[Famille exponentielle]]
* [[Statistique bayésienne]]
* [[Théorème de Bernstein-von Mises]]
* [[Bayésianisme]]

=== Liens externes ===
* {{Autorité}}
* {{Bases}}
* {{Dictionnaires}}

=== Vidéo pédagogique ===
* {{lien web |site=[[YouTube]] |périodique=Hygiène Mentale |url=https://www.youtube.com/watch?v=x-2uVNze56s|titre=« La pensée bayésienne » |format=vidéo |date=1 décembre 2018}}, durée {{heure||22|38|durée=oui}}.

== Notes et références ==
{{Références|groupe=alpha}}
{{Références|taille=30}}

{{Palette|Probabilités et statistiques}}
{{Portail|probabilités et statistiques|informatique}}

[[Catégorie:Conditionnement en probabilités]]
[[Catégorie:Apprentissage automatique]]
[[Catégorie:Exploration de données]]
[[Catégorie:Statistique bayésienne]]