Voir la source de Why Most Published Research Findings Are False

{{Infobox Périodique}}
[[Fichier:Ioannidis_(2005)_Why_Most_Published_Research_Findings_Are_False.pdf|vignette|PDF du papier.]]

'''''{{lang|en|Why Most Published Research Findings Are False}}''''' (littéralement en {{lang-fr|Pourquoi la plupart des résultats de recherche publiés sont faux}}) est un essai de [[2005]] écrit par [[John Ioannidis]], professeur à la Stanford School of Medicine, et publié dans ''{{lang|en|[[PLOS Medicine]]}}''<ref>{{article|auteur1=Ioannidis|prénom1=John P. A.|titre=Why Most Published Research Findings Are False|périodique=PLOS Medicine|volume=2|numéro=8|date=2005|issn=1549-1277|pmid=16060722|pmcid=1182327|doi=10.1371/journal.pmed.0020124|pages=e124}}.</ref>. Il est considéré comme fondamental dans le domaine de la métascience.

Dans l'article, Ioannidis a fait valoir qu'un grand nombre, sinon la majorité, des articles de [[recherche médicale]] publiés contiennent des résultats qui ne peuvent pas être [[Reproductibilité|reproduits]]. En termes simples, l'essai indique que les scientifiques utilisent des [[Test statistique|tests d'hypothèses]] pour déterminer si les découvertes scientifiques sont significatives. [[Signification statistique|La « significativité »]] est formalisée en termes de probabilité, et un calcul formalisé («''[[ valeur p]]'' ») est rapporté dans la littérature scientifique comme un mécanisme de dépistage. Ioannidis a émis des hypothèses sur la façon dont les gens effectuent et rapportent ces tests ; puis il a construit un [[modèle statistique]] qui indique que la plupart des résultats publiés sont des faux positifs.

== Argument ==
Supposons que dans un domaine scientifique donné, il existe une probabilité de base connue qu'un résultat soit vrai, notée <math>\mathbb{P}(\text{Vrai})</math> . Lorsqu'une étude est menée, la probabilité qu'un résultat positif soit obtenu est <math>\mathbb{P}(+)</math>. Compte tenu de ces deux facteurs, nous voulons calculer la [[probabilité conditionnelle]] <math>\mathbb{P}(\text{Vrai}\mid +)</math>, connue sous le nom [[Valeur prédictive|de valeur prédictive positive]] (VPP). [[Théorème de Bayes|Le théorème de Bayes]] nous permet de calculer la VPP comme suit :<math display="block">\mathbb{P}(\text{Vrai} \mid +) = {(1-\beta)\mathbb{P}(\text{Vrai})\over{(1-\beta)\mathbb{P}(\text{Vrai}) + \alpha\left[1-\mathbb{P}(\text{Vrai})\right]}}</math>où <math>\alpha</math> est le taux d'erreur de type I et <math>\beta</math> le taux d'erreur de type II ; la [[puissance statistique]] est <math>1-\beta</math> . Il est d'usage dans la plupart des recherches scientifiques de désirer <math>\alpha = 0,05</math> et <math>\beta = 0,2</math> . Si nous supposons <math>\mathbb{P}(\text{Vrai}) = 0,1</math> pour un domaine scientifique donné, alors nous pouvons calculer la VPP pour différentes valeurs de <math>\alpha</math> et <math>\beta</math> :

{| class="wikitable"
|
! colspan="9" | <math>\beta</math>
|-
! <math>\alpha</math>
! 0,1
! 0,2
! 0,3
! 0,4
! 0,5
! 0,6
! 0,7
! 0,8
! 0,9
|-
! 0,01
| 0,91
| 0,90
| 0,89
| 0,87
| 0,85
| 0,82
| 0,77
| 0,69
| 0,53
|-
! 0,02
| 0,83
| 0,82
| 0,80
| 0,77
| 0,74
| 0,69
| 0,63
| 0,53
| 0,36
|-
! 0,03
| 0,77
| 0,75
| 0,72
| 0,69
| 0,65
| 0,60
| 0,53
| 0,43
| 0,27
|-
! 0,04
| 0,71
| 0,69
| 0,66
| 0,63
| 0,58
| 0,53
| 0,45
| 0,36
| 0,22
|-
! 0,05
| 0,67
| 0,64
| 0,61
| 0,57
| 0,53
| 0,47
| 0,40
| 0,31
| 0,18
|}

Cependant, la formule simple de la VPP dérivée du théorème de Bayes ne tient pas compte du biais dans la conception de l'étude ou dans le rapport. Certains résultats publiés n'auraient pas été présentés comme des résultats de recherche s'ils n'avaient pas été biaisés par les chercheurs. Soit <math>u\in[0,1]</math> la probabilité qu'une analyse n'ait été publiée qu'en raison d'un parti pris du chercheur. Alors la VPP est donnée par l'expression plus générale :<math display="block">\mathbb{P}(\text{Vrai}|+) = {\left[1-(1-u)\beta \right ]\mathbb{P}(\text{Vrai})\over{\left[1-(1-u)\beta \right ]\mathbb{P}(\text{Vrai}) + \left[(1-u)\alpha + u \right ]\left[1-\mathbb{P}(\text{Vrai}) \right ] }}</math>

L'introduction d'un biais aura tendance à faire baisser la VPP ; dans le cas extrême où le biais d'une étude est maximisé, <math>\mathbb{P}(\text{Vrai}\mid+) = \mathbb{P}(\text{Vrai})</math>. Même si une étude répond aux exigences de référence pour <math>\alpha</math> et <math>\beta</math>, et est exempte de biais, il existe toujours une probabilité de 36 % qu'un article faisant état d'un résultat positif soit incorrect ; si la probabilité de base d'un résultat vrai est plus faible, cela fera également baisser le PPV. En outre, il existe des preuves solides que la puissance statistique moyenne d'une étude dans de nombreux domaines scientifiques est bien inférieure au niveau de référence de 0,8<ref>{{article|langue=en|auteur1=Button|prénom1=Katherine S.|auteur2=Ioannidis|prénom2=John P. A.|auteur3=Mokrysz|prénom3=Claire|auteur4=Nosek|prénom4=Brian A.|titre=Power failure: why small sample size undermines the reliability of neuroscience|périodique=Nature Reviews Neuroscience|volume=14|numéro=5|date=2013|issn=1471-0048|pmid=23571845|doi=10.1038/nrn3475|pages=365–376}}.</ref>{{,}}<ref>{{article|langue=en|auteur1=Szucs|prénom1=Denes|auteur2=Ioannidis|prénom2=John P. A.|titre=Empirical assessment of published effect sizes and power in the recent cognitive neuroscience and psychology literature|périodique=PLOS Biology|volume=15|numéro=3|date=2017-03-02|issn=1545-7885|pmid=28253258|pmcid=5333800|doi=10.1371/journal.pbio.2000797|pages=e2000797}}.</ref>{{,}}<ref>{{Article|langue=en|auteur1=Ioannidis|prénom1=John P. A.|auteur2=Stanley|prénom2=T. D.|auteur3=Doucouliagos|prénom3=Hristos|titre=The Power of Bias in Economics Research|périodique=The Economic Journal|volume=127|numéro=605|date=2017|issn=1468-0297|doi=10.1111/ecoj.12461|pages=F236–F265|s2cid=158829482}}.</ref>.

Compte tenu des réalités du biais, de la faible puissance statistique et du petit nombre d'hypothèses vraies, Ioannidis conclut que la majorité des études dans divers domaines scientifiques sont susceptibles de rapporter des résultats faux.

=== Corollaires ===
En plus du résultat principal, Ioannidis énumère six corollaires pour les facteurs qui peuvent influencer la fiabilité des recherches publiées. Les résultats de recherche dans un domaine scientifique sont moins susceptibles d'être vrais :
# plus les études menées sont petites ;
# plus les [[Taille d'effet|tailles d'effet sont]] petites ;
# plus le nombre est grand et moins la sélection de [[Data dredging|relations testées]] est importante ;
# plus grande est la flexibilité dans les [[Plan d'expériences|conceptions]], les définitions, les résultats et les modes d'analyse ;
# plus les intérêts et les [[Pensée de groupe|préjudices]] financiers et autres sont grands ;
# plus le domaine scientifique est chaud (avec plus d'équipes scientifiques impliquées).

Ioannidis a complété ce travail en contribuant à une étude méta-épidémiologique qui a révélé que seulement une intervention sur vingt testée dans les revues Cochrane présente des avantages étayés par des preuves de haute qualité<ref>{{article|lang=en|auteur1=Howick|prénom1=Jeremy|auteur2=Koletsi|prénom2=Despina|auteur3=Ioannidis|prénom3=John P. A.|auteur4=Madigan|prénom4=Claire|titre=Most healthcare interventions tested in Cochrane Reviews are not effective according to high quality evidence: a systematic review and meta-analysis|périodique=Journal of Clinical Epidemiology|volume=148|date=1 août 2022|pmid=35447356|doi=10.1016/j.jclinepi.2022.04.017|lire en ligne=https://www.jclinepi.com/article/S0895-4356(22)00100-7/abstract|pages=160–169|via=www.jclinepi.com|s2cid=248250137}}.</ref>. Il a également contribué à des recherches suggérant que la qualité de ces preuves ne semble pas s'améliorer avec le temps<ref>{{article|lang=en|auteur1=Howick|prénom1=Jeremy|auteur2=Koletsi|prénom2=Despina|auteur3=Pandis|prénom3=Nikolaos|auteur4=Fleming|prénom4=Padhraig S.|titre=The quality of evidence for medical interventions does not improve or worsen: a metaepidemiological study of Cochrane reviews|périodique=Journal of Clinical Epidemiology|volume=126|date=1 octobre 2020|pmid=32890636|doi=10.1016/j.jclinepi.2020.08.005|lire en ligne=https://www.jclinepi.com/article/S0895-4356(20)30777-0/abstract|pages=154–159|via=www.jclinepi.com|s2cid=221512241}}.</ref>.

== Accueil ==
Malgré le scepticisme à l'égard des déclarations extrêmes faites dans l'article, l'argument plus large et les avertissements de Ioannidis ont été acceptés par un grand nombre de chercheurs<ref>{{Lien web|langue=en|auteur=Belluz|prénom=Julia|lien auteur2=Julia Belluz|titre=John Ioannidis has dedicated his life to quantifying how science is broken|url=https://www.vox.com/2015/2/16/8034143/john-ioannidis-interview|série=Vox|date=2015-02-16|consulté le=2020-03-28}}.</ref>. La croissance de la métascience et la reconnaissance d'une [[Crise de la reproductibilité|crise de réplication]] scientifique ont renforcé la crédibilité de l'article et conduit à des appels à des réformes méthodologiques dans la recherche scientifique<ref>{{lien web|langue=en-US|titre=Low power and the replication crisis: What have we learned since 2004 (or 1984, or 1964) ? « Statistical Modeling, Causal Inference, and Social Science|url=https://statmodeling.stat.columbia.edu/2018/02/18/low-power-replication-crisis-learned-since-2004-1984-1964/|série=statmodeling.stat.columbia.edu|consulté le=2020-03-28}}.</ref>{{,}}<ref>{{article|lang=en|auteur1=Wasserstein|prénom1=Ronald L.|auteur2=Lazar|prénom2=Nicole A.|titre=The ASA Statement on p-Values: Context, Process, and Purpose|périodique=The American Statistician|volume=70|numéro=2|date=2016-04-02|issn=0003-1305|doi=10.1080/00031305.2016.1154108|pages=129–133}}.</ref>.

Dans les commentaires et les réponses techniques, les statisticiens Goodman et Greenland ont identifié plusieurs faiblesses dans le modèle de Ioannidis<ref name="Goodman-1">{{article|langue=en|auteur1=Goodman|prénom1=Steven|auteur2=Greenland|prénom2=Sander|titre=Why Most Published Research Findings Are False: Problems in the Analysis|périodique=PLOS Medicine|volume=4|numéro=4|date=24 avril 2007|pmid=17456002|pmcid=1855693|doi=10.1371/journal.pmed.0040168|pages=e168}}.</ref>{{,}}<ref name="Goodman-2">{{lien web|lang=en|auteur=Goodman|prénom=Steven|auteur2=Greenland|prénom2=Sander|titre=ASSESSING THE UNRELIABILITY OF THE MEDICAL LITERATURE: A RESPONSE TO "WHY MOST PUBLISHED RESEARCH FINDINGS ARE FALSE"|série=Collection of Biostatistics Research Archive|lieu=Working Paper 135|éditeur=Johns Hopkins University, Dept. of Biostatistics Working Papers|url=https://web.archive.org/web/20181102103752/https://biostats.bepress.com/cgi/viewcontent.cgi?referer=&httpsredir=1&article=1135&context=jhubiostat}}.</ref>. L'utilisation par Ioannidis d'un langage dramatique et exagéré selon lequel il « prouvait » que la plupart des affirmations des résultats de la recherche sont fausses et que « la plupart des résultats de la recherche sont faux pour ''la plupart des conceptions de recherche'' et pour ''la plupart des domaines »'' [italiques ajoutés] a été rejetée, et pourtant ils étaient d'accord avec ses conclusions et recommandations du document.

Les biostatisticiens Jager et Leek ont critiqué le modèle comme étant basé sur des hypothèses justifiables mais arbitraires plutôt que sur des données empiriques, et ont mené leur propre enquête qui a calculé que le taux de faux positifs dans les études biomédicales était estimé à environ 14 %, pas plus de 50 % comme affirmé par Ioannidis<ref name="Leek-1">{{Article|langue=en|auteur1=Jager|prénom1=Leah R.|auteur2=Leek|prénom2=Jeffrey T.|titre=An estimate of the science-wise false discovery rate and application to the top medical literature|périodique=Biostatistics|volume=15|numéro=1|éditeur=Oxford Academic|date=1 janvier 2014|pmid=24068246|doi=10.1093/biostatistics/kxt007|url=https://web.archive.org/web/20200611061645/https://academic.oup.com/biostatistics/article/15/1/1/244509|archivedate=11 June 2020|pages=1–12}}.</ref> Leur article a été publié dans une édition spéciale de [[2014]] de la revue ''{{lang|en|Biostatistics}}'', accompagné de critiques détaillées et étayées d'autres statisticiens. Leek a résumé les principaux points d'accord comme suit : lorsque l'on parle du taux de fausses découvertes scientifiques, il faut apporter des données ; il existe différents cadres pour estimer le taux de fausses découvertes scientifiquement parlant ; et « il est assez peu probable que la plupart des recherches publiées soient fausses », mais cela varie probablement selon la définition de « la plupart » et de « faux »<ref name="Leek-2">{{lien web|lang=en|auteur=Leek|prénom=Jeff|titre=Is most science false? The titans weigh in.|série=simplystatistics.org|url=https://web.archive.org/web/20170131202302/http://simplystatistics.org/2013/09/25/is-most-science-false-the-titans-weigh-in/}}.</ref>.

Le statisticien Ulrich Schimmack a renforcé l'importance de la base empirique des modèles en notant que le taux de fausses découvertes signalé dans certains domaines scientifiques n'est pas le taux de découverte réel car des résultats non significatifs sont rarement rapportés. Le modèle théorique de Ioannidis ne tient pas compte de cela, mais lorsqu'une méthode statistique (« courbe en z ») pour estimer le nombre de résultats non significatifs non publiés est appliquée à deux exemples, le taux de faux positifs se situe entre {{unité|8 %}} et {{unité|17 %}}, et non supérieur à {{unité|50 %}}<ref>{{lien web|langue=en |auteur=Schimmack |prénom=Ulrich |titre=Ioannidis (2005) was wrong: Most published research findings are not false|série=Replicability-Index|date=16 janvier 2019|url=https://web.archive.org/web/20200919152240/https://replicationindex.com/2019/01/15/ioannidis-2005-was-wrong-most-published-research-findings-are-not-false/}}.</ref>.

== Causes du taux élevé de faux positifs ==
Malgré ces faiblesses, il y a néanmoins un accord général avec le problème et les recommandations dont Ioannidis discute, mais son ton a été décrit comme « dramatique » et « trompeusement alarmant », ce qui risque de rendre les gens inutilement sceptiques ou cyniques à l'égard de la science<ref name="Goodman-1" />{{,}}<ref>{{lien web|langue=en|auteur=Ingraham|prénom=Paul|titre=Ioannidis: Making Science Look Bad Since 2005|série=PainScience.com|date=15 septembre 2016|url=https://web.archive.org/web/20200621083038/https://www.painscience.com/articles/ioannidis.php}}.</ref>.

Un impact durable de ce travail a été la prise de conscience des facteurs sous-jacents du taux élevé de faux positifs en médecine clinique et en recherche biomédicale, et les efforts des revues et des scientifiques pour les atténuer. Ioannidis a reformulé ces moteurs en [[2016]] comme étant<ref name="Minikel">{{lien web|lang=en|auteur=Minikel|prénom=Eric V.|titre=John Ioannidis: The state of research on research|série=www.cureffi.org |date=17 mars 2016|url=https://web.archive.org/web/20200117053609/https://www.cureffi.org/2016/03/17/john-ioannidis-the-state-of-research-on-research/}}.</ref> :

* enquêteur seul et cloisonné, limité à des échantillons de petite taille ;
* pas de [[Pré-enregistrement|pré]]-enregistrement des hypothèses testées ;
* sélection post-[[Cherry picking|hoc]] des hypothèses avec les meilleures valeurs p ;
* ne nécessitant que p < 0,05 ;
* pas [[Réplication (statistique)|de réplication]] ;
* pas de partage de données.

== Notes et références ==
{{références}}

== Voir aussi ==
=== Articles connexes ===
* [[Théorème de Bayes]]
* [[Crise de la reproductibilité|Crise de réplication]]
** [[Data dredging|Dragage de données]]
** [[Biais de publication]]

=== Bibliographie ===
* {{ouvrage|lang=fr|auteur=Carnegie Mellon University, Statistics Journal Club|lire en ligne=https://www.stat.cmu.edu/~ryantibs/journalclub/ioannidis.pdf|titre=Résumé et discussion sur : « Pourquoi la plupart des résultats de recherche publiés sont faux|format=pdf}}.
* Applications à l'économie : [https://www.jstor.org/stable/2138833?seq=1 ''De Long, J. Bradford ; Lang, Kévin'']. [https://www.jstor.org/stable/2138833?seq=1 ''« Toutes les hypothèses économiques sont-elles fausses ?''] [https://www.jstor.org/stable/2138833?seq=1 ''Journal d'économie politique. '''100''' (6): 1257-1272, 1992'']
* Applications aux sciences sociales : Hardwicke, Tom E. ; Wallach, Joshua D.; Kidwell, Mallory C. ; Bendixen, Theiss; Crüwell Sophia et Ioannidis, John PA : [https://royalsocietypublishing.org/doi/10.1098/rsos.190806 ''Une évaluation empirique des pratiques de recherche liées à la transparence et à la reproductibilité dans les sciences sociales (2014-2017).''] [https://royalsocietypublishing.org/doi/10.1098/rsos.190806 ''Société royale des sciences ouvertes. 7 : 190806, 2020.'']

=== Liens externes ===
* Vidéo(s) [[YouTube]] de la ''Berkeley Initiative for Transparency in the Social Sciences'', 2016, ''Why Most Published Research Findings are False'' ([https://www.youtube.com/watch?v=wM0vXVclQZg ''Part I''], [https://www.youtube.com/watch?v=NWjN67vqXOo ''Part II''], [https://www.youtube.com/watch?v=_GAeTwLB24c ''Part III''])
* [https://www.youtube.com/watch?v=GPYzY9I78CI ''Reproductible Research: True or False?''], vidéo YouTube de John Ioannidis lors de ''Talks at Google'', 2014

{{Portail|sciences}}

[[Catégorie:Méthodologie en sciences]]
[[Catégorie:Article de revue scientifique]]
[[Catégorie:Essai paru en 2005]]