Publikationsbias
Der Publikationsbias, auch Publikationsverzerrung, ist die statistisch verzerrte (engl. bias [ˈbaɪəs]) Darstellung der Datenlage in wissenschaftlichen Zeitschriften infolge einer bevorzugten Veröffentlichung von Studien mit „positiven“ bzw. signifikanten Ergebnissen. Er wurde 1959 von dem Statistiker Theodore Sterling beschrieben.[1][2][3] Positive Befunde sind leichter zu publizieren als solche mit „negativen“, also insignifikanten Ergebnissen und sind zudem häufiger in Fachzeitschriften mit hohem Einflussfaktor veröffentlicht.
Der Publikationsbias ist auch als Schubladenproblem (englisch file drawer problem) bekannt. Dieser Begriff wurde vom Psychologen Robert Rosenthal 1979 geprägt.[4] Damit wird das mit dem Publikationsbias verwandte Phänomen beschrieben, dass Forscher zunehmend ihre insignifikanten Ergebnisse erst gar nicht mehr zur Veröffentlichung einreichen, sondern gleich in der Schublade verschwinden lassen.[5][6]
Beschreibung
[Bearbeiten | Quelltext bearbeiten]Aufgrund der erhöhten Häufigkeit positiver Ergebnisse kann in der Medizin etwa die Wirksamkeit von Therapien überschätzt werden, da Studien mit nachgewiesener Wirksamkeit leichter zu publizieren sind als solche, die die Wirksamkeit nicht nachweisen können. Dies ist besonders relevant, wenn aufgrund der bereits publizierten Datenlage anhand einer Metaanalyse Therapieempfehlungen generiert werden sollen. Der Verdacht auf einen Publikationsbias kann durch das Erstellen eines Funnel-Plots erhärtet werden.
Auch Interessenkonflikte können zu einem Publikationsbias führen, insbesondere wenn wirtschaftliche Interessen eine Rolle spielen. In der medizinischen Arzneimittelforschung wurde bei Antidepressiva herausgefunden, dass die in Zeitschriften publizierten Artikel einen positiveren Tenor hatten als die bei der amerikanischen Zulassungsbehörde FDA eingereichten Zulassungsdossiers.[7] Ein möglicher Grund ist hier ein wirtschaftliches Interesse, zum Beispiel ist eine Pharmafirma, die eine Studie gesponsert hat, deutlich interessierter an der Publikation positiver Ergebnisse zu ihren Produkten als an negativen Ergebnissen.
Methoden zur Bestimmung des Publikationsbias
[Bearbeiten | Quelltext bearbeiten]
Eine grundlegende Technik ist die Erstellung eines Funnel-Plots (wörtlich „Trichterdiagramm“, ein gebräuchlicher deutscher Begriff existiert nicht), der 1984 von dem Statistiker Richard J. Light und dem Psychologen David B. Pillemer vorgestellt wurde.[8] Auf diesem Diagramm werden die in der Einzelstudie beobachtete Wirkung auf der x-Achse und die Präzision (je mehr Probanden oder Testobjekte, desto kleiner das Konfidenzintervall und desto höher die Präzision) auf der y-Achse eingetragen. Wenn die Punkte im Funnel-Plot symmetrisch verteilt sind, kann angenommen werden, dass sowohl „erwünschte“ als auch „unerwünschte“ Studienergebnisse veröffentlicht wurden, ein Publikationsbias also verneint werden.
Der Funnel-Plot wurde 1997 von dem Schweizer Epidemiologen Matthias Egger u. a. diskutiert und um den Egger-Test ergänzt, der eine statistisch signifikante Asymmetrie des Diagramms entweder bestätigt oder ausschließt.[9]
Relativ neu ist die Idee, die Rückfangmethode (engl. capture-recapture method) auf Publikations-Datenbanken und andere bibliografische Quellen anzuwenden: Man sucht Artikel zu einem bestimmten Thema auf einer Datenbank, und speichert die Resultate (capture). Dieselbe Suche wird auf einer zweiten Datenbank wiederholt (recapture). Dies erlaubt die Abschätzung der wahren Anzahl Publikationen zu einem bestimmten Thema.[10]
Gegenmaßnahmen
[Bearbeiten | Quelltext bearbeiten]Im Zuge der Replikationskrise wurden unter anderem verschiedene Gegenmaßnahmen zur Verminderung von Publikationsbias, HARKing oder auch p-Hacking diskutiert.
Eine mögliche Gegenmaßnahme ist die Vorabregistrierung von wissenschaftlichen Studien.[11] So verlangen mittlerweile einige der renommierten medizinischen Fachzeitschriften, dass alle durchgeführten Studien vorher bekannt gemacht werden müssen. Nur solche angekündigten Studien werden zur Publikation angenommen. Dies soll neben anderen Aspekten einen Überblick über die zum Thema durchgeführten Studien ermöglichen, um den Publikationsbias zumindest abschätzen zu können. Auch die Offenlegung von Interessenkonflikten der Autoren wird aus diesem Grund von vielen Fachzeitschriften verlangt, indem zum Beispiel die finanzielle Förderung durch Stiftungen, Forschungsvereine usw. angegeben wird.
Eine weitere Gegenmaßnahme entsteht durch die Herausgabe von wissenschaftlichen Fachzeitschriften, die dezidiert insignifikante Forschungsergebnisse veröffentlichen. So gibt es Fachzeitschriften (vorrangig im Internet, s. u.), die gezielt Studien mit „negativem“, d. h. im Sinne der Fragestellung insignifikanten Ergebnissen publizieren, darunter das Journal of Unsolved Questions. Auch die Cochrane Collaboration ist an solchen Ergebnissen sehr interessiert, um sie in ihren Analysen zu den Standards in der Medizin verwenden zu können.
Uri Simonsohn, Leif D. Nelson und Joseph P. Simmons entwickelten 2014 die sogenannte p-Kurve zur Ermittlung von einseitiger Veröffentlichungen, die sich auf p-Hacking oder Publikationsverzerrung rückführen lassen.[12][13] Diese Methode ist jedoch ihrerseits in die Kritik gekommen.[14][15][16][17]
Weblinks
[Bearbeiten | Quelltext bearbeiten]- Einträge zu Publikationsverzerrung und Schubladenproblem im Dorsch
- Eintrag in Beats Biblionetz
Register für wissenschaftliche Studien
[Bearbeiten | Quelltext bearbeiten]Fachzeitschriften für insignifikante Forschungsergebnisse
[Bearbeiten | Quelltext bearbeiten]- BioMed Central (BMC), London: Journal of Negative Results in Biomedicine. Von einem internationalen Wissenschaftlerteam betreutes Open-access-Projekt, das unter Peer-Review die wissenschaftliche Diskussion unerwarteter, widersprüchlicher, provokativer und/oder negativer Forschungsergebnisse aus dem Bereich der Biomedizin fördern sollte. Das Projekt wurde am 1. September 2017 eingestellt.
- Journal of Articles in Support of the Null Hypothesis
- PsychFileDrawer. Archive of Replication Attempts in Experimental Psychology: von einem internationalen Wissenschaftlerteam herausgegebenes Online-Journal, das experimentalpsychologische Wiederholungsstudien unabhängig von ihrem Ausgang veröffentlicht (Zuletzt geprüft am 6. Juni 2012)
- The All Results Journals: von einem internationalen Wissenschaftlerteam herausgegebenes Online-Journal, das experimentelle Untersuchungen aus Chemie, Biologie, Nanotechnologie und Physik veröffentlicht, die anderweitig nicht zur Veröffentlichung angenommen wurden, weil sie erwartete Ergebnisse nicht bestätigten bzw. zu keinen verwertbaren Ergebnissen geführt haben (zuletzt überprüft am 6. Juni 2012)
Literatur
[Bearbeiten | Quelltext bearbeiten]- Hans-Hermann Dubben, Hans-Peter Beck-Bornholdt, Unausgewogene Berichterstattung in der medizinischen Wissenschaft, Hamburg: Institut für Allgemeinmedizin des Universitätsklinikums Hamburg-Eppendorf, 2004, ISBN 3-00-014238-X
- Bortz, J. & Döring, N. (2006). Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler (S. 695). Heidelberg: Springer. ISBN 3-540-33305-3
- McGauran N, Wieseler B, Kreis J, Schüler YB, Kölsch H, Kaiser T: Reporting bias in medical research - a narrative review. In: Trials. 11. Jahrgang, 2010, S. 37, doi:10.1186/1745-6215-11-37, PMID 20388211, PMC 2867979 (freier Volltext) – (englisch).
Einzelnachweise
[Bearbeiten | Quelltext bearbeiten]- ↑ Arjo Klamer, Robert M. Solow, Donald N. McCloskey: The Consequences of economic rhetoric. Cambridge University Press, 1989, ISBN 978-0-521-34286-5, S. 173–74 (englisch, cam.ac.uk [abgerufen am 8. Juli 2015]).
- ↑ Jonah Lehrer: The Truth Wears Off In: The New Yorker, 13. Dezember 2010. Abgerufen am 8. Juli 2015 (englisch).
- ↑ Theodore D. Sterling: Publication decisions and their possible effects on inferences drawn from tests of significance—or vice versa. In: Journal of the American Statistical Association. 54. Jahrgang, Nr. 285, März 1959, S. 30–34, doi:10.2307/2282137 (englisch, psycnet.apa.org ( des vom 7. August 2011 im Internet Archive) [abgerufen am 8. Juli 2015]).
- ↑ Robert Rosenthal: The file drawer problem and tolerance for null results. In: Psychological Bulletin. Band 86, Nr. 3, Mai 1979, ISSN 1939-1455, S. 638–641, doi:10.1037/0033-2909.86.3.638 (englisch, APA-Eintrag oder Artikelkopie [abgerufen am 10. März 2026]).
- ↑ Daniele Fanelli: Negative results are disappearing from most disciplines and countries. Scientometrics, Vol. 90, Number 3 (2012), S. 891–904, doi:10.1007/s11192-011-0494-7;
- ↑ Manuela Lenzen: Journal zweiter Blicke. Eine Initiative fordert, mehr Experimente zu wiederholen. Frankfurter Allgemeine Zeitung, 6. Juni 2012, S. N 5
- ↑ Turner EH, Matthews AM, Linardatos E, Tell RA, Rosenthal R: Selective publication of antidepressant trials and its influence on apparent efficacy. In: N. Engl. J. Med. 358. Jahrgang, Nr. 3, Januar 2008, S. 252–60, doi:10.1056/NEJMsa065779, PMID 18199864 (englisch).
- ↑ Richard J. Light, David B. Pillemer: Summing Up: The Science of Reviewing Research. Harvard University Press, Cambridge, Mass., ISBN 978-0-674-85431-4, S. 65 ff. (englisch).
- ↑ Matthias Egger, George Davey Smith, Martin Schneider, Christoph Minder: Bias in meta-analysis detected by a simple, graphical test. In: BMJ. Band 315, Nr. 7109, 13. September 1997, ISSN 0959-8138, S. 629–634, doi:10.1136/bmj.315.7109.629, PMID 9310563 (englisch, Online [abgerufen am 8. Dezember 2016]).
- ↑ Poorolajal J, Haghdoost AA, Mahmoodi M, Majdzadeh R, Nasseri-Moghaddam S, Fotouhi A. Capture-recapture method for assessing publication bias. Journal of Research in Medical Sciences : The Official Journal of Isfahan University of Medical Sciences. 2010;15(2):107-115. PMC 3082794 (freier Volltext)
- ↑ Vorabregistrierung von wissenschaftlichen Studien. ZB MED – Informationszentrum Lebenswissenschaften, abgerufen am 10. März 2026.
- ↑ Uri Simonsohn, Leif D. Nelson, Joseph P. Simmons: P-curve: A key to the file-drawer. In: Journal of Experimental Psychology: General. Band 143, Nr. 2, April 2014, ISSN 1939-2222, S. 534–547, doi:10.1037/a0033242 (englisch, APA-Eintrag oder Autorenkopie [abgerufen am 28. März 2026]).
- ↑ Uri Simonsohn, Leif D. Nelson, Joseph P. Simmons: p -Curve and Effect Size: Correcting for Publication Bias Using Only Significant Results. In: Perspectives on Psychological Science. Band 9, Nr. 6, November 2014, ISSN 1745-6916, S. 666–681, doi:10.1177/1745691614553988 (englisch, Artikel oder Autorenkopie [abgerufen am 28. März 2026]).
- ↑ Alison Ledgerwood (ed.), Blakeley B. McShane, Ulf Böckenholt, Karsten T. Hansen: Guest Post: Adjusting for Publication Bias in Meta-Analysis - A Response to Data Colada [61]. In: Incurably Nuanced. 15. Juni 2017, abgerufen am 28. März 2026 (englisch).
- ↑ Daniel Lakens: The 20% Statistician: Why we should stop using statistical techniques that have not been adequately vetted by experts in psychology. In: The 20% Statistician. 29. Oktober 2025, abgerufen am 10. März 2026 (englisch).
- ↑ Ulrich Schimmack: How Bad is P-Curve Really and Why Should We Care? - Replicability-Index. 29. Oktober 2025, abgerufen am 10. März 2026 (amerikanisches Englisch).
- ↑ Uri Simonsohn: [129] P-curve works in practice, but would it work if you dropped a piano on it? In: Data Colada. 23. September 2025, abgerufen am 10. März 2026 (amerikanisches Englisch).