Doch Wissenschaft funktioniert so nicht.
Eine einzelne Studie kann einen interessanten Befund liefern. Sie kann eine Hypothese stützen, eine bisherige Annahme infrage stellen oder einen Zusammenhang sichtbar machen. Was sie normalerweise nicht kann, ist eine wissenschaftliche Frage abschließend beantworten. Wissenschaftliches Wissen entsteht nicht durch eine spektakuläre Untersuchung, sondern dadurch, dass Befunde kritisch geprüft, mit anderen Untersuchungen verglichen und möglichst unabhängig reproduziert werden. Genau deshalb ist der Satz „Eine Studie zeigt …“ häufig der Anfang eines Missverständnisses.
Eine Beobachtung ist noch keine Ursache
Ein besonders häufiger Fehler beginnt bereits beim Studiendesign. Angenommen, Forscher beobachten, dass Menschen, die viel Kaffee trinken, seltener an einer bestimmten Krankheit erkranken. Dann existiert zunächst eine Assoziation: Kaffeekonsum und Erkrankungshäufigkeit hängen in den untersuchten Daten miteinander zusammen.
Daraus folgt aber nicht automatisch, dass Kaffee die Erkrankung verhindert.
Vielleicht unterscheiden sich Kaffeetrinker in anderen Merkmalen von Menschen, die keinen Kaffee trinken. Vielleicht bewegen sie sich mehr, essen anders, haben ein anderes Einkommen oder gehen häufiger zum Arzt. Vielleicht trinken Menschen mit bestimmten Vorerkrankungen weniger Kaffee. Oder ein Teil des beobachteten Zusammenhangs ist schlicht Zufall.
Das ist der Unterschied zwischen Korrelation und Kausalität. Eine Beobachtungsstudie kann Zusammenhänge entdecken. Für die Behauptung, dass A tatsächlich B verursacht, benötigen wir jedoch zusätzliche Argumente und möglichst Studiendesigns, die alternative Erklärungen ausschließen können.
Das klingt banal. In der Wissenschaftskommunikation wird diese Grenze dennoch regelmäßig überschritten. Aus „Bei Menschen mit Merkmal A wurde häufiger Merkmal B beobachtet“ wird schnell „A erhöht das Risiko für B“. Aus einer statistischen Beziehung ist sprachlich eine Ursache geworden.
„Statistisch signifikant“ bedeutet nicht „bewiesen“
Noch größer wird das Missverständnis, wenn im Artikel ein p-Wert auftaucht. Ein Ergebnis mit p < 0,05 wird häufig so behandelt, als hätte die Statistik gerade bestätigt, dass die Hypothese stimmt.
Das bedeutet der p-Wert aber nicht.
Die American Statistical Association hat bereits 2016 ausdrücklich darauf hingewiesen, dass ein p-Wert weder angibt, wie wahrscheinlich eine Hypothese richtig ist, noch wie wahrscheinlich ein Ergebnis „nur durch Zufall“ entstanden ist. Er beschreibt – vereinfacht – wie gut oder schlecht die beobachteten Daten mit einem bestimmten statistischen Modell vereinbar sind. Wissenschaftliche Schlussfolgerungen sollten deshalb nicht allein davon abhängen, ob eine willkürlich festgelegte Grenze wie p < 0,05 über- oder unterschritten wird.
Und noch etwas ist wichtig: Statistische Signifikanz sagt nichts darüber aus, ob ein Effekt groß oder praktisch relevant ist. Bei einer sehr großen Stichprobe kann bereits ein winziger Unterschied statistisch signifikant werden. Bei einer kleinen Stichprobe kann umgekehrt ein möglicherweise bedeutsamer Effekt die Signifikanzgrenze verfehlen. Wer nur fragt „signifikant oder nicht?“, ignoriert deshalb einen wesentlichen Teil der Information.
Viel interessanter sind häufig andere Fragen: Wie groß ist der beobachtete Effekt? Wie präzise wurde er geschätzt? Wie breit ist das Konfidenzintervall? Wie plausibel sind alternative Erklärungen? Und würde der Unterschied im wirklichen Leben überhaupt eine Rolle spielen?
Je mehr man sucht, desto eher findet man etwas
Ein weiteres Problem ist weniger offensichtlich. Stellen wir uns vor, ein Datensatz enthält 20 mögliche Einflussfaktoren und Forscher prüfen jeden davon auf zehn verschiedene Ergebnisse. Schon entstehen sehr viele statistische Tests. Selbst wenn in Wirklichkeit keinerlei Zusammenhang besteht, können dabei allein durch Zufall einige scheinbar „signifikante“ Ergebnisse auftauchen.
Problematisch wird es, wenn am Ende nur der interessante Treffer veröffentlicht wird: „Studie entdeckt Zusammenhang zwischen X und Y.“
Die 199 anderen Analysen verschwinden aus der Geschichte.
Deshalb sind Transparenz, vorher definierte Hypothesen und die vollständige Berichterstattung von Analysen so wichtig. Auch darauf weist die American Statistical Association ausdrücklich hin: Die Interpretation eines p-Werts hängt wesentlich davon ab, welche und wie viele Analysen durchgeführt wurden und welche davon schließlich berichtet werden.
Damit kommen wir zu einem grundsätzlichen Problem wissenschaftlicher Literatur. Positive, überraschende und statistisch signifikante Ergebnisse sind interessanter als Nullbefunde. Sie werden eher eingereicht, eher veröffentlicht und häufiger medial aufgegriffen. Das kann dazu führen, dass die sichtbare wissenschaftliche Literatur eindeutiger erscheint, als die tatsächliche Datenlage ist.
Deshalb braucht Wissenschaft Replikation
Ein wissenschaftlicher Befund gewinnt an Glaubwürdigkeit, wenn andere Forscher ihn unter vergleichbaren Bedingungen erneut beobachten können. Replikation ist deshalb kein lästiges Wiederholen bereits bekannter Erkenntnisse, sondern ein zentraler Bestandteil wissenschaftlicher Erkenntnisgewinnung.
Wie wichtig das ist, zeigte unter anderem das große Reproducibility Project in der Psychologie. Forscher versuchten, 100 publizierte Studien zu wiederholen. Während 97 Prozent der ursprünglichen Untersuchungen statistisch signifikante Ergebnisse berichtet hatten, traf dies nur auf 36 Prozent der Replikationen zu. Im Durchschnitt waren die beobachteten Effekte in den Replikationen nur etwa halb so groß wie in den Originalstudien. Das bedeutet nicht, dass 64 Prozent der ursprünglichen Studien „falsch“ waren – Reproduzierbarkeit lässt sich nicht sinnvoll auf eine einzige Zahl reduzieren. Es zeigt aber eindrucksvoll, warum ein publizierter Befund nicht mit einer gesicherten Erkenntnis gleichgesetzt werden sollte.
Wissenschaft zeichnet sich gerade dadurch aus, dass Ergebnisse vorläufig sind. Gute Forschung versucht nicht, diese Unsicherheit zu verstecken, sondern sichtbar zu machen.
Aber ein systematisches Review ist doch der Beweis – oder?
Die nächste Stufe der Vereinfachung lautet deshalb häufig: Einzelstudien seien unsicher, aber eine Meta-Analyse oder ein systematisches Review liefere schließlich die Wahrheit.
Auch das ist zu einfach.
Systematische Reviews sind enorm wertvoll, weil sie versuchen, die gesamte relevante Forschung zu einer Frage systematisch zu erfassen und zu bewerten. Eine Meta-Analyse kann zusätzlich Ergebnisse verschiedener Studien statistisch zusammenführen. Aber auch das Ergebnis kann nur so belastbar sein wie die zugrunde liegende Evidenz.
Wenn die eingeschlossenen Studien methodische Schwächen besitzen, sehr unterschiedliche Populationen untersuchen, unpräzise Ergebnisse liefern oder Publikationsbias wahrscheinlich ist, verschwindet dieses Problem nicht dadurch, dass man die Studien zusammenfasst. Genau deshalb bewertet das international etablierte GRADE-System die Sicherheit eines Evidenzkörpers unter anderem anhand von Verzerrungsrisiko, Inkonsistenz zwischen Studien, indirekter Evidenz, statistischer Unsicherheit und möglichem Publikationsbias. Ein systematisches Review kann deshalb zu sehr sicherer Evidenz führen – aber genauso zu niedriger oder sehr niedriger Evidenzsicherheit.
Die Bezeichnung „Meta-Analyse“ ist also kein Qualitätssiegel.
Was sollten wir stattdessen fragen?
Wenn irgendwo steht „Eine Studie zeigt …“, lohnt es sich deshalb, nicht sofort über das Ergebnis zu diskutieren, sondern zunächst über die Studie. Was wurde überhaupt untersucht? War es ein Experiment oder lediglich eine Beobachtung? Wie groß war die Stichprobe? Wie groß war der Effekt? Wie unsicher ist seine Schätzung? Wurden viele verschiedene Zusammenhänge getestet? War die Hypothese vorher festgelegt? Gibt es andere Studien mit ähnlichen Ergebnissen? Wurde der Befund reproduziert? Und passt er zu dem, was wir bereits aus der Gesamtheit der Forschung wissen?
Vor allem aber sollten wir zwischen drei Aussagen unterscheiden:
„In dieser Studie wurde X beobachtet.“
„Mehrere Studien sprechen dafür, dass X tatsächlich existiert.“
„Die vorhandene Evidenz erlaubt mit hoher Sicherheit die Schlussfolgerung X.“
Diese Sätze klingen ähnlich. Wissenschaftlich liegen zwischen ihnen Welten.
Wissenschaft ist kein Wahrheitsautomat
Vielleicht liegt genau hier eines der größten Probleme moderner Wissenschaftskommunikation. Wissenschaft wird häufig als Maschine dargestellt: Man gibt eine Forschungsfrage hinein, führt eine Studie durch und erhält anschließend eine richtige Antwort.
In Wirklichkeit ist Wissenschaft ein Verfahren zum systematischen Umgang mit Unsicherheit. Studien können fehlerhaft sein. Messungen können unpräzise sein. Stichproben können ungeeignet sein. Statistische Ergebnisse können zufällig entstehen. Forscher können falsche Annahmen treffen. Und auch ein methodisch hervorragend durchgeführtes Experiment kann einen Befund produzieren, der sich später nicht bestätigen lässt.
Das ist keine Schwäche der Wissenschaft.
Es ist der Grund, warum Wissenschaft funktioniert.
Denn wissenschaftliche Aussagen müssen kritisierbar sein. Andere Forscher können Daten überprüfen, Methoden hinterfragen, alternative Erklärungen formulieren und Experimente wiederholen. Erkenntnis entsteht nicht dadurch, dass Wissenschaftler unfehlbar wären, sondern dadurch, dass Fehler prinzipiell entdeckt und korrigiert werden können.
Deshalb sollte die Reaktion auf „Eine Studie zeigt …“ weder blinder Glaube noch reflexhafte Ablehnung sein.
Die vernünftigste Reaktion besteht aus drei Worten:
Wie gut eigentlich?
Genau dort beginnt evidenzbasiertes Denken.
Quellen und weiterführende Literatur
American Statistical Association (2016): Statement on Statistical Significance and P-Values. The American Statistician, 70(2), 129–133.
Open Science Collaboration (2015): Estimating the reproducibility of psychological science. Science, 349(6251), aac4716. DOI: 10.1126/science.aac4716.
Schünemann, H. J. et al.: Completing ‘Summary of findings’ tables and grading the certainty of the evidence. In: Cochrane Handbook for Systematic Reviews of Interventions, Version 6.5, 2024.
Kommentare
Kommentar veröffentlichen