Eine Studie ist kein Beweis
„Beweis“ ist in der empirischen Forschung ohnehin die falsche Kategorie - Studien liefern Belege unterschiedlicher Stärke. Wie stark ein einzelner Beleg ist, entscheidet sich vor allem an der Bauart der Untersuchung: an ihrem Umfang, an der Kontrollgruppe, an einer vorab festgelegten Fragestellung. Ob er trägt, zeigt sich zusätzlich daran, ob unabhängige Teams zum selben Ergebnis kommen. Das sind zwei verschiedene Fragen - und eine gute Studie beantwortet die erste bereits, bevor jemand sie wiederholt hat.
Wie viel ein Befund trägt, hängt an zwei Dingen: an der Bauart der Studie und an der unabhängigen Wiederholung. Eine groß und sauber angelegte Untersuchung wiegt von Anfang an schwer - eine kleine, nachträglich entdeckte Auffälligkeit auch dann noch wenig, wenn sie oft zitiert wird.
Wie groß ist groß genug?
Die Wahrscheinlichkeit, einen tatsächlich vorhandenen Effekt auch zu finden, heißt statistische Power und hängt vor allem an der Stichprobengröße. Eine Auswertung von 49 Meta-Analysen mit 730 Einzelstudien aus der Neurowissenschaft fand eine mediane Power von 21 %.
Zwei Teilgebiete kamen darin kaum vor. Die Autoren haben sie deshalb eigens dazugeholt und getrennt nachgerechnet. Bei 461 Studien zum Hirnvolumen lag der Wert bei 8 %, bei zwei Auswertungen von Tierversuchen bei 18 und 31 %. Selbst diese Werte halten die Autoren noch für zu hoch geschätzt.
Der zweite, weniger bekannte und eigentlich wichtigere Teil des Arguments: Je niedriger die Power, desto wahrscheinlicher ist ein als signifikant gemeldeter Befund in Wahrheit falsch. Und selbst ein echter Effekt wird von einer zu kleinen Studie im Schnitt zu groß geschätzt, weil nur auffällig große Zufallsausschläge die Signifikanzschwelle erreichen (Button et al., 2013).
Vorher festgelegt statt nachher gefunden
Wer Fragestellung, Messgrößen und Auswertung vor der Datenerhebung öffentlich hinterlegt, kann das Ergebnis hinterher nicht mehr passend machen. Wie viel das ausmacht, zeigt ein direkter Vergleich: In der gewöhnlichen psychologischen Literatur bestätigten 96 % der Arbeiten ihre Hypothese, in vorab begutachteten und registrierten Arbeiten nur 44 % (Scheel et al., 2021).
Wann ein Ergebnis wackelt
Eine vielzitierte Analyse benennt, was einen Einzelbefund unsicher macht: eine kleine Stichprobe, ein kleiner erwarteter Effekt, viele gleichzeitig geprüfte Zusammenhänge bei wenig theoretischer Vorstrukturierung - und ein Feld, in dem viele Teams um dieselbe Frage konkurrieren. Umgekehrt gelesen ist das eine Liste dessen, was eine gut gebaute Studie vermeidet (Ioannidis, 2005).
Die große Nachprüfung
2015 wiederholte ein internationales Projekt 100 veröffentlichte psychologische Studien so nah wie möglich am Original. 36 % der Wiederholungen erreichten noch ein statistisch bedeutsames Ergebnis; bei 47 % lag der ursprüngliche Effekt im Unsicherheitsbereich der Wiederholung. Am besten vorhersagen ließ sich der Erfolg einer Wiederholung durch die Stärke des ursprünglichen Belegs - deutlich besser als durch Merkmale der beteiligten Teams (Open Science Collaboration, 2015).
Nicht „nichts war dran“
Wiederholung heißt nicht automatisch Widerlegung. Als 2018 einundzwanzig vielbeachtete sozialwissenschaftliche Experimente mit deutlich größeren Stichproben erneut geprüft wurden, bestätigte sich die Richtung bei 13 von ihnen (62 %), allerdings mit einem Effekt, der im Mittel nur noch etwa halb so groß ausfiel wie ursprünglich berichtet (Camerer et al., 2018). Das ist eine Korrektur nach unten, keine Streichung.
Übersichtsarbeiten: beides in einer Quelle
Systematische Übersichtsarbeiten und Meta-Analysen stehen aus gutem Grund oben in der klassischen Evidenzhierarchie: Sie bewerten die Bauart jeder eingeschlossenen Studie und zeigen zugleich, ob mehrere unabhängige Untersuchungen zum selben Ergebnis kommen - beide Achsen in einem Dokument. Ihr Wert hängt allerdings davon ab, was in ihnen steckt: Die Zusammenfassung sorgfältiger randomisierter Studien ist etwas anderes als die Zusammenfassung verzerrungsanfälliger Beobachtungsstudien (Murad et al., 2016).
Was das für den Umgang mit Studien bedeutet
Daraus folgt kein Misstrauen gegen Forschung, sondern eine zweite Frage neben der ersten. Die erste lautet: Was hat die Studie gefunden? Die zweite: Wie war sie gebaut, und steht sie allein? Genau deshalb hat hier fast jeder Wissensartikel am Ende einen eigenen Abschnitt „Wie gut belegt ist das?“ - dort steht, worauf eine Aussage beruht und wo die Belege dünn sind.
Wer die zweite Frage mitdenkt, liest Meldungen über „neue Studien zu Achtsamkeit und Stress“ anders: interessiert, aber ohne vorschnelle Schlüsse in die eine wie in die andere Richtung. Die Begriffe dafür sind im Kapitel Wie man das alles liest zusammengetragen.
Wie gut belegt ist das?
Die große Nachprüfung von 2015 ist selbst nicht unumstritten: Gilbert, King, Pettigrew und Wilson kritisierten 2016 in einem viel beachteten Kommentar die statistische Auswertung und kamen zu einem deutlich optimistischeren Bild; die Originalautor:innen widersprachen in ihrer Antwort ausführlich (Gilbert et al., 2016). Für den Kern dieses Artikels ändert der Streit wenig: Ob 36 % standhalten oder deutlich mehr, entscheidet nicht darüber, ob eine gut gebaute Einzelstudie etwas wert ist - sie ist es. Der Streit selbst ist ein gutes Beispiel dafür, wie wissenschaftliche Auseinandersetzung tatsächlich abläuft: nicht als Beleg, dass „sich die Wissenschaft nicht einig ist“ und deshalb beliebig wäre, sondern als der übliche, nachvollziehbare Weg, auf dem sich ein Forschungsfeld einer verlässlicheren Einschätzung annähert.
Zwei Einschränkungen zu den Zahlen oben. Die Schätzung zur statistischen Power stammt aus der Neurowissenschaft und lässt sich nicht ungeprüft auf jedes psychologische Teilgebiet übertragen; sie benennt aber ein Problem, das überall dort auftritt, wo mit kleinen Stichproben gearbeitet wird. Und der Vergleich zwischen registrierten und gewöhnlichen Arbeiten beruht auf einer noch kleinen Zahl registrierter Studien - die Richtung des Unterschieds ist deutlich, die genaue Größe nicht endgültig.
Das passt dazu
Korrelation ist nicht Kausalität
Warum aus einem Zusammenhang keine Ursache folgt - und was stattdessen darüber entscheidet: der Aufbau der Untersuchung.
LesenWas eine Meta-Analyse anders macht
Nach festen Regeln gesucht, bewertet und zusammengefasst - und woran sich eine gute Übersichtsarbeit erkennen lässt.
LesenWie groß ist ein „mittlerer Effekt“?
Was „klein“, „mittel“ und „groß“ wirklich sagen - und acht Effektstärken aus Medizin und Alltag zum Vergleich daneben.
Lesen