Forschung verstehen

Was eine Meta-Analyse anders macht

Eine Meta-Analyse rechnet nicht einfach viele Studien zusammen. Sie sucht sie nach vorher festgelegten Regeln, bewertet, wie jede einzelne gebaut ist, und fasst erst dann zusammen. Wo das sorgfältig geschieht, ist das Ergebnis in der Regel die verlässlichste einzelne Quelle, die sich zu einer Frage finden lässt.

Jede Zeile ist eine Studie mit ihrem Unsicherheitsbereich; die Raute unten fasst sie zusammen. Der Bereich wird enger - genauer als jede einzelne Zeile, aber nie belastbarer als das, was in ihn eingeht.

Eine gute Übersichtsarbeit verbindet die beiden Dinge, die sonst getrennt zu prüfen sind: die Bauart der Einzelstudien und die Bestätigung durch mehrere unabhängige Versuche. Deshalb steht sie oben in der Evidenzhierarchie.

Wie es funktioniert

Der Filter vor der Zusammenfassung

Am Anfang steht eine systematische Suche in mehreren Datenbanken, nach Kriterien, die vorher festgelegt und veröffentlicht wurden - sonst ließe sich die Auswahl nachträglich passend machen. Danach wird für jede eingeschlossene Studie eingeschätzt, wie anfällig sie für Verzerrungen ist.

Der internationale Berichtsstandard PRISMA führt 27 Punkte auf, die eine Übersichtsarbeit offenlegen sollte, von der Suchstrategie bis zum Umgang mit fehlenden Daten (Page et al., 2021). Wo diese Angaben fehlen, liegt keine systematische Übersichtsarbeit vor, sondern eine Sammlung.

Warum die Aussage genauer wird

Jede einzelne Studie schätzt einen Effekt, und zu jeder Schätzung gehört ein Bereich, in dem der wahre Wert plausibel liegt. Werden viele Stichproben zusammengefasst, wird dieser Bereich enger - genau die Bewegung, die die Grafik oben zeigt.

Eine Übersichtsarbeit über 47 randomisierte Studien mit 3.515 Teilnehmenden hat das für Angst ausgerechnet, gegenüber unspezifischen aktiven Vergleichsgruppen. Nach acht Wochen betrug die standardisierte Mittelwertdifferenz 0,38 (95 % Vertrauensbereich 0,12 bis 0,64), nach drei bis sechs Monaten 0,22 (0,02 bis 0,43) (Goyal et al., 2014). Ein kleiner bis mittlerer Unterschied also, der mit der Zeit abnimmt. Eine Zahl mit Bereich sagt mehr als „wirkt“ oder „wirkt nicht“.

Beides in einer Quelle

Damit deckt eine Übersichtsarbeit genau die zwei Fragen ab, die sonst getrennt zu stellen sind: wie gut die einzelnen Untersuchungen gebaut sind - und ob mehrere unabhängige Teams zum selben Ergebnis kommen. Deshalb steht sie in den gängigen Evidenzhierarchien oben.

Der Zusatz dazu ist wichtig: Die Zusammenfassung sorgfältiger randomisierter Studien lässt sich nicht mit der Zusammenfassung verzerrungsanfälliger Beobachtungsstudien gleichsetzen (Murad et al., 2016). Was oben herauskommt, hängt daran, was unten hineingeht.

Die Brücke zur Praxis

Woran sich eine gute Übersichtsarbeit erkennen lässt

Vier Angaben stehen in jeder brauchbaren Meta-Analyse und beantworten schon den größten Teil der Frage nach ihrer Belastbarkeit. Wie viele Studien und wie viele Teilnehmende sind eingeflossen - zehn Studien mit je zwanzig Personen sind etwas anderes als zehn mit je dreihundert. Wogegen wurde verglichen - gegen eine Warteliste oder gegen eine aktive Behandlung? Wie stark streuen die Einzelergebnisse, und wird diese Streuung erklärt oder nur berichtet? Und wurde geprüft, ob Studien fehlen, die nie veröffentlicht wurden?

Wie viel an der Vergleichsgruppe hängt, zeigt schon die erste große Meta-Analyse überhaupt. 1977 fassten Mary Lee Smith und Gene Glass 375 Studien zur Psychotherapie zusammen und rechneten daraus 833 Effektstärken. Im Schnitt der Studien lag die behandelte Gruppe 0,68 Standardabweichungen vor der Kontrollgruppe - in ihren eigenen Worten: Der typischen behandelten Person ging es besser als 75 % der unbehandelten Kontrollpersonen (Smith & Glass, 1977). Entscheidend ist das Wort unbehandelt: Verglichen wurde nicht mit einer anderen Therapie, sondern mit Menschen, die gar nichts bekamen. Ohne diesen Zusatz sagt die Zahl etwas anderes, als in der Arbeit steht.

Wie unterschiedlich die Antwort ausfallen kann, zeigt eine Übersichtsarbeit über die Achtsamkeitsforschung. Sie hat 44 Meta-Analysen mit zusammen 336 randomisierten Studien und 30.483 Teilnehmenden ausgewertet. Gegenüber passiven Vergleichsgruppen fanden sich direkt nach dem Programm Effektstärken zwischen 0,10 und 0,89. Gegenüber aktiven Vergleichsgruppen waren sie deutlich kleiner und seltener statistisch bedeutsam (Goldberg et al., 2022). Dieselbe Frage, zwei Vergleichsarten, zwei sehr verschiedene Zahlen - deshalb lohnt der Blick auf die Vergleichsgruppe fast immer. Er gehört zum Handwerkszeug aus dem Kapitel Wie man das alles liest.

Eine Studie ist kein Beweis Zum MBSR-Kurs

Einordnung

Wie gut belegt ist das?

Eine Meta-Analyse kann nur zusammenfassen, was veröffentlicht wurde. Bleiben Untersuchungen ohne auffälligen Befund in der Schublade, verschiebt sich das Gesamtbild nach oben. Ein einfacher grafischer Test auf genau diese Schieflage fand entsprechende Hinweise in 38 % der Meta-Analysen aus führenden allgemeinmedizinischen Zeitschriften und in 13 % der Übersichtsarbeiten der Cochrane-Datenbank (Egger et al., 1997).

Für die Achtsamkeitsforschung ist das mehr als ein theoretisches Problem. Von 124 veröffentlichten randomisierten Studien zu achtsamkeitsbasierten Verfahren berichteten 108 (87 %) in der Zusammenfassung mindestens ein positives Ergebnis. 109 (88 %) kamen zu dem Schluss, das Verfahren sei wirksam. Das ist deutlich mehr, als bei der bekannten Größe solcher Effekte zu erwarten wäre (Coronado-Montoya et al., 2016).

Daraus folgt kein Misstrauen gegen Übersichtsarbeiten, sondern eine Präzisierung: Nicht jede Meta-Analyse ist gleich viel wert. Murad und Kolleg:innen schlagen deshalb vor, sie nicht als automatische Spitze einer Pyramide zu behandeln, sondern als Linse, durch die die darunterliegenden Studien betrachtet werden - die Güte der Linse entscheidet mit (Murad et al., 2016). Praktisch heißt das: Eine sorgfältige Übersichtsarbeit bleibt der beste Ausgangspunkt für eine Frage. Sie ersetzt nur nicht den Blick darauf, was in ihr steckt.

Zurück zu Wissen & Studien

Das passt dazu