Drei gerechnete Verteilungspaare. Waagerecht steht der gemessene Wert, senkrecht, wie häufig er vorkommt. Je größer d, desto weiter rücken die beiden Gipfel auseinander. Greift man zufällig je eine Person aus beiden Gruppen heraus, liegt die aus der Gruppe mit Maßnahme in 56, 64 bzw. 71 von 100 Fällen besser - bei reinem Zufall wären es 50. Und selbst beim „großen“ Effekt bleiben rund sieben von zehn Menschen im gemeinsamen Bereich.

Was hier gezeichnet ist

Diese Kurven sind keine Messwerte und stammen aus keiner Untersuchung. Sie sind aus der Definition von d berechnet und zeigen, was diese Zahl selbst bedeutet: zwei gleich geformte Verteilungen, deren Mittelwerte um d Streuungsschritte auseinanderliegen. Wie eine tatsächlich gemessene Verteilung aussieht, hängt vom untersuchten Merkmal ab.

Ein „mittlerer“ Effekt heißt: Die Gruppen unterscheiden sich messbar - und ähneln einander trotzdem stark. Was das wert ist, entscheidet nicht das Etikett, sondern wie viele Menschen erreicht werden, was es kostet, was schiefgehen kann - und womit verglichen wurde.

Was gemessen wird

Zwei Zahlen, dieselbe Idee

Eine Effektstärke wird meist mit einer von zwei Größen angegeben. Das d - in Studienberichten oft „standardisierte Mittelwertdifferenz“, abgekürzt SMD - beschreibt den Abstand zwischen zwei Gruppen, aber nicht in Punkten oder Millimetern, sondern in Streuungsschritten. Ein d von 1 bedeutet: Der Abstand der beiden Durchschnitte ist genauso groß wie die Streuung innerhalb einer Gruppe. Das r beschreibt, wie stark zwei Größen gemeinsam schwanken, auf einer Skala von −1 bis +1. Beide lassen sich ineinander umrechnen: Ein d von 0,5 entspricht einem r von 0,24 (Cohen, 1988, S. 26). Es ist deshalb kein Widerspruch, wenn derselbe Sachverhalt an einer Stelle als d und an einer anderen als r auftaucht.

Herkunft der Etiketten

Die Schwellen waren nie als Wahrheit gedacht

Die Werte 0,2, 0,5 und 0,8 für „klein“, „mittel“ und „groß“ stammen von Jacob Cohen - versehen mit ungewöhnlich deutlichen Vorbehalten. Die Begriffe seien „relativ, nicht nur zueinander, sondern auch zum jeweiligen Gebiet der Verhaltenswissenschaft und noch genauer zum konkreten Inhalt und zur eingesetzten Untersuchungsmethode“; die Zahlen böten einen gemeinsamen Bezugsrahmen, „der nur für den Fall empfohlen wird, dass keine bessere Grundlage für eine Einschätzung zur Verfügung steht“ (Cohen, 1988, S. 25). Zum mittleren Effekt schrieb er, je nach Bezugsrahmen könnten Leserinnen und Leser ihn „entweder klein oder groß“ finden - man werde damit „an die Willkür erinnert, mit der hier quantitative Definitionen qualitativen Adjektiven zugeordnet werden“ (S. 26). Wer die Etiketten als Messlatte behandelt, benutzt sie anders, als sie gemeint waren.

Auf die Person heruntergerechnet

Was „mittel“ für eine einzelne Person heißt

Bei d = 0,5 überschneiden sich die beiden Verteilungen zu rund 80 %. Anders ausgedrückt: Greift man zufällig je eine Person aus beiden Gruppen heraus, liegt die aus der behandelten Gruppe in 64 von 100 Fällen besser - bei reinem Zufall wären es 50. Beim „großen“ Effekt von 0,8 sind es 71 von 100, beim „kleinen“ von 0,2 noch 56. Damit fallen zwei verbreitete Fehllesarten zugleich weg. „Mittel“ bedeutet nicht, dass fast alle profitieren; die Gruppen bleiben einander sehr ähnlich. Es bedeutet aber ebenso wenig „fast nichts“: Eine Verschiebung von 50 auf 64 ist über viele Menschen hinweg ein spürbarer Unterschied.

Über viele Gelegenheiten

Was sich summiert

Der Psychologe Robert Abelson rechnete nach, wie stark die Schlagfertigkeit eines Baseballspielers seinen Erfolg bei einem einzelnen Schlagversuch erklärt. Das Ergebnis entsprach einem r von 0,06 - so klein, dass er es zunächst selbst für einen Fehler hielt. In seiner Arbeit rief er aus: „Was ist hier los?“ Die Auflösung: Ein Spieler hat etwa 550 Schlagversuche pro Saison. Über diese Zahl hinweg entscheidet der winzige Vorteil über Spiele und Tabellenplätze. Kleine Effekte, so sein Fazit, wirken sich „auf lange Sicht“ aus, „wenn auch beim einzelnen Ereignis nicht sehr folgenreich“ (Abelson, 1985). Übertragen heißt das: Ein Effekt, der bei einem einzelnen Anlass kaum zu bemerken ist, kann wichtig werden, wenn der Anlass sich oft wiederholt oder viele Menschen gleichzeitig betrifft (Funder & Ozer, 2019).

Der Vergleichsmaßstab

Womit verglichen wurde

Dieselbe Zahl bedeutet nicht dasselbe, je nachdem, wogegen gemessen wurde. Eine Übersichtsarbeit über 47 randomisierte Studien mit 3.515 Teilnehmenden fand für achtsamkeitsbasierte Meditationsprogramme bei Angst eine standardisierte Mittelwertdifferenz von 0,38 nach acht Wochen (95-%-Vertrauensbereich 0,12-0,64) - und zwar gegenüber aktiven Vergleichsgruppen, die Zeit und Zuwendung abdecken, nicht gegenüber einer Warteliste. Dieselbe Arbeit hält fest, dass sich kein Vorteil gegenüber anderen wirksamen Behandlungen wie Medikamenten, Bewegung oder weiteren verhaltensbezogenen Verfahren zeigte (Goyal et al., 2014). Eine Übersichtsarbeit über 44 Meta-Analysen zeigt denselben Mechanismus im Großen: gegenüber passiven Vergleichsgruppen Effektstärken zwischen 0,10 und 0,89, gegenüber aktiven deutlich kleinere und seltener statistisch bedeutsame (Goldberg et al., 2022). Ein Wert von 0,38 gegen eine Warteliste ist etwas anderes als derselbe Wert gegen eine echte Alternative - und das Etikett „mittel“ verrät diesen Unterschied nicht.

Ein Maßstab statt eines Etiketts

„Klein“ - verglichen womit?

Die nützlichste Rückfrage auf jede Größenangabe lautet schlicht: verglichen womit? Es gibt darauf zwei brauchbare Antworten. Die erste vergleicht mit dem, was in der Forschung überhaupt gefunden wird. Eine Auswertung hat 708 Zusammenhänge aus der Sozial- und Persönlichkeitspsychologie nebeneinander gelegt, von denen jeder bereits aus mehreren Studien zusammengefasst war. Der Durchschnitt lag bei r = 0,19. Ein Viertel aller Befunde lag unter 0,11, ein Viertel über 0,29 (Gignac & Szodorai, 2016). Die zweite Antwort vergleicht mit Zusammenhängen, die aus Medizin und Alltag vertraut sind.

Acht Werte aus einer Übersichtsarbeit, die Effektstärken aus Medizin, Psychologie und Alltag nebeneinanderstellt (Meyer et al., 2001, Tabelle 1). Oben Werte, die gegen eine Vergleichsgruppe gemessen wurden; unten zwei Zusammenhänge, bei denen es nichts zu vergleichen gibt. Das getönte Feld hinter den Balken markiert den Bereich, in dem die mittlere Hälfte aller psychologischen Befunde liegt (Gignac & Szodorai, 2016).

Zu den Zeilen 1, 2 und 3

Ein kurzer Balken heißt hier nicht, dass die Maßnahme wenig bringt. Bei diesen drei Zeilen führt die Kennzahl besonders leicht in die Irre - sie sind gleich im Anschluss einzeln erklärt.

Wie diese Zahlen zu lesen sind

Jeder Wert beziffert einen Unterschied zwischen Gruppen von Menschen - nicht die Veränderung in einer einzelnen Person. Im oberen Block ist der Vergleich je nach Untersuchung eine Scheintablette oder keine Behandlung; die Zeile zum Rauchen vergleicht keine Behandlungen, sondern beobachtete Gruppen: Rauchende gegenüber Menschen, die nie geraucht haben. Fünf der acht Werte fassen jeweils viele Studien zusammen und mitteln häufig über mehrere Messgrößen zugleich. Die Zeile zum Rauchen und die beiden unteren Zeilen stammen dagegen aus je einer einzelnen Erhebung; sie sind entsprechend vorsichtiger zu lesen. Ein Balken sagt in keinem Fall etwas darüber, wie stark eine Behandlung bei einer bestimmten Person wirkt.

Drei Zeilen aus der Nähe

Dieselben Daten, zwei Eindrücke

Drei Zeilen der Abbildung sehen auf den ersten Blick aus wie ein Beleg dafür, dass es um Nebensächlichkeiten geht. Sie zeigen das Gegenteil.

Chemotherapie: 0,03 - und eine annähernd halbierte Sterberate

Der Wert in der Abbildung geht auf eine Übersichtsarbeit von 1988 zurück: 61 randomisierte Studien mit 28.896 Frauen, ausgewertet auf die Sterblichkeit in den ersten rund fünf Jahren (Early Breast Cancer Trialists’ Collaborative Group, 1988; die Kennzahl selbst stammt aus Meyer et al., 2001). Dieselbe Gruppe hat später zusammengefasst, was in 194 randomisierten Studien mit fast 150.000 Frauen herauskam. Das klingt völlig anders. Eine etwa sechsmonatige Chemotherapie auf Anthrazyklin-Basis senkte die jährliche Brustkrebs-Sterberate um rund 38 % bei Frauen, die vor dem 50. Lebensjahr erkrankten, und um rund 20 % bei Frauen zwischen 50 und 69. Für Frauen mittleren Alters mit hormonempfindlichem Tumor wäre diese Rate über die ersten 15 Jahre nach der Diagnose annähernd halbiert, wenn auf die Chemotherapie fünf Jahre Tamoxifen folgen (Early Breast Cancer Trialists’ Collaborative Group, 2005). In den ausgewerteten Studien kamen weder Taxane noch Trastuzumab oder moderne Aromatasehemmer vor - auch dieser Stand ist inzwischen überholt, und zwar nach oben.

In absoluten Zahlen wird der Unterschied greifbar. Die Übersichtsarbeit rechnet vor, wie viele von 100 Frauen innerhalb von 15 Jahren an Brustkrebs sterben. Wären es ohne zusätzliche Behandlung 50 - so hoch liegt das Risiko etwa, wenn die Lymphknoten befallen sind -, dann sind es nach sechs Monaten Chemotherapie noch 34,9, sofern die Erkrankung vor dem 50. Lebensjahr auftrat. Kommen bei hormonempfindlichem Tumor fünf Jahre Tamoxifen dazu, sind es 25,7. Rund 24 von 100 Frauen sterben in diesen 15 Jahren also nicht an Brustkrebs, die ohne diese Behandlung daran gestorben wären (Early Breast Cancer Trialists’ Collaborative Group, 2005, Tabelle 4; die Rechnung blendet andere Todesursachen aus).

Warum steht daneben trotzdem eine 0,03? Weil ein r eine andere Frage beantwortet. Die allermeisten Frauen überleben ihre Erkrankung; wie sie ausgeht, hängt vor allem an Stadium, Tumorart und Alter. Von diesen großen Unterschieden zwischen Menschen erklärt die Frage „Chemotherapie ja oder nein“ nur einen kleinen Teil - obwohl sie für die einzelne Betroffene über Leben und Tod entscheiden kann. Dazu kommt: Gemessen wird die Chemotherapie zusätzlich zur Operation, also der Zusatznutzen über eine bereits wirksame Behandlung hinaus.

Rauchen: 0,08 - und trotzdem ein vervielfachtes Risiko

Diese Zeile ist die einzige der Abbildung, die auf einer einzelnen Untersuchung beruht: einer Kohorte aus Tecumseh, Michigan, in der 3.956 Menschen von 1962 bis 1987 begleitet wurden (Islam & Schottenfeld, 1994). Über diese 25 Jahre erkrankten 77 von ihnen an Lungenkrebs, 60 Männer und 17 Frauen. Genau daran lässt sich ablesen, warum r klein ausfällt: Wo ein Ereignis so selten bleibt, bleibt auch die Kennzahl klein - selbst dann, wenn sich das Risiko vervielfacht. Und dass Rauchen das Lungenkrebsrisiko vervielfacht, gehört zu den bestgesicherten Befunden der Medizin. Wie stark genau, sagt diese eine Untersuchung allerdings nicht verlässlich: Ihre Schätzungen beruhen auf 77 Erkrankungen und schwanken entsprechend weit. Deshalb steht hier keine Zahl dafür - für den Punkt, um den es geht, braucht es keine. Klein ist an dieser Zeile die Kennziffer, nicht die Sache.

Ibuprofen: 0,14 - und zwei bis drei Behandelte je zusätzlicher Linderung

Wer schon einmal eine Tablette gegen Zahn- oder Kopfschmerzen genommen hat, kennt eine Wirkung, die sich deutlich anfühlt. Die Zahl daneben sieht winzig aus. Sie steht dabei nicht für Ibuprofen allein, sondern für entzündungshemmende Schmerzmittel insgesamt; Ibuprofen ist das bekannteste davon. Der Balken vergleicht sie außerdem nicht mit unbehandeltem Schmerz, sondern mit einer Scheintablette - und Scheintabletten wirken gegen Schmerz erstaunlich gut. Gemessen wird also der Zusatznutzen des Wirkstoffs über diese Wirkung hinaus, nicht die Linderung, die nach dem Einnehmen spürbar ist. Der Wert mittelt zudem über drei Übersichtsarbeiten und damit über sehr verschiedene Schmerzarten: Zahnschmerz nach der Entfernung von Weisheitszähnen (Ahmad et al., 1997), Tumorschmerz (Eisenberg et al., 1994) und Schmerz nach Operationen einschließlich Dammschnitt (Li Wan Po & Zhang, 1998). Auch mehrere Messgrößen sind darin zusammengefasst; Fieber ist gar nicht erfasst. Und das eigene Erleben - Tablette genommen, Schmerz weg - hat keine Vergleichsgruppe: Akuter Schmerz lässt mit der Zeit ohnehin nach, und die Erwartung wirkt mit.

Wie viel Zusatznutzen tatsächlich dahintersteckt, zeigt dieselbe Literatur, sobald man anders fragt. Eine der drei zusammengefassten Übersichtsarbeiten hat für Ibuprofen bei Zahnschmerz nach einer Operation ausgezählt, wie viele Menschen eine mäßige bis sehr gute Schmerzlinderung erreichen. Mit dem Wirkstoff war das rund dreieinhalbmal so wahrscheinlich wie mit der Scheintablette (Verhältnis der Ansprechraten 3,45). Rechnerisch genügt es, zwei bis drei Menschen zu behandeln, damit eine zusätzliche Person diese Linderung erreicht (2,44 notwendige Behandlungen; Li Wan Po & Zhang, 1998).

Was die drei Fälle gemeinsam haben

Jedes Mal beschreiben dieselben Daten einmal eine winzige und einmal eine große Zahl, weil beide verschiedene Fragen beantworten. Ein r sagt, wie viel von den Unterschieden zwischen Menschen sich vorhersagen lässt. Ob eine Behandlung sich lohnt, hängt dagegen daran, was sie bei den Behandelten bewirkt. Beides fällt weit auseinander, wenn ein Ereignis selten ist, wenn viele andere Ursachen mitwirken oder wenn schon die Vergleichsgruppe etwas bekommt, das hilft. Deshalb gehört zu jeder Effektstärke die Rückfrage: verglichen womit, gemessen woran, gemittelt worüber?

Für den r-Wert selbst gibt es eine grobe Übersetzung. Eine gängige Faustrechnung macht daraus Erfolgsquoten: 50 % plus und minus die Hälfte des Werts, bei r = 0,14 also rund 57 gegenüber 43 von 100 - etwa 14 Menschen je 100 mehr, denen es deutlich besser geht (Rosenthal, 1990). Verlässlich ist diese Rechnung nicht. Sie überschätzt tatsächliche Unterschiede regelmäßig, besonders wenn die Erfolgsquote weit von der Hälfte entfernt liegt (Hsu, 2004). Als Größenordnung taugt sie, als Zahl nicht.

Wenn es um viele Menschen geht

Warum sich kleine Effekte für eine Krankenkasse anders rechnen

Wer über eine Maßnahme entscheidet - eine Krankenkasse, ein Betrieb, eine Kommune -, stellt eine andere Frage als eine einzelne Person. Der Epidemiologe Geoffrey Rose hat diese beiden Fragen 1985 sauber getrennt. Die eine Strategie schützt die wenigen Menschen mit hohem Risiko. Die andere setzt am Durchschnitt der gesamten Bevölkerung an und verschiebt die ganze Verteilung ein Stück. Beide Wege stehen selten in Konkurrenz, so Rose, aber sie beantworten verschiedene Fragen (Rose, 1985). Die zweite bringt der einzelnen Person wenig - Rose nennt das das Präventions-Paradox: „Eine vorbeugende Maßnahme, die der Bevölkerung viel Nutzen bringt, bietet jeder einzelnen beteiligten Person wenig“ (Rose, 1985, S. 38).

Wie weit die beiden Antworten auseinandergehen, lässt sich an einer einzelnen, sehr großen Untersuchung zeigen. Sie steht hier als Beispiel für die Rechnung, nicht als Beleg dafür, wie gut Aspirin vorbeugt - das ist eine eigene Frage mit eigener Literatur. 22.071 Ärzte - ausnahmslos Männer - nahmen im Mittel gut fünf Jahre lang entweder Aspirin oder ein Scheinmedikament. Es ging um Vorbeugung, nicht um die Zeit nach einem Infarkt. In der Aspirin-Gruppe traten 254,8 Herzinfarkte je 100.000 Personen und Jahr auf, in der Vergleichsgruppe 439,7 - ein Rückgang um 44 % (Steering Committee of the Physicians’ Health Study Research Group, 1989). Auf die Gruppe gerechnet sind das rund 185 verhinderte Infarkte je 100.000 Menschen und Jahr, über die Studiendauer also etwa ein verhinderter Infarkt je 110 Teilnehmer. Der Aspirin-Teil der Untersuchung wurde vorzeitig beendet: Am 18. Dezember 1987 entschied das Gremium, es sei nicht mehr vertretbar, der Hälfte der Ärzte weiter ein Scheinmedikament zu geben.

Für die einzelne Person ist derselbe Zusammenhang winzig. Der Psychologe Robert Rosenthal hat ihn am Zwischenbericht dieser Studie nachgerechnet, in einem Kommentar für den American Psychologist. Er kam auf r = 0,034. Quadriert man diesen Wert, wie es lange üblich war, beginnt das Ergebnis mit 0,00. Dahinter stehen 104 Herzinfarkte unter 11.037 Ärzten mit Aspirin gegenüber 189 unter 11.034 mit Scheinmedikament, also 0,94 gegenüber 1,71 von 100 (Rosenthal, 1990). In der Tabelle, aus der die Balken oben stammen, steht dieselbe Studie mit r = 0,02 - dort allerdings für den Tod durch Herzinfarkt, ein noch selteneres Ereignis (Meyer et al., 2001). In die Abbildung ist sie nicht aufgenommen; beide Werte lägen dort ganz oben, bei den kürzesten Balken.

Rosenthal hat dieses Beispiel nicht aufgeschrieben, um Aspirin klein zu machen. Er wollte genau die Gewohnheit angreifen, kleine Kennzahlen durch Quadrieren verschwinden zu lassen: Das sei „traurig und ziemlich überflüssig“. Mit der Faustrechnung von oben führte er vor, wie wenig „bescheiden“ solche Werte sind - ein r von 0,32, der Psychotherapie-Wert aus der Abbildung, entspricht darin einer Erfolgsquote von 66 statt 34 von 100. Sein Fazit für die Psychologie: Wir stehen besser da, als wir dachten (Rosenthal, 1990). Das ist ein Argument, kein Messergebnis - aber eines, das sich an jeder Zeile der Abbildung oben nachrechnen lässt.

Rose rechnete dieselbe Logik für den Blutdruck durch. Läge die Blutdruckverteilung einer ganzen Bevölkerung um 10 mmHg niedriger, entspräche das nach den Daten der Framingham-Studie etwa 30 % weniger Sterbefällen, die dem Blutdruck zuzuschreiben sind (Rose, 1985, S. 37). Kein einzelner Mensch würde diese Verschiebung an sich bemerken. Genau das ist der Punkt: Eine Maßnahme kann sich für eine Bevölkerung lohnen und für die einzelne Person kaum spürbar sein - beides gleichzeitig, ohne Widerspruch.

Die Gegenprobe

Und wann ein kleiner Effekt einfach nichts wert ist

Diese Rechnung geht auch in die andere Richtung, und Rose hat sie selbst aufgeschrieben. Wenn jede einzelne Person nur eine kleine Aussicht auf Nutzen hat, kann schon ein kleines Risiko diesen Nutzen aufwiegen. Sein Beispiel ist eine große Studie der Weltgesundheitsorganisation zu einem cholesterinsenkenden Mittel, das nach dieser Auswertung mehr Menschen tötete, als es rettete - bei einer tödlichen Komplikationsrate von nur etwa einer je tausend Personen und Jahr. Solche kleinen Risiken, schreibt Rose, könnten für die Bilanz eines Massenprogramms entscheidend und trotzdem schwer bis unmöglich nachzuweisen sein. In seiner Liste der Nachteile des Bevölkerungsansatzes steht der geringe Nutzen für den Einzelnen an erster Stelle, gefolgt von schwacher Motivation bei Betroffenen wie Behandelnden und einem Nutzen-Risiko-Verhältnis, das Sorge bereite (Rose, 1985, S. 38).

Daraus folgt eine schlichte Prüfliste. Ein kleiner Effekt zählt, wenn viele Menschen erreicht werden, wenn er sich über die Zeit summiert, wenn Aufwand, Kosten und Risiko gering bleiben. Er zählt nicht, sobald eines dieser Stücke fehlt. Etwa wenn die Maßnahme teuer ist oder belastet. Wenn sie einmal wirkt, statt sich zu wiederholen. Wenn ihr Nutzen von einem gleich großen Risiko aufgehoben wird. Oder wenn die Zahl so unsicher geschätzt ist, dass unklar bleibt, ob es den Effekt überhaupt gibt. „Klein ist nicht nichts“ ist eine Möglichkeit, keine Regel. Ein kleiner Effekt kann auch schlicht belanglos sein, und dann ist es ehrlicher, das zu sagen, als ihn schönzurechnen.

Die Brücke zur Praxis

Was das für die Zahlen auf dieser Website heißt

In den Artikeln dieser Website stehen Wendungen wie „mittlere Effekte“, „ein kleiner bis mittlerer Effekt“ oder „moderat“. Gemeint ist damit genau das, was die erste Abbildung zeigt: ein messbarer Unterschied zwischen Gruppen, die einander weiterhin stark ähneln. Es heißt nicht, dass alle Teilnehmenden denselben Nutzen haben - ein Durchschnittswert sagt über den einzelnen Verlauf wenig. Und es heißt nicht, dass die Sache damit entschieden wäre: Wie gut eine Zahl belegt ist, ist eine eigene Frage, die in jedem Artikel im Abschnitt „Wie gut belegt ist das?“ gesondert beantwortet wird.

Zum Aufwand gehört bei einem MBSR-Kurs auch das Üben zu Hause. Eine Übersichtsarbeit fasste dazu 28 Studien mit 898 Teilnehmenden zusammen. Zwischen der berichteten Übungsmenge und dem Ergebnis fand sie einen Zusammenhang von r = 0,26 (95-%-Vertrauensbereich 0,19-0,34). Nach dem oben gezeigten Maßstab ist das ein üblicher bis leicht überdurchschnittlicher Wert für einen psychologischen Befund - und einer, der auf Selbstauskünften beruht (Parsons et al., 2017). Dieselbe Arbeit beziffert auch, wie viel tatsächlich geübt wird: im Mittel 64 % der vorgesehenen Menge, das entspricht etwa einer halben Stunde an sechs Tagen der Woche. Damit lässt sich rechnen: acht Wochen, eine halbe Stunde an sechs Tagen der Woche, für einen Unterschied dieser Größenordnung - lohnt sich das für die eigene Lage oder nicht? Wie viel eine Zahl wert ist, hängt nicht nur an ihrer Größe. Das Kapitel Wie man das alles liest nennt die übrigen Punkte.

Was eine Meta-Analyse anders macht Zum MBSR-Kurs

Einordnung

Wie gut belegt ist das?

Die Faustregeln selbst sind Gegenstand einer offenen Fachdiskussion. Cohens Werte gelten vielen inzwischen als zu streng. Funder und Ozer schlagen vor, ein r von 0,05 als „sehr klein“ einzustufen, 0,10 als „klein“, 0,20 als „mittel“ und 0,30 als „groß“, und halten Werte ab 0,40 in der psychologischen Forschung meist für überschätzt (Funder & Ozer, 2019). Gignac und Szodorai kommen auf 0,10, 0,20 und 0,30 (Gignac & Szodorai, 2016). Eine verbindliche Konvention gibt es nicht. Die Zahl selbst sagt deshalb mehr als das Wort daneben.

Zwei Vorbehalte zur ersten Abbildung. Die Überschneidungswerte gelten unter der Annahme, dass beide Gruppen glockenförmig verteilt sind und gleich stark streuen; trifft das nicht zu, verschieben sie sich. Und ein Durchschnittseffekt sagt nichts darüber, wie er sich verteilt: Derselbe Wert kann bedeuten, dass alle ein wenig profitieren - oder dass wenige stark profitieren und die übrigen gar nicht. Welche der beiden Möglichkeiten zutrifft, lässt sich aus einer Effektstärke allein nicht ablesen.

Auch der Satz, kleine Effekte summierten sich, braucht eine Einschränkung: Das tun sie nicht immer. Gewöhnung, Sättigung und körpereigene Regelkreise können dafür sorgen, dass eine wiederholte Einwirkung mit der Zeit schwächer statt stärker wirkt. Hinzu kommt ein praktisches Problem: Je kleiner ein Effekt, desto schwerer ist er zuverlässig zu bestimmen, und desto eher kann er auf einer Störgröße statt auf der untersuchten Sache beruhen. Um bei einem r von 0,05 den Wert Null aus dem Vertrauensbereich auszuschließen, braucht es rund 1.500 Personen (Funder & Ozer, 2019). Bei kleinen Zahlen ist die Frage „gibt es den Effekt überhaupt?“ deshalb wichtiger als die Frage, wie groß er ist.

Die Angabe „etwa ein verhinderter Infarkt je 110 Teilnehmer“ steht so nicht in der Aspirin-Studie. Sie ist aus den dort veröffentlichten Häufigkeiten und der mittleren Beobachtungszeit von 60,2 Monaten hochgerechnet und bleibt eine Näherung.

Zurück zu Wissen & Studien

Das passt dazu

Forschung verstehen

Wie groß ist ein „mittlerer Effekt“?