Signifikanter Zusammenhang in der Forschung: was er bedeutet und wie man ihn testet
Zwei Vergleiche, mit jedem Rechenschritt durchgerechnet, und der Satz, den Sie schreiben, wenn Sie das Ergebnis berichten.
Ein signifikanter Zusammenhang bedeutet, dass das gemessene Muster selten auftreten würde, wenn die beiden Variablen in der Grundgesamtheit, aus der Sie Ihre Stichprobe gezogen haben, nichts miteinander zu tun hätten. Es ist eine Aussage über Ihre Daten unter einer Annahme. Es ist nie eine Aussage darüber, wie wahrscheinlich die Annahme ist.
Über die 109 Vorlagen unserer eigenen Umfragebibliothek hinweg geben längere Vorlagen offenen Antworten einen kleineren Anteil ihrer Fragen: r = -0,37. Eine Korrelation, die mindestens so weit von null entfernt ist, würde etwa einmal in 13.000 Stichproben auftreten, wenn die wahre Korrelation null wäre – null ist also eine schlechte Erklärung für unseren Befund.
SuperSurvey-Fragenkorpus, 109 aktive Vorlagen und 1.422 Fragen, ausgelesen am 11. September 2026.
Sie vergleichen zwei Prozentwerte? Direkt zum Rechner für zwei Anteile.
Was ein signifikanter Zusammenhang in der Forschung bedeutet
Die Richtung der Bedingung ist alles, und genau diesen Teil drehen die meisten Texte falsch herum.
Beginnen Sie mit der Behauptung, gegen die Sie argumentieren. Sie ist immer die langweilige: In der Grundgesamtheit haben diese beiden Variablen nichts miteinander zu tun. Messen Sie nun den Zusammenhang in Ihrer Stichprobe und stellen Sie eine einzige Frage: Wenn die langweilige Behauptung stimmte, wie oft würde eine Stichprobe dieser Größe allein durch Zufall einen mindestens so starken Zusammenhang hervorbringen? Diese Zahl ist der p-Wert. Klein heißt, dass Zufall eine schlechte Erklärung ist.
Was Sie nicht tun dürfen, ist den Satz umzudrehen. Der Test sagt Ihnen nie, wie wahrscheinlich es ist, dass die Variablen zusammenhängen, denn er hat alles unter der Annahme berechnet, dass sie es nicht tun. Die frühere Fassung dieser Seite sagte, ein signifikanter Zusammenhang bedeute, dass die Korrelation „in der Grundgesamtheit wahrscheinlich nicht null ist“. Das liest sich gut und ist falsch. Die beobachtete Korrelation ist unwahrscheinlich, wenn die Korrelation in der Grundgesamtheit null ist. Dieselben Wörter, umgekehrte Richtung, und nur eine der beiden Aussagen können Ihre Daten stützen.
„Vorlagenlänge und Anteil offener Fragen korrelierten negativ, r = -0,37, n = 109, p = 7,5 x 10^-5. Längere Vorlagen widmeten einen kleineren Anteil ihrer Fragen offenen Antworten.“
Schätzwert, Stichprobengröße, p-Wert, dann ein schlichter Satz, was sich mit was bewegt hat. Kein Urteilswort, kein kausales Verb, kein Adjektiv, das mehr behauptet, als die Zahl stützt.
Drei Dinge, die der Ausdruck nicht transportiert, so oft er auch so gelesen wird:
- Keine Stärke. Signifikanz beantwortet, ob sich der Zusammenhang von nichts unterscheiden lässt. Wie groß er ist, ergibt sich aus r selbst oder aus einer Steigung. Mit genug Beantwortungen ist ein r von 0,05 signifikant und trotzdem fast nichts wert.
- Keine Ursache. Dass sich zwei Variablen gemeinsam bewegen, sagt nichts darüber, welche die andere bewegt oder ob eine dritte beide bewegt. Das ist eine Frage des Designs, geklärt durch den Aufbau der Studie, und keine Teststatistik kann sie hinterher beantworten.
- Keine Wahrheit. Ein p-Wert wird innerhalb eines Modells berechnet, das annimmt, Ihre Stichprobe sei das, was sie vorgibt. Haben die falschen Personen geantwortet, ist die Rechnung trotzdem perfekt und die Schlussfolgerung trotzdem falsch.
Eine signifikante Korrelation zwischen zwei Variablen testen
Pearsons r reicht von -1 bis +1 und misst, wie eng zwei Variablen einer Geraden folgen. Um zu prüfen, ob Ihr r mehr als Zufall ist, rechnen Sie es in eine t-Statistik um:
t = r x sqrt(n - 2) / sqrt(1 - r^2), abgelesen an der t-Verteilung mit n - 2 Freiheitsgraden.
Hier das Ganze an echten Daten. Bevor ich mir irgendetwas angesehen habe, habe ich eine Frage festgelegt: Hängt über die 109 aktiven Vorlagen unserer Bibliothek hinweg die Zahl der Fragen einer Vorlage mit dem Anteil offener Fragen darunter zusammen? Dann habe ich den Test genau einmal durchgeführt.
-
r bestimmen
r = -0,3701 über n = 109 Vorlagen. Für den Bericht gerundet: r = -0,37.
-
Die Freiheitsgrade bestimmen
n - 2 = 107. Also sqrt(107) = 10,3441.
-
Den Nenner bestimmen
r zum Quadrat ist 0,1369, also 1 - r^2 = 0,8631 und sqrt(0,8631) = 0,9290.
-
Dividieren
t = -0,37 x 10,3441 / 0,9290 = -4,1197, bei 107 Freiheitsgraden.
-
Den Randbereich ablesen
Ein t von 4,12 bei 107 Freiheitsgraden lässt 0,000075 der zweiseitigen Verteilung jenseits davon. Das ist p = 7,5 x 10^-5, also etwa eine von 13.000 Stichproben.
Berichten Sie das Intervall mit. Nach Fishers Transformation reicht das 95-Prozent-Intervall für r von -0,52 bis -0,20. Das ist die ehrliche Zusammenfassung: ein negativer Zusammenhang, irgendwo zwischen schwach und mittel, und die Daten können ihn nicht enger eingrenzen. Was ein solcher Koeffizient stützen kann und was nicht und wie man eine Studie darauf aufbaut, behandeln wir ausführlich dort, wo wir eine Korrelation in Umfragen interpretieren.
Tauschen Sie die Zielgröße vom Anteil offener Fragen gegen ihre Anzahl, und das Ergebnis kehrt sich um: r = 0,07, t = 0,77 bei 107 Freiheitsgraden, p = 0,44. Überhaupt nichts Signifikantes.
Beide Ergebnisse stimmen. Vorlagen mit 4 bis 9 Fragen enthalten im Schnitt 2,1 offene Items und Vorlagen mit 16 bis 36 Fragen 2,3; die Anzahl bewegt sich also kaum, während der Anteil mechanisch sinkt, weil der Nenner wächst. Deshalb legen Sie die Variable fest, bevor Sie den Test durchführen. Hätte ich beides ausprobiert und das spannendere Ergebnis berichtet, hätte ich aus einer Definition einen Befund fabriziert.
Das Ergebnis zum Anteil hält auch der Prüfung stand, ob eine einzelne Vorlage es verzerrt: Auf Rängen statt Werten beträgt Spearmans Rho -0,44 mit p = 1,6 x 10^-6, und das Ergebnis zur Anzahl bleibt flach bei Rho = -0,03. Pearsons r setzt einen linearen Zusammenhang, unabhängige Paare und keinen einzelnen Punkt voraus, der weit genug außen liegt, um die Gerade allein zu verbiegen. Prüfen Sie das Streudiagramm, bevor Sie dem Koeffizienten trauen. Wollen Sie die Größe des Effekts statt eines Ja oder Nein, passen Sie eine Steigung an und schätzen Sie den Zusammenhang in echten Einheiten: so und so viele offene Fragen weniger je zusätzlicher Frage, statt eines bloßen r.
Signifikanter Unterschied vs. signifikanter Zusammenhang
Das sind die beiden Formen, in denen fast jede Umfragefrage auftritt, und sie werden unterschiedlich getestet. Ein Unterschied vergleicht Gruppen bei einer Zielgröße. Ein Zusammenhang fragt, ob sich zwei Messungen gemeinsam bewegen.
| Signifikanter Unterschied | Signifikanter Zusammenhang | |
|---|---|---|
| Die Frage | Unterscheiden sich diese Gruppen bei dieser Zielgröße? | Bewegen sich diese beiden Messungen gemeinsam? |
| Ihre Daten | Eine Gruppierungsvariable, eine Zielgröße | Zwei Messungen an denselben Personen |
| Die getestete langweilige Behauptung | Die Mittelwerte oder Anteile der Gruppen sind in der Grundgesamtheit gleich | Die Korrelation in der Grundgesamtheit ist null |
| Wofür p die Wahrscheinlichkeit ist | Ein mindestens so großer Unterschied, wenn die Gruppen wirklich gleich sind | Eine mindestens so weit von null entfernte Korrelation, wenn sie wirklich null ist |
| Üblicher Test | Z-Test für zwei Anteile, t-Test, ANOVA, Chi-Quadrat | Pearsons r, Spearmans Rho, eine Regressionssteigung |
| Zu veröffentlichende Effektgröße | Der Unterschied in Punkten, mit seinem Intervall | r, mit seinem Intervall |
| Beispiel aus einer Umfrage | E-Mail-Einladungen erzielten 52,0 % in der obersten Kategorie, In-App 45,0 % | Die Vorlagenlänge hängt mit dem Anteil offener Fragen zusammen, r = -0,37 |
Beide sind Hypothesentests, beide liefern einen p-Wert, und beide werden gleich gelesen. Austauschbar sind sie nicht: Ein Unterschied zwischen Gruppen ist keine Korrelation, und das eine als das andere zu berichten, ist ein verbreiteter Weg, einen Befund zu übertreiben. Beide lassen sich auf quantitative Umfragedaten anwenden.
Ist der Unterschied zwischen zwei Gruppen signifikant?
Angenommen, ein Support-Team verschickt nach jedem Ticket dieselbe Umfrage mit einer Frage, über zwei Arten von Einladung. Von den 400 Personen, die nach einer E-Mail-Einladung geantwortet haben, wählten 208 die oberste Kategorie. Von den 420, die nach einem In-App-Hinweis geantwortet haben, waren es 189. Das sind 52,0 Prozent gegenüber 45,0 Prozent, ein Unterschied von 7,0 Punkten. Ist das mehr, als die Stichprobenschwankung bei diesen Größen allein erzeugen würde?
Da die Zielgröße ein Anteil und kein Mittelwert ist, ist der Test der Z-Test für zwei Anteile. Fassen Sie die beiden Gruppen zusammen, um die Quote zu schätzen, die Sie erwarten würden, wenn die Art der Einladung keinen Unterschied machte, berechnen Sie, wie stark ein solcher Unterschied bei diesen Stichprobengrößen schwankt, und dividieren Sie.
-
Die beiden Gruppen zusammenfassen
(208 + 189) / (400 + 420) = 397 / 820 = 0.4841.
-
Den Standardfehler bilden
0,4841 x 0,5159 = 0,2497. 1/400 + 1/420 = 0,004881. Multiplizieren: 0,00121901. Quadratwurzel: 0,03491.
-
Den Unterschied dadurch teilen
z = 0,07 / 0,03491 = 2,0049. Behalten Sie die Nachkommastellen. Teilen Sie stattdessen durch den gerundeten Standardfehler von 0,0349, ergibt sich z = 2,0057, gedruckt als 2,01, mit einem Randbereich von 0,0444. Das ist die 0,044, die diese Seite jahrelang veröffentlicht hat, und sie liegt um einen Rundungsschritt daneben, nicht um eine Dezimalstelle.
-
Den Randbereich ablesen
Eine Standardnormalverteilung hat in beiden Randbereichen zusammen 0,04497 ihrer Masse jenseits von 2,0049. Also p = 0,045. Unter 0,05, also ist der Unterschied auf dem 5-Prozent-Niveau signifikant, mit sehr wenig Spielraum.
Der Z-Test nähert eine Zählung mit einer Normalverteilung an, und diese Näherung braucht genug Personen in jeder Zelle. Multiplizieren Sie jede Gruppengröße mit der gemeinsamen Quote und mit eins minus der gemeinsamen Quote: 193,7, 206,3, 203,3 und 216,7. Alle vier müssen mindestens 5 betragen. Hier ist der kleinste Wert 193,7, die Näherung ist also sicher. Unter 5 verwenden Sie stattdessen einen exakten Test, weil der p-Wert sonst nicht mehr bedeutet, was er sagt.
Rechnen Sie dieselben Zahlen als Chi-Quadrat-Unabhängigkeitstest auf der Vierfeldertafel, erhalten Sie genau dasselbe Ergebnis: Chi-Quadrat ist z zum Quadrat, 4,0197 bei einem Freiheitsgrad, p = 0,04497. Es ist derselbe Test in zwei Schreibweisen, daher stehen ein signifikantes Chi-Quadrat auf einer Vierfeldertafel und ein signifikanter Z-Test nie im Widerspruch.
Der Unterschied blieb gleich, als wir die Stichprobengröße änderten. Das Urteil nicht. Bei einem Viertel der Beantwortungen, 52 von 100 gegenüber 45 von 100 bei denselben 7,0 Punkten, sinkt z auf 0,9904 und p steigt auf 0,32. An den Einladungen hat sich nichts geändert. Nur die Beweislage – deshalb planen Sie die Zahl der Beantwortungen vor der Feldphase und nicht danach.
Derselbe Unterschied von sieben Punkten, getestet bei vier Stichprobengrößen
p-Wert, zweiseitig. Alles unter 0,05 gilt auf dem 5-Prozent-Niveau als signifikant.
Liegt der Vergleich noch vor Ihnen, entscheidet sich hier alles. Erstellen Sie eine Umfrage zum Vergleich von Gruppen und legen Sie die Größe jeder Gruppe anhand des kleinsten Unterschieds fest, den Sie erkennen müssen. Ein Vergleich, der bei der Durchführung zu klein war, bleibt zu klein; eine größere Folgestudie ist eine neue Studie mit eigenem p-Wert, keine Reparatur dieser.
Signifikanzrechner für zwei Anteile
Ihre eigenen Zahlen, dieselbe Rechnung. Geben Sie ein, wie viele Personen in jeder Gruppe geantwortet haben und wie viele die Antwort gewählt haben, die Sie verfolgen. Das Ergebnis aktualisiert sich während der Eingabe.
Zwei Prozentwerte vergleichen
Zwei Verfahren, beide in der Ausgabe benannt: ein Z-Test für zwei Anteile mit gemeinsamem Standardfehler für das Urteil und ein Wald-Intervall mit getrennten Standardfehlern für die Größe. Das ist die übliche Kombination, und weil sich die beiden Fehler unterscheiden, können sie nahe der Schwelle verschiedene Ergebnisse liefern; der Rechner weist darauf hin, wann immer das passiert. Das Niveau des Intervalls folgt dem gewählten Signifikanzniveau, Alpha = 0,05 ergibt also ein 95-Prozent-Intervall, und die Beschriftung nennt das Niveau jedes Mal.
Er zeigt die kleinste erwartete Häufigkeit an, damit Sie sehen, wann die Normalapproximation nicht mehr sicher ist. Eine beobachtete Teststärke gibt er nicht aus: Die Post-hoc-Teststärke ist eine feste Funktion des p-Werts und fügt dem, was Sie ohnehin sehen, nichts hinzu.
Ein Konfidenzintervall für den Unterschied zwischen zwei Gruppen
Der p-Wert beantwortet eine Ja-Nein-Frage, die niemand gestellt hat. Das Intervall beantwortet die, die tatsächlich gestellt wurde: Wie groß ist der Unterschied?
Ein Konfidenzintervall ist ein Bereich, der so gebildet wird, dass bei vielfacher Wiederholung des gesamten Vorgangs 95 Prozent der so gebildeten Intervalle den wahren Wert enthalten würden. Es ist eine Eigenschaft des Verfahrens, keine Wahrscheinlichkeit, die an dem einen Intervall vor Ihnen hängt. Lockeres Gerede von „95 Prozent Wahrscheinlichkeit, dass die Wahrheit hier drin liegt“ ist dieselbe Umkehrung, die p-Werte falsch auslegt.
Für einen Unterschied zwischen zwei Anteilen wird der Standardfehler aus jeder Gruppe einzeln gebildet statt gemeinsam, weil Sie jetzt den Unterschied schätzen, statt zu testen, ob er null ist:
-
Standardfehler des Unterschieds
0,52 x 0,48 / 400 = 0,00062400. 0,45 x 0,55 / 420 = 0,00058929. Addieren und die Quadratwurzel ziehen: 0,03483, also 3,483 Prozentpunkte.
-
Mit dem kritischen Wert multiplizieren
Für 95 Prozent ist das 1,9600, nicht 2. Auf 2 aufzurunden, zieht die Untergrenze von 0,2 auf 0,0 herunter – der Unterschied zwischen einem Intervall, das null ausschließt, und einem, das null zu berühren scheint. 1,9600 x 3,483 = 6,827 Punkte.
-
Zu beiden Seiten des Schätzwerts auftragen
7,0 plus/minus 6,827 ergibt 0,2 bis 13,8 Prozentpunkte.
Lesen Sie nun, was das tatsächlich aussagt. Die E-Mail-Einladung liegt vorn, und die Daten sind mit einem Vorsprung von einem Fünftelpunkt bis fast vierzehn Punkten vereinbar. Ein Befund „signifikant bei 0,05“ hat all das verborgen. Würde ein Unterschied von zwei Punkten das Handeln des Teams ändern, hat diese Studie die Frage nicht beantwortet, und der p-Wert gab keinen Hinweis darauf.
Die beiden Lesarten stimmen meist überein, und es lohnt sich, genau zu sein, warum sie es nicht müssen. Der Z-Test oben hat durch den gemeinsamen Standardfehler geteilt, 0,03491, weil er unter der Hypothese berechnet wurde, dass beide Gruppen dieselbe Quote haben. Dieses Intervall hat den getrennten verwendet, 0,03483, weil es den Unterschied ohne diese Annahme schätzt. Ein Test und ein Intervall stimmen nur dann exakt überein, wenn sie auf derselben Konstruktion beruhen: ein Intervall, das durch Umkehrung des gemeinsamen Tests entsteht, oder ein Test auf Basis des getrennten Fehlers. Die übliche Kombination ist zweimal eine Näherung daran, und nahe der Schwelle können sie auseinanderfallen.
Nehmen Sie 5 von 20 gegenüber 11 von 20: Der gemeinsame Test ergibt z = -1,9365 und p = 0,0528, nicht signifikant bei 0,05, während das getrennte 95-Prozent-Intervall von -58,9 bis -1,1 Punkten reicht und null ausschließt. Beide sind für ihr eigenes Verfahren korrekt; das Ergebnis ist grenzwertig und sollte mit beiden Zahlen berichtet werden. Zur Veröffentlichung eignet sich das Intervall trotzdem besser, weil es die Größe ebenso transportiert wie das Urteil, und das Urteil allein transportiert keins von beiden.
Der Schätzwert bewegt sich nie. Das Intervall darum schon
Prozentpunkte. Intervall aus dem getrennten Standardfehler des Unterschieds.
Was der p-Wert über die Nullhypothese aussagt
Die langweilige Behauptung hat einen Namen: die Nullhypothese, H0. Der p-Wert ist die Wahrscheinlichkeit, eine Teststatistik zu erhalten, die mindestens so extrem ist wie Ihre, wenn H0 zutrifft. Alles andere, was darüber gesagt wird, ist entweder eine Abkürzung oder ein Fehler.
Der Fehler ist immer derselbe, und es lohnt sich, ihn genau zu benennen. p ist die Wahrscheinlichkeit der Daten unter der Hypothese. Herausgelesen wird daraus die Wahrscheinlichkeit der Hypothese angesichts der Daten. Das sind verschiedene Größen, und die zweite lässt sich aus einem p-Wert überhaupt nicht berechnen: Dafür müsste man wissen, wie plausibel die Hypothese war, bevor Sie irgendetwas erhoben haben. Die American Statistical Association hat dies 2016 zum zweiten ihrer sechs Grundsätze gemacht: Ein p-Wert misst weder die Wahrscheinlichkeit, dass die untersuchte Hypothese zutrifft, noch die Wahrscheinlichkeit, dass die Daten allein durch Zufall entstanden sind. 4
p = 0,045 im Einladungsbeispiel bedeutet also weder eine Wahrscheinlichkeit von 4,5 Prozent, dass die Einladungen gleichwertig sind, noch eine Wahrscheinlichkeit von 95,5 Prozent, dass sich das Ergebnis replizieren lässt. Eine Replikation hängt vom wahren Effekt und von der Größe der nächsten Studie ab, und beides steckt nicht in der Zahl.5
Alpha und das Signifikanzniveau
Alpha ist die Schwelle, auf die Sie sich festlegen, bevor die Daten eintreffen. Setzen Sie Alpha = 0,05, haben Sie gesagt: Wenn die Nullhypothese stimmt, akzeptiere ich eine Wahrscheinlichkeit von 5 Prozent, ein Ergebnis trotzdem als signifikant zu bezeichnen. Führen Sie zwanzig solcher Tests auf reinem Rauschen durch, kommt etwa einer signifikant heraus – nicht aus Versehen, sondern konstruktionsbedingt.
Nichts macht 0,05 richtig. Es ist eine Konvention, die sich verfestigt hat, nachdem Fisher den Wert als grobe Orientierung verwendet hatte, und der Zielkonflikt ist klar: Ein niedrigeres Alpha bringt weniger Fehlalarme und kostet Sie echte Effekte, die Sie dann übersehen. Wählen Sie es nach den Kosten eines Irrtums in jeder Richtung, schreiben Sie es vorher auf und verschieben Sie es nicht, wenn Sie den p-Wert gesehen haben.
Einseitige und zweiseitige Tests
Ein zweiseitiger Test fragt, ob sich die Gruppen überhaupt unterscheiden, und zählt extreme Ergebnisse auf beiden Seiten. Ein einseitiger Test fragt, ob eine bestimmte Gruppe höher liegt, und zählt nur diese Seite.
Üblicherweise heißt es, ein einseitiger p-Wert sei halb so groß wie der zweiseitige. Das gilt nur, wenn der Effekt tatsächlich in die vorhergesagte Richtung geht. Unser Beispiel hatte einen zweiseitigen p-Wert von 0,04497. Hätten Sie vorher vorhergesagt, dass E-Mail besser abschneidet als In-App – die Richtung, in die es ging –, wäre der einseitige p-Wert 0,02249. Hätten Sie vorhergesagt, dass In-App gewinnt, ist der einseitige p-Wert nicht 0,02249. Er ist 1 minus diesen Wert, 0,9775, weil fast die gesamte Verteilung auf der Seite liegt, die Sie behauptet haben. Halbieren ist ein Sonderfall, keine Regel.
Wählen Sie einseitig nur, wenn ein Unterschied in die andere Richtung Ihre Entscheidung wirklich nicht ändern würde, und nur, bevor Sie hinsehen. Nach einem zweiseitigen p von 0,08 auf einseitig umzuschalten, ist der älteste Trick überhaupt, und er verdoppelt Ihre Rate falsch positiver Ergebnisse in der Richtung, die Ihnen gerade gefällt.
Welchen statistischen Test sollte ich für zwei Gruppen verwenden?
Wählen Sie nach der Form der Zielgröße und prüfen Sie dann die Voraussetzungen, bevor Sie dem p-Wert glauben. Die Voraussetzungen sind kein Papierkram: Jede davon ist eine Annahme, die die Rechnung stillschweigend trifft.
| Ihre Zielgröße | Vergleich | Test | Voraussetzungen |
|---|---|---|---|
| Ein Anteil, etwa der Prozentsatz in der obersten Kategorie | Zwei Gruppen | Z-Test für zwei Anteile | Unabhängige Beantwortungen. Jede erwartete Häufigkeit mindestens 5: n x p-gemeinsam und n x (1 - p-gemeinsam), in beiden Gruppen |
| Ein Anteil | Zwei Gruppen, kleine Häufigkeiten | Exakter Test nach Fisher | Unabhängige Beantwortungen. Verwenden Sie ihn, wann immer die erwarteten Häufigkeiten des Z-Tests unter 5 fallen |
| Ein Mittelwert | Zwei Gruppen | t-Test für zwei Stichproben, Welch-Variante | Unabhängige Beantwortungen, keine extreme Schiefe, etwa 30 oder mehr je Gruppe. Welch setzt keine gleiche Streuung voraus, daher ist er vorzuziehen |
| Ein Mittelwert | Dieselben Personen zweimal | t-Test für gepaarte Stichproben | Paare unabhängig voneinander, Differenzen annähernd symmetrisch. Die Paarung ist der Kern: Führen Sie nicht den ungepaarten Test durch |
| Ein Mittelwert | Drei oder mehr Gruppen | ANOVA, dann korrigierte Folgevergleiche | Unabhängige Beantwortungen, ähnliche Streuung in den Gruppen, keine extreme Schiefe. Korrigieren Sie die Folgevergleiche |
| Zwei kategoriale Antworten | Zusammenhang | Chi-Quadrat-Unabhängigkeitstest | Unabhängige Beantwortungen. Erwartete Häufigkeit von mindestens 5 in den meisten Zellen und keine Zelle mit einer erwarteten Häufigkeit unter eins6 |
| Zwei Messungen | Zusammenhang | Pearsons r mit einem t-Test | Unabhängige Paare, ein linearer Zusammenhang, kein einzelner Punkt, der die Gerade verbiegt |
| Zwei Messungen, ordinal oder schief | Zusammenhang | Spearmans Rho | Unabhängige Paare. Bringt die Werte zuerst in eine Rangfolge, braucht also nur eine gleichbleibende Richtung |
Eine Voraussetzung steht über allen anderen, und kein Test prüft sie: Die Beantwortungen müssen von den Personen stammen, die Sie fragen wollten. Ein winziger p-Wert aus einer schiefen Stichprobe ist eine präzise Antwort auf die falsche Frage – das ist der praktische Preis der Antwortverzerrung.
Statistische Signifikanz bedeutet keine praktische Bedeutsamkeit
Signifikanz sagt Ihnen, dass ein Effekt bei Ihrer Stichprobengröße erkennbar ist. Sie sagt nichts darüber, ob es sich lohnt, auf den Effekt zu reagieren, und mit genug Beantwortungen fallen beide völlig auseinander.
Nehmen Sie eine Bewegung um einen Punkt: Die oberste Kategorie steigt zwischen zwei Erhebungswellen von 51,0 Prozent auf 52,0 Prozent. Bei 400 Beantwortungen je Welle ist p = 0,777, und niemand misst dem eine Bedeutung bei. Signifikant bei 0,05 wird die Bewegung, sobald jede Welle etwa 19.191 Beantwortungen umfasst: Genau bei dieser Größe ist p = 0,0500. Der Punkt ist nicht wichtiger geworden. Sie haben sich nur genug Genauigkeit erkauft, um ihn zu sehen.
Veröffentlichen Sie daher die Größe neben dem Urteil. Für den Einladungsvergleich sind das 7,0 Prozentpunkte, Intervall 0,2 bis 13,8. Wollen Sie eine standardisierte Kennzahl: Cohens h für 52,0 Prozent gegenüber 45,0 Prozent beträgt 0,14 und liegt damit unter den 0,2, die Cohen als klein bezeichnete.7 Ein erkennbarer Unterschied, und ein kleiner.
Schreiben Sie vor der Feldphase den kleinsten Unterschied auf, der Ihr Handeln ändern würde. Drei Punkte? Fünf? Dann hat die Auswertung etwas zu beantworten. Ohne das sieht jedes signifikante Ergebnis wie ein Grund zum Handeln aus und jedes nicht signifikante wie ein Grund zum Abwarten – und das ist kein Entscheidungsprozess.
Zwei Umfragen im Abstand von sechs Monaten lieferten unterschiedliche Ergebnisse
So erreicht die Frage ein Umfrageteam am häufigsten, und zuerst zu einem Signifikanztest zu greifen, ist der falsche Schritt. Ein Test nimmt an, dass sich die beiden Stichproben nur durch Zufall unterscheiden. Zwischen zwei Erhebungswellen unterscheiden sie sich meist durch einiges mehr.
Prüfen Sie diese Punkte, bevor Sie irgendetwas berechnen. War die Frage identisch formuliert, mit denselben Skalenbeschriftungen in derselben Reihenfolge? Liefen beide Wellen gleich lange, an denselben Tagen? Haben dieselben Arten von Personen geantwortet, oder ging eine Welle über einen Kanal hinaus, der ein anderes Publikum erreicht? Fiel eine Welle in eine Phase, die das Unternehmen selbst durcheinandergebracht hat? Jeder dieser Punkte erzeugt einen Unterschied, den kein Test als Zufall markiert und der nichts mit dem zu tun hat, was Sie messen.
Ist der Vergleich wirklich gleichwertig, ergibt sich der Test aus dem, was Sie vergleichen, und bei Umfragen ist das meist ein Anteil. Von den 1.422 Fragen in unserer Vorlagenbibliothek sind 45,3 Prozent Bewertungs-Items, und 98,9 Prozent davon bieten fünf Stufen. Die naheliegende Zusammenfassung eines fünfstufigen Items ist der Anteil, der die oberste oder die beiden obersten Kategorien wählt; daher ist der Z-Test für zwei Anteile oben das Arbeitspferd, nicht der t-Test. Den Mittelwert einer Fünferskala zu bilden, behandelt den Schritt von 4 auf 5 als gleich groß wie den von 1 auf 2, was niemand belegt hat.
Quelle: SuperSurvey-Fragenkorpus, 109 aktive Vorlagen und 1.422 Fragen, ausgelesen am 11. September 2026.
Zwei weitere Gewohnheiten, die sich lohnen. Legen Sie fest, welche Vergleiche Sie durchführen, bevor die Daten eintreffen, denn die Rate falsch positiver Ergebnisse steigt mit der Zahl der Tests, nicht mit der Zahl der berichteten. Und nehmen Sie die Stichprobe ernst: Wer geantwortet hat, zählt mehr als wie viele – genau dafür gibt es Stichprobenverfahren. Der übrige Bereich „Anleitungen und Hilfe“ behandelt die Entscheidungen davor und danach.
Häufig gestellte Fragen
Ein signifikanter Chi-Quadrat-Wert bedeutet, dass der Unterschied wahrscheinlich nicht auf Zufall beruht. Richtig oder falsch?
So formuliert falsch, auch wenn die meisten Kurse es als richtig werten. Die Chi-Quadrat-Statistik misst, wie weit die beobachteten Häufigkeiten von den Häufigkeiten entfernt sind, die Sie bei Unabhängigkeit erwarten würden, und ihr p-Wert gibt an, wie oft ein so großer Abstand auftritt, wenn die Variablen unabhängig sind. „Wahrscheinlich nicht auf Zufall beruhend“ hängt eine Wahrscheinlichkeit an die Erklärung statt an die Daten – genau der eine Schritt, den der Test nicht leisten kann. Will das Bewertungsschema „richtig“, behandelt es den Satz als lockere Abkürzung für die korrekte Fassung.
Ist ein Ergebnis signifikant, wenn die Wahrscheinlichkeit, dass es auf Zufall beruht, unter 5 Prozent liegt?
Wenn p bei 0,06 liegt, gibt es dann einen Trend zur Signifikanz?
Nein. Es gibt keinen Trend und keine Teilpunkte. Eine vorab festgelegte Schwelle wurde nicht erreicht, und 0,06 ist so wenig ein Trend, wie 0,04 ein Beweis ist. Ehrlich sagen können Sie, dass das Intervall null noch einschließt, und dann das Intervall angeben, damit Lesende sehen, wie viel Spielraum auf beiden Seiten bleibt.
Ab wie vielen Vergleichen schützt mich ein Alpha von 0,05 nicht mehr?
Schneller, als man denkt. Zwölf unabhängige Tests auf Daten ohne jeden Effekt ergeben eine Wahrscheinlichkeit von 46 Prozent für mindestens einen Treffer, aus 1 minus 0,95 hoch zwölf. Bei zwanzig Tests sind es 64 Prozent. Eine Zielgröße nach sechs Segmenten zu kreuztabellieren, ergibt bereits fünfzehn paarweise Vergleiche. Benennen Sie die wenigen, die Sie geplant hatten, und kennzeichnen Sie alles andere als explorativ, statt stillschweigend die Überlebenden zu berichten.
Kann ich einen Signifikanztest auf eine fünfstufige Bewertungsfrage anwenden?
Ja, wenn Sie eine Zusammenfassung wählen, die die Skala tragen kann. Der Vergleich des Anteils, der die oberste oder die beiden obersten Kategorien gewählt hat, nutzt nur die Reihenfolge der Optionen und geht direkt in einen Test für zwei Anteile. Der Vergleich von Mittelwerten setzt voraus, dass die Abstände zwischen den Stufen gleich sind – eine zusätzliche Annahme, die die meisten Teams treffen, ohne es zu merken. Wollen Sie die ganze Verteilung statt eines Top-Box-Schnitts, vermeidet ein Mann-Whitney-Test auf Rängen diese Annahme vollständig.
Macht eine größere Stichprobe mein Ergebnis wahrscheinlicher richtig?
Genauer, nicht richtiger. Zusätzliche Beantwortungen verkleinern den Zufallsfehler, sodass sich das Intervall um das verengt, was Ihre Stichprobe misst. Ist diese Stichprobe in eine Richtung verzerrt, zieht mehr davon die Schätzung nur enger um die falsche Zahl, und der p-Wert wird dabei kleiner. Menge verkleinert den Zufallsfehler. An der Frage, wer sich zum Antworten entschieden hat, ändert sie überhaupt nichts.
Ein Bericht nennt t = 2,000 mit df = 20 und p größer als 0,05. Sollte die Nullhypothese verworfen werden?
Nach dem üblichen Maßstab nein. Der exakte zweiseitige Wert für t = 2,000 bei 20 Freiheitsgraden ist 0,0593, knapp über der Schwelle, und 2,086 hätten Sie gebraucht. Die Freiheitsgrade sind für alle, die die Studie lesen, wichtig, weil sie diese Latte setzen: Dasselbe t von 2,000 ergibt p = 0,0734 bei 10 Freiheitsgraden und p = 0,0482 bei 100. Nur der letzte Wert liegt unter 0,05, und die Statistik hat sich nicht bewegt.
Methodik und Grenzen
Jede Zahl auf dieser Seite wird in der Datei berechnet, die die Seite erzeugt, nicht eingetippt, und der Build verweigert die Ausführung, wenn sich eine davon ändert. Randwahrscheinlichkeiten stammen aus der unvollständigen Gamma- und der unvollständigen Betafunktion in doppelter Genauigkeit, geprüft gegen geschlossene Formen, wo es eine gibt: die Cauchy-Form für eine t-Verteilung mit einem Freiheitsgrad, die algebraischen Formen bei zwei und vier und exp(-x/2) für Chi-Quadrat mit zwei. Nichts wird aus einer Tabelle abgelesen.
Die Korrelation nutzt die aktive SuperSurvey-Vorlagenbibliothek, Vorlage für Vorlage ausgelesen am 10. September 2026: 109 aktive Vorlagen und 1.422 Fragen. Gezählt wurden die Zahl der Fragen jeder Vorlage und wie viele davon eine Freitextantwort erwarten. Ausgeschlossen waren Entwürfe und Weiterleitungen. Beide Varianten der Zielgröße wurden festgelegt, bevor der Test lief, und beide sind oben berichtet.
Zwei Grenzen sind wichtig. Dies ist unsere eigene veröffentlichte Bibliothek; sie zeigt also, was ein Umfrageanbieter für gute Praxis hält, nicht was die Umfragen der Welt tun, und kein Ergebnis hier sollte als Tatsache über Umfragen im Allgemeinen gelesen werden. Und das Ergebnis zum Anteil ist teilweise strukturell: Die Vorlagenlänge steht im Nenner der Zielgröße, daher ist ein Teil der negativen Korrelation reine Arithmetik statt redaktioneller Entscheidung. Genau deshalb steht die Variante mit der Anzahl daneben.
Der Einladungsvergleich, die Stufenleiter der Stichprobengrößen und die Bewegung um einen Punkt sind durchgerechnete Beispiele mit angegebenen Eingaben, keine Messungen. Die Rechnung ist echt und aus den gezeigten Zahlen nachvollziehbar; die Szenarien dienen der Veranschaulichung.
Quellen
- Centers for Disease Control and Prevention, National Center for Health Statistics. Statistical significance. In: Health, United States: Sources and Definitions. cdc.gov
- National Institutes of Health, National Center for Advancing Translational Sciences. Statistical significance. Glossar des NCATS Toolkit. toolkit.ncats.nih.gov
- US Department of Education, National Center for Education Statistics. Statistical significance and sample size. National Assessment of Educational Progress. nces.ed.gov
- Wasserstein, R. L. und Lazar, N. A. (2016). The ASA statement on p-values: context, process, and purpose. The American Statistician, 70(2), 129-133. doi.org/10.1080/00031305.2016.1154108
- Greenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N. und Altman, D. G. (2016). Statistical tests, P values, confidence intervals, and power: a guide to misinterpretations. European Journal of Epidemiology, 31(4), 337-350. doi.org/10.1007/s10654-016-0149-3
- Cochran, W. G. (1954). Some methods for strengthening the common chi-square tests. Biometrics, 10(4), 417. doi.org/10.2307/3001616
- Cohen, J. (1992). A power primer. Psychological Bulletin, 112(1), 155-159. doi.org/10.1037/0033-2909.112.1.155
- Hoenig, J. M. und Heisey, D. M. (2001). The abuse of power: the pervasive fallacy of power calculations for data analysis. The American Statistician, 55(1), 19-24. doi.org/10.1198/000313001300339897
- Cox, D. R. (2020). Statistical significance. Annual Review of Statistics and Its Application, 7, 1-10. doi.org/10.1146/annurev-statistics-031219-041051
- SuperSurvey-Fragenkorpus, 109 aktive Vorlagen und 1.422 Fragen, ausgelesen am 11. September 2026.
Michael Hodge: Umfragemethodiker und Redakteur, SuperSurvey. Bachelor of Science (Psychologie), University of Wollongong, mit Studienschwerpunkten in Psychometrie und Forschungsmethoden. Entwickelt seit 2003 Umfragen. Über den Autor und wie diese Leitfäden geprüft werden
Weiterlesen
Zwei vergleichbare Gruppen, dieselbe Frage, genug Beantwortungen, um sie zu unterscheiden. Eine solche Umfrage können Sie noch heute Nachmittag durchführen.
Mit einer Umfragevorlage beginnenKostenlos versenden, keine Kreditkarte nötig. Passen Sie die Formulierung an, halten Sie die Frage aber für beide Gruppen identisch.