View/Export Results
Manage Existing Surveys
Create/Copy Multiple Surveys
Collaborate with Team Members
Sign inSign in with Facebook
Sign inSign in with Google

Zależność istotna statystycznie w badaniach: co oznacza i jak ją sprawdzić

Dwa porównania przeliczone krok po kroku oraz zdanie, które warto napisać, raportując wynik.

Krótka odpowiedź

Zależność istotna statystycznie oznacza, że zmierzony wzorzec rzadko pojawiałby się, gdyby te dwie zmienne nie były ze sobą powiązane w populacji, z której pochodzi próba. To stwierdzenie o Twoich danych przy przyjętym założeniu. Nigdy nie jest to stwierdzenie o tym, jak prawdopodobne jest samo założenie.

W 109 szablonach z naszej własnej biblioteki ankiet dłuższe szablony przeznaczają mniejszą część pytań na odpowiedzi tekstowe: r = -0,37. Korelacja co najmniej tak odległa od zera pojawiałaby się mniej więcej raz na 13 000 prób, gdyby rzeczywista korelacja wynosiła zero, więc zero słabo tłumaczy to, co znaleźliśmy.

Korpus pytań SuperSurvey, 109 aktywnych szablonów i 1422 pytania, stan na 11 września 2026.

Porównujesz dwa odsetki? Przejdź do kalkulatora dla dwóch proporcji.

Co oznacza zależność istotna statystycznie w badaniach

Cała istota sprawy tkwi w kierunku warunkowania, a właśnie ten kierunek większość opracowań odwraca.

Zacznij od twierdzenia, przeciwko któremu argumentujesz. Zawsze jest to to nudne: w populacji te dwie zmienne nie mają ze sobą nic wspólnego. Teraz zmierz zależność w swojej próbie i zadaj jedno pytanie. Gdyby nudne twierdzenie było prawdziwe, jak często próba tej wielkości dawałaby zależność co najmniej tak silną wyłącznie przez przypadek? Ta liczba to wartość p. Mała oznacza, że przypadek słabo to wyjaśnia.

Nie wolno Ci odwracać tego zdania. Test nigdy nie podaje prawdopodobieństwa, że zmienne są powiązane, bo wszystko obliczył przy założeniu, że nie są. Opublikowana wersja tej strony mówiła kiedyś, że zależność istotna statystycznie oznacza, iż korelacja „prawdopodobnie nie jest równa zeru w populacji”. Brzmi to dobrze i jest błędne. To zaobserwowana korelacja jest mało prawdopodobna, jeśli korelacja w populacji wynosi zero. Te same słowa, odwrotny kierunek i tylko jedno z tych zdań Twoje dane mogą poprzeć.

Napisz to tak

„Długość szablonu i udział pytań otwartych były ujemnie skorelowane, r = -0,37, n = 109, p = 7,5 x 10^-5. Dłuższe szablony przeznaczały mniejszą część pytań na odpowiedzi tekstowe”.

Oszacowanie, wielkość próby, wartość p, a potem jedno proste zdanie mówiące, co zmieniało się razem z czym. Bez słowa-werdyktu, bez czasownika przyczynowego, bez przymiotnika, który robi więcej, niż pozwala liczba.

Trzy rzeczy, których to określenie nie oznacza, choć często tak się je odczytuje:

  • Nie siłę. Istotność statystyczna odpowiada na pytanie, czy zależność da się odróżnić od braku zależności. To, jak jest duża, wynika z samego r albo z nachylenia. Przy wystarczającej liczbie wypełnień r równe 0,05 jest istotne statystycznie, a mimo to niemal nic nie znaczy.
  • Nie przyczynę. To, że dwie zmienne zmieniają się razem, nic nie mówi o tym, która wpływa na którą ani czy obie nie zmieniają się pod wpływem trzeciej. To kwestia schematu badania, rozstrzygana przez to, jak zbudowano badanie, a żadna statystyka testowa nie odpowie na nią po fakcie.
  • Nie prawdę. Wartość p oblicza się w modelu, który zakłada, że Twoja próba jest tym, za co się podaje. Jeśli odpowiedziały niewłaściwe osoby, obliczenia nadal są bezbłędne, a wniosek nadal jest błędny.

Testowanie istotnej statystycznie korelacji między dwiema zmiennymi

Współczynnik r Pearsona przyjmuje wartości od -1 do +1 i mierzy, jak blisko dwie zmienne układają się wzdłuż linii prostej. Aby sprawdzić, czy uzyskane r to coś więcej niż przypadek, przekształć je w statystykę t:

t = r x sqrt(n - 2) / sqrt(1 - r^2), odczytywaną z rozkładu t przy n - 2 stopniach swobody.

Oto jak to wygląda na prawdziwych danych. Zanim na cokolwiek spojrzałem, ustaliłem jedno pytanie: czy w 109 aktywnych szablonach z naszej biblioteki liczba pytań w szablonie wiąże się z udziałem pytań otwartych wśród nich? Potem przeprowadziłem test jeden raz.

  1. Oblicz r

    r = -0,3701 dla n = 109 szablonów. Po zaokrągleniu do raportu r = -0,37.

  2. Oblicz liczbę stopni swobody

    n - 2 = 107. Zatem sqrt(107) = 10,3441.

  3. Oblicz mianownik

    r do kwadratu to 0,1369, więc 1 - r^2 = 0,8631, a sqrt(0,8631) = 0,9290.

  4. Podziel

    t = -0,37 x 10,3441 / 0,9290 = -4,1197 przy 107 stopniach swobody.

  5. Odczytaj ogon rozkładu

    Wartość t równa 4,12 przy 107 stopniach swobody pozostawia poza sobą 0,000075 rozkładu dwustronnego. To p = 7,5 x 10^-5, czyli mniej więcej jedna próba na 13 000.

Podaj razem z nią przedział. Po transformacji Fishera 95-procentowy przedział ufności dla r wynosi od -0,52 do -0,20. To uczciwe podsumowanie: zależność ujemna, gdzieś między słabą a umiarkowaną, a dane nie pozwalają określić jej dokładniej. Co taki współczynnik może, a czego nie może uzasadnić i jak zaprojektować wokół niego badanie, opisujemy szczegółowo tam, gdzie interpretujemy korelację w ankiecie.

Te same dane, inaczej zdefiniowane

Zamień zmienną wynikową z udziału pytań otwartych na ich liczbę, a odpowiedź się odwróci. r = 0,07, t = 0,77 przy 107 stopniach swobody, p = 0,44. Nic istotnego statystycznie.

Oba wyniki są prawdziwe. Szablony liczące od 4 do 9 pytań mają średnio 2,1 pytania otwartego, a szablony liczące od 16 do 36 pytań średnio 2,3, więc liczba ledwo się zmienia, a udział mechanicznie spada wraz ze wzrostem mianownika. Dlatego zapisuje się zmienną, zanim przeprowadzi się test. Gdybym sprawdził obie i zaraportował tę ciekawszą, wytworzyłbym wynik z samej definicji.

Wynik dla udziału wytrzymuje sprawdzenie, czy nie ciągnie go jeden szablon: na rangach zamiast wartości rho Spearmana wynosi -0,44 przy p = 1,6 x 10^-6, a wynik dla liczby pozostaje płaski: rho = -0,03. Współczynnik r Pearsona wymaga zależności prostoliniowej, niezależnych par i braku pojedynczego punktu odstającego na tyle, by sam wygiął linię. Sprawdź wykres rozrzutu, zanim zaufasz współczynnikowi. Jeśli chcesz poznać wielkość efektu, a nie tylko odpowiedź tak lub nie, dopasuj nachylenie i oszacuj zależność w rzeczywistych jednostkach: tyle a tyle pytań otwartych mniej na każde dodatkowe pytanie, zamiast samego r.

Różnica istotna statystycznie a zależność istotna statystycznie

To dwa kształty, w których pojawia się niemal każde pytanie ankietowe, i testuje się je inaczej. Różnica porównuje grupy pod względem jednej zmiennej wynikowej. Zależność dotyczy tego, czy dwa pomiary zmieniają się razem.

Ta sama logika zastosowana do dwóch różnych pytań.
Różnica istotna statystycznieZależność istotna statystycznie
PytanieCzy te grupy różnią się pod względem tej zmiennej wynikowej?Czy te dwa pomiary zmieniają się razem?
Twoje daneJedna zmienna grupująca, jedna zmienna wynikowaDwa pomiary u tych samych osób
Testowane nudne twierdzenieŚrednie lub udziały w grupach są w populacji równeKorelacja w populacji wynosi zero
Prawdopodobieństwem czego jest pRóżnicy co najmniej tak dużej, jeśli grupy naprawdę są równeKorelacji co najmniej tak odległej od zera, jeśli naprawdę wynosi zero
Typowy testTest z dla dwóch proporcji, test t, ANOVA, test chi-kwadratr Pearsona, rho Spearmana, nachylenie regresji
Wielkość efektu do opublikowaniaRóżnica w punktach z przedziałem ufnościr z przedziałem ufności
Przykład z ankietyZaproszenia e-mailem: 52,0% w najwyższej kategorii, zaproszenia w aplikacji: 45,0%Długość szablonu wiąże się z udziałem pytań otwartych przy r = -0,37

Oba to testy hipotez i oba dają wartość p, więc oba odczytuje się tak samo. Nie są jednak wymienne: różnica między grupami to nie korelacja, a raportowanie jednego jako drugiego to częsty sposób na przesadzenie z wynikiem. Każdy z nich można przeprowadzić na ilościowych danych z ankiety.

Czy różnica między dwiema grupami jest istotna statystycznie?

Załóżmy, że zespół wsparcia po każdym zgłoszeniu wysyła tę samą jednopytaniową ankietę na dwa sposoby. Spośród 400 osób, które odpowiedziały po zaproszeniu e-mailem, 208 wybrało najwyższą kategorię odpowiedzi. Spośród 420 osób, które odpowiedziały po komunikacie w aplikacji, zrobiło to 189. To 52,0% wobec 45,0%, czyli różnica 7,0 punktu. Czy to więcej, niż przy takich liczebnościach dałaby sama zmienność losowa?

Ponieważ zmienna wynikowa jest udziałem, a nie średnią, właściwym testem jest test z dla dwóch proporcji. Połącz obie grupy, aby oszacować odsetek, jakiego należałoby się spodziewać, gdyby sposób zaproszenia nie miał znaczenia, oblicz, jak bardzo różnica tego rodzaju waha się przy takich liczebnościach, i podziel.

  1. Połącz obie grupy

    (208 + 189) / (400 + 420) = 397 / 820 = 0.4841.

  2. Wyznacz błąd standardowy

    0,4841 x 0,5159 = 0,2497. 1/400 + 1/420 = 0,004881. Pomnóż: 0,00121901. Pierwiastek kwadratowy: 0,03491.

  3. Podziel przez niego różnicę

    z = 0,07 / 0,03491 = 2,0049. Zachowaj miejsca po przecinku. Jeśli zamiast tego podzielisz przez zaokrąglony błąd standardowy 0,0349, z wyniesie 2,0057, co po zaokrągleniu daje 2,01 i ogon 0,0444. To jest wartość 0,044, którą ta strona publikowała latami, i jest błędna o jeden krok zaokrąglenia, a nie o miejsce po przecinku.

  4. Odczytaj ogon rozkładu

    Standardowy rozkład normalny ma łącznie w obu ogonach poza 2,0049 masę 0,04497. Zatem p = 0,045. To mniej niż 0,05, więc różnica jest istotna statystycznie na poziomie 5%, z bardzo niewielkim zapasem.

Sprawdź to, zanim zaufasz wartości p

Test z przybliża liczebność krzywą normalną, a to przybliżenie wymaga wystarczającej liczby osób w każdej komórce. Pomnóż liczebność każdej grupy przez połączony odsetek oraz przez jeden minus połączony odsetek: 193,7, 206,3, 203,3 i 216,7. Wszystkie cztery wartości muszą wynosić co najmniej 5. Tutaj najmniejsza to 193,7, więc przybliżenie jest bezpieczne. Poniżej 5 użyj testu dokładnego, bo wartość p przestaje znaczyć to, co mówi.

Przelicz te same liczby jako test niezależności chi-kwadrat dla tabeli dwa na dwa, a otrzymasz identyczną odpowiedź: chi-kwadrat to z do kwadratu, 4,0197 przy jednym stopniu swobody, p = 0,04497. To ten sam test zapisany na dwa sposoby, więc istotny statystycznie wynik chi-kwadrat dla tabeli dwa na dwa i istotny statystycznie test z nigdy sobie nie przeczą.

Różnica nie zmieniła się, gdy zmieniliśmy wielkość próby. Zmienił się werdykt. Przy jednej czwartej wypełnień, 52 ze 100 wobec 45 ze 100 przy tych samych 7,0 punktu, z spada do 0,9904, a p rośnie do 0,32. Nic w zaproszeniach się nie zmieniło. Zmieniły się tylko dowody i dlatego liczbę wypełnień planuje się przed rozpoczęciem badania, a nie po nim.

Ta sama siedmiopunktowa różnica testowana przy czterech wielkościach próby

Ta sama siedmiopunktowa różnica testowana przy czterech wielkościach próbyWykres słupkowy 4 wartości. Ta sama siedmiopunktowa różnica testowana przy czterech wielkościach próby. 100: 0,3220; 200: 0,1613; 400: 0,0476; 800: 0,0051. Największa: 100. Źródło: obliczenia dla tej strony. Test z dla dwóch proporcji, połączony błąd standardowy, ogon rozkładu normalnego.0.32200.16130.04760.0051100200400800

Wartość p, dwustronna. Wszystko poniżej 0,05 nazywa się istotnym statystycznie na poziomie 5%.

Test z dla dwóch proporcji: 52,0% wobec 45,0%, równe grupy o podanej liczebności, więc kolumna 400 to 208 z 400 wobec 180 z 400. W przykładzie z obliczeniami powyżej grupy liczą 400 i 420 uczestników i dlatego jego p wynosi 0,045, a nie 0,0476 jak tutaj. Różnica nigdy się nie zmienia. Zmienia się tylko liczba osób. Źródło: obliczenia dla tej strony. Test z dla dwóch proporcji, połączony błąd standardowy, ogon rozkładu normalnego.

Jeśli porównanie jest jeszcze przed Tobą, to jest moment, który o nim przesądza. Utwórz ankietę do porównania grup i ustal liczebność każdej grupy na podstawie najmniejszej różnicy, którą musisz wykryć. Porównanie, które było zbyt małe, gdy je przeprowadzono, pozostaje zbyt małe; większe badanie uzupełniające to nowe badanie z własną wartością p, a nie naprawa tego.

Kalkulator istotności statystycznej dla dwóch proporcji

Twoje własne liczby, te same obliczenia. Wpisz, ile osób odpowiedziało w każdej grupie i ile wybrało śledzoną odpowiedź. Wynik aktualizuje się na bieżąco.

Porównaj dwa odsetki

Pierwsza grupa
Druga grupa
Próg

Dwie metody, obie nazwane w wyniku: test z dla dwóch proporcji z połączonym błędem standardowym do werdyktu oraz przedział Walda z niepołączonym błędem standardowym do wielkości różnicy. To standardowe zestawienie, a ponieważ oba błędy się różnią, w pobliżu progu mogą dawać sprzeczne wyniki; kalkulator informuje o tym za każdym razem. Poziom przedziału wynika z wybranego poziomu istotności, więc alfa = 0,05 daje przedział 95%, a etykieta za każdym razem podaje poziom.

Kalkulator podaje najmniejszą oczekiwaną liczebność, aby było widać, kiedy przybliżenie normalne przestaje być bezpieczne. Nie podaje obserwowanej mocy: moc liczona po fakcie jest stałą funkcją wartości p, więc nie dodaje nic do tego, co już widać.

Przedział ufności dla różnicy między dwiema grupami

Wartość p odpowiada na pytanie typu tak lub nie, którego nikt tak naprawdę nie zadał. Przedział odpowiada na to, które zadano: jak duża jest różnica?

Przedział ufności to zakres zbudowany tak, że gdyby całe postępowanie powtórzyć wiele razy, 95% przedziałów zbudowanych w ten sposób zawierałoby prawdziwą wartość. To właściwość metody, a nie prawdopodobieństwo przypisane temu jednemu przedziałowi, który masz przed sobą. Luźne mówienie o „95% szans, że prawda jest w środku” to to samo odwrócenie, przez które źle rozumie się wartości p.

Dla różnicy między dwiema proporcjami błąd standardowy buduje się osobno dla każdej grupy zamiast łączyć grupy, bo teraz szacujesz wielkość różnicy, a nie testujesz, czy wynosi zero:

  1. Błąd standardowy różnicy

    0,52 x 0,48 / 400 = 0,00062400. 0,45 x 0,55 / 420 = 0,00058929. Dodaj je i wyciągnij pierwiastek kwadratowy: 0,03483, czyli 3,483 punktu procentowego.

  2. Pomnóż przez wartość krytyczną

    Dla 95% wynosi ona 1,9600, a nie 2. Zaokrąglenie jej w górę do 2 obniża dolną granicę z 0,2 do 0,0, a to różnica między przedziałem, który nie obejmuje zera, a takim, który zdaje się go dotykać. 1,9600 x 3,483 = 6,827 punktu.

  3. Odłóż ją po obu stronach oszacowania

    7,0 plus minus 6,827 daje od 0,2 do 13,8 punktu procentowego.

Teraz przeczytaj, co to naprawdę mówi. Zaproszenie e-mailem prowadzi, a dane są zgodne z przewagą wynoszącą od jednej piątej punktu do prawie czternastu. Wynik „istotny statystycznie na poziomie 0,05” to wszystko ukrył. Jeśli różnica dwóch punktów zmieniłaby decyzję zespołu, to badanie nie odpowiedziało na pytanie, a wartość p nawet tego nie zasygnalizowała.

Oba odczyty zwykle są zgodne i warto dokładnie wyjaśnić, dlaczego nie muszą. Powyższy test z dzielił przez połączony błąd standardowy, 0,03491, bo obliczano go przy hipotezie, że obie grupy mają jeden wspólny odsetek. Ten przedział korzystał z niepołączonego błędu, 0,03483, bo szacuje różnicę bez tego założenia. Test i przedział zgadzają się dokładnie tylko wtedy, gdy zbudowano je w ten sam sposób: przedział powstały przez odwrócenie testu z połączonym błędem albo test oparty na niepołączonym błędzie. To standardowe zestawienie to dwa przybliżenia takiego rozwiązania i w pobliżu progu mogą się rozejść.

Weźmy 5 z 20 wobec 11 z 20: test z połączonym błędem daje z = -1,9365 i p = 0,0528, czyli wynik nieistotny statystycznie na poziomie 0,05, a 95-procentowy przedział z niepołączonym błędem wynosi od -58,9 do -1,1 punktu i nie obejmuje zera. Oba wyniki są poprawne dla swojej metody; wynik jest graniczny i należy podać obie liczby. Przedział nadal lepiej nadaje się do publikacji, bo niesie zarówno wielkość, jak i werdykt, a sam werdykt nie niesie ani jednego, ani drugiego.

Oszacowanie nigdy się nie przesuwa. Przedział wokół niego tak

Oszacowanie nigdy się nie przesuwa. Przedział wokół niego takWykres punktowy 4 wartości na wspólnej skali od -13 do 27. Oszacowanie nigdy się nie przesuwa. Przedział wokół niego tak. 100 na grupę: 7,0; 200 na grupę: 7,0; 400 na grupę: 7,0; 800 na grupę: 7,0. Zakresy: 100 na grupę od -6,8 do 20,8; 200 na grupę od -2,8 do 16,8; 400 na grupę od 0,1 do 13,9; 800 na grupę od 2,1 do 11,9. Źródło: obliczenia dla tej strony. Przedział Walda, 52,0% wobec 45,0%, równe grupy.100 na grupę200 na grupę400 na grupę800 na grupę7.07.07.07.0od -6,8 do 20,8od -2,8 do 16,8od 0,1 do 13,9od 2,1 do 11,9-10.0-5.00.05.010.015.020.025.0

Punkty procentowe. Przedział z niepołączonego błędu standardowego różnicy.

Punkt to zaobserwowana różnica, 7,0 punktu procentowego, przy każdej wielkości próby. Słupek to 95-procentowy przedział Walda z niepołączonego błędu standardowego. Przestaje on obejmować zero między 200 a 400 osobami na grupę, w tym samym miejscu, w którym test z z połączonym błędem przekracza 0,05. Oba korzystają z różnych błędów standardowych, więc ta zgodność jest typowa, ale nie gwarantowana. Źródło: obliczenia dla tej strony. Przedział Walda, 52,0% wobec 45,0%, równe grupy.

Co wartość p mówi o hipotezie zerowej

Nudne twierdzenie ma nazwę: hipoteza zerowa, H0. Wartość p to prawdopodobieństwo uzyskania statystyki testowej co najmniej tak skrajnej jak Twoja, gdy H0 jest prawdziwa. Wszystko inne, co się o niej mówi, to albo skrót myślowy, albo błąd.

Ten błąd jest zawsze ten sam i warto go precyzyjnie nazwać. P to prawdopodobieństwo danych przy danej hipotezie. Ludzie odczytują z niego prawdopodobieństwo hipotezy przy danych. To różne wielkości, a drugiej w ogóle nie da się obliczyć z wartości p: wymaga wiedzy o tym, jak wiarygodna była hipoteza, zanim cokolwiek zebrano. American Statistical Association uczyniło to drugą ze swoich sześciu zasad w 2016 roku: wartość p nie mierzy ani prawdopodobieństwa, że badana hipoteza jest prawdziwa, ani prawdopodobieństwa, że dane powstały wyłącznie przez przypadek. 4

Zatem p = 0,045 w przykładzie z zaproszeniami nie oznacza 4,5% szans, że oba sposoby zaproszenia są równoważne, ani 95,5% szans, że wynik się powtórzy. Powtarzalność zależy od prawdziwego efektu i wielkości następnego badania, a żadnej z tych rzeczy ta liczba nie zawiera.5

Alfa i poziom istotności

Alfa to próg, który przyjmujesz, zanim pojawią się dane. Ustawiając alfa = 0,05, deklarujesz: jeśli hipoteza zerowa jest prawdziwa, akceptuję 5% szans, że i tak uznam wynik za istotny statystycznie. Przeprowadź dwadzieścia takich testów na czystym szumie, a mniej więcej jeden wyjdzie istotny, z samej konstrukcji, a nie przez przypadek.

Nic nie sprawia, że 0,05 jest poprawne. To konwencja, która utrwaliła się, odkąd Fisher używał tej wartości jako przybliżonej wskazówki, a kompromis jest prosty: niższa alfa oznacza mniej fałszywych alarmów, ale kosztuje Cię rzeczywiste efekty, które teraz przeoczysz. Wybierz ją na podstawie kosztu pomyłki w każdym kierunku, zapisz ją najpierw i nie zmieniaj jej, gdy już zobaczysz wartość p.

Testy jednostronne i dwustronne

Test dwustronny pyta, czy grupy w ogóle się różnią, licząc skrajne wyniki po obu stronach. Test jednostronny pyta, czy jedna konkretna grupa ma wyższy wynik, i liczy tylko tę stronę.

Zwykle twierdzi się, że jednostronna wartość p to połowa dwustronnej. Jest tak tylko wtedy, gdy efekt rzeczywiście idzie w przewidywanym kierunku. W naszym przykładzie dwustronne p wynosiło 0,04497. Jeśli z góry przewidywano, że e-mail wygra z aplikacją, czyli w kierunku, w którym poszedł wynik, jednostronne p wynosi 0,02249. Jeśli przewidywano, że wygra aplikacja, jednostronne p nie wynosi 0,02249. Wynosi 1 minus ta wartość, czyli 0,9775, bo niemal cały rozkład leży po stronie, którą wskazano. Dzielenie przez dwa to szczególny przypadek, a nie reguła.

Wybieraj test jednostronny tylko wtedy, gdy różnica w przeciwnym kierunku naprawdę nie zmieniłaby Twojej decyzji, i tylko zanim spojrzysz na dane. Przejście na test jednostronny po zobaczeniu dwustronnego p równego 0,08 to najstarsza sztuczka świata, która podwaja odsetek wyników fałszywie dodatnich w kierunku, który akurat Ci odpowiada.

Jakiego testu statystycznego użyć dla dwóch grup?

Wybieraj według rodzaju zmiennej wynikowej, a potem sprawdź warunki, zanim uwierzysz wartości p. Warunki to nie formalność: każdy z nich to założenie, które obliczenia przyjmują po cichu.

Test i to, co musi być spełnione, aby jego wartość p cokolwiek znaczyła.
Twoja zmienna wynikowaPorównanieTestWarunki
Udział, np. odsetek odpowiedzi w najwyższej kategoriiDwie grupyTest z dla dwóch proporcjiNiezależne odpowiedzi. Każda oczekiwana liczebność co najmniej 5: n x p-połączone oraz n x (1 - p-połączone), w obu grupach
UdziałDwie grupy, małe liczebnościDokładny test FisheraNiezależne odpowiedzi. Stosuj go zawsze, gdy oczekiwane liczebności w teście z spadają poniżej 5
ŚredniaDwie grupyTest t dla dwóch prób, wersja WelchaNiezależne odpowiedzi, brak silnej skośności, około 30 lub więcej osób na grupę. Test Welcha nie zakłada równego rozrzutu, więc warto go wybierać
ŚredniaTe same osoby dwukrotnieTest t dla prób zależnychPary niezależne od siebie, różnice w przybliżeniu symetryczne. Parowanie jest tu kluczowe: nie stosuj testu dla prób niezależnych
ŚredniaTrzy grupy lub więcejANOVA, a potem skorygowane porównania szczegółoweNiezależne odpowiedzi, podobny rozrzut w grupach, brak silnej skośności. Skoryguj porównania szczegółowe
Dwie odpowiedzi kategorialneZwiązekTest niezależności chi-kwadratNiezależne odpowiedzi. Oczekiwana liczebność co najmniej 5 w większości komórek i żadna komórka z oczekiwaną liczebnością poniżej jednego6
Dwa pomiaryZależnośćr Pearsona z testem tNiezależne pary, zależność prostoliniowa, żaden pojedynczy punkt nie wygina linii
Dwa pomiary, porządkowe lub skośneZależnośćrho SpearmanaNiezależne pary. Najpierw zamienia wartości na rangi, więc wymaga tylko spójnego kierunku

Jeden warunek stoi ponad nimi wszystkimi i żaden test go nie sprawdza: odpowiedzi muszą pochodzić od osób, które zamierzano zapytać. Bardzo mała wartość p na skrzywionej próbie to precyzyjna odpowiedź na niewłaściwe pytanie i to jest praktyczny koszt zniekształcenia odpowiedzi.

Istotność statystyczna nie oznacza znaczenia praktycznego

Istotność statystyczna mówi, że efekt da się wykryć przy Twojej wielkości próby. Nie mówi nic o tym, czy warto na jego podstawie działać, a przy wystarczającej liczbie wypełnień te dwie rzeczy całkowicie się rozchodzą.

Weźmy zmianę o jeden punkt: odsetek w najwyższej kategorii rośnie z 51,0% do 52,0% między dwiema falami. Przy 400 wypełnieniach na falę p = 0,777 i nikt nie uznaje tego za nic szczególnego. Zmiana staje się istotna statystycznie na poziomie 0,05, gdy każda fala ma około 19 191 wypełnień: przy dokładnie tej wielkości p = 0,0500. Ten punkt nie stał się ważniejszy. Po prostu kupiono wystarczająco dużo precyzji, by go zobaczyć.

Publikuj więc wielkość efektu obok werdyktu. W porównaniu zaproszeń to 7,0 punktu procentowego, przedział od 0,2 do 13,8. Jeśli chcesz miary standaryzowanej, h Cohena dla 52,0% wobec 45,0% wynosi 0,14, czyli mniej niż 0,2, które Cohen nazwał małym efektem.7 Różnica wykrywalna, ale mała.

Najpierw ustal liczbę

Przed rozpoczęciem badania zapisz najmniejszą różnicę, która zmieniłaby Twoje działania. Trzy punkty? Pięć? Wtedy analiza ma na co odpowiedzieć. Bez tego każdy wynik istotny statystycznie wygląda jak powód do działania, a każdy nieistotny jak powód do czekania, a to nie jest proces decyzyjny.

Dwie ankiety w odstępie sześciu miesięcy dały różne wyniki

W tej postaci pytanie najczęściej trafia do zespołu ankietowego, a sięganie najpierw po test istotności to błąd. Test zakłada, że dwie próby różnią się wyłącznie przez przypadek. Między dwiema falami różnią się zwykle czymś więcej.

Sprawdź to, zanim cokolwiek obliczysz. Czy pytanie było sformułowane identycznie, z tymi samymi etykietami skali w tej samej kolejności? Czy obie fale trwały tyle samo i w te same dni? Czy odpowiadały te same rodzaje osób, czy jedna fala poszła kanałem docierającym do innej grupy? Czy jedna fala przypadła na okres, który sama firma czymś zakłóciła? Każda z tych rzeczy daje różnicę, której żaden test nie oznaczy jako przypadkowej i która nie ma nic wspólnego z tym, co mierzysz.

Gdy porównujesz naprawdę porównywalne fale, wybór testu wynika z tego, co porównujesz, a w pracy z ankietami jest to zwykle udział. Spośród 1422 pytań w naszej bibliotece szablonów 45,3% to pozycje skali ocen, a 98,9% z nich ma pięć punktów. Naturalnym podsumowaniem pięciopunktowej pozycji jest udział osób wybierających najwyższą kategorię lub dwie najwyższe, więc to test z dla dwóch proporcji jest tu podstawowym narzędziem, a nie test t. Uśrednianie pięciopunktowej skali traktuje krok od 4 do 5 jako równy krokowi od 1 do 2, czego nikt nie wykazał.

Źródło: SuperSurvey Question Corpus, 109 aktywnych szablonów i 1422 pytania, stan na 11 września 2026.

Jeszcze dwa nawyki warte utrzymania. Zdecyduj, które porównania przeprowadzisz, zanim pojawią się dane, bo odsetek wyników fałszywie dodatnich rośnie wraz z liczbą testów, a nie z liczbą tych, które raportujesz. I traktuj próbę poważnie: to, kto odpowiedział, ma większe znaczenie niż to, ilu, i właśnie temu służą metody doboru próby. Pozostała część działu „Poradniki i pomoc” omawia decyzje przed tą i po niej.

Najczęściej zadawane pytania

Istotna statystycznie wartość chi-kwadrat oznacza, że różnica prawdopodobnie nie wynika z przypadku. Prawda czy fałsz?

W tym brzmieniu fałsz, choć większość kursów uznaje to za prawdę. Statystyka chi-kwadrat mierzy, jak daleko zaobserwowane liczebności są od liczebności oczekiwanych przy niezależności, a jej wartość p mówi, jak często tak duża różnica pojawia się, gdy zmienne są niezależne. „Prawdopodobnie nie wynika z przypadku” przypisuje prawdopodobieństwo wyjaśnieniu, a nie danym, a to jedyny ruch, którego test nie potrafi wykonać. Jeśli klucz odpowiedzi wymaga odpowiedzi „prawda”, traktuje to zdanie jako luźny skrót poprawnej wersji.

Czy wynik jest istotny statystycznie, jeśli prawdopodobieństwo, że wynika z przypadku, jest mniejsze niż 5%?

Pięć procent to konwencjonalny próg, więc przy zwykłym odczytaniu tak. Kłopoty zaczynają się przy skrócie myślowym. Poniżej 5% spada szansa uzyskania tak skrajnych danych, gdy hipoteza zerowa jest prawdziwa, a nie szansa, że to przypadek dał Twój konkretny wynik. Dziedziny i tak różnią się co do tej liczby: tam, gdzie fałszywy alarm jest kosztowny, normą jest 0,01 lub 0,001, a wybrana wartość powinna być decyzją, której potrafisz bronić, a nie nawykiem.

Czy przy p równym 0,06 jest tendencja w kierunku istotności statystycznej?

Nie. Nie ma tendencji ani częściowego zaliczenia. Próg ustalony z góry nie został osiągnięty, a 0,06 nie jest bardziej tendencją, niż 0,04 jest dowodem. Uczciwie możesz powiedzieć, że przedział nadal obejmuje zero, a następnie podać przedział, aby czytelnik widział, ile miejsca zostaje po każdej stronie.

Po ilu porównaniach alfa równa 0,05 przestaje mnie chronić?

Szybciej, niż się wydaje. Dwanaście niezależnych testów na danych, w których nic nie ma, daje 46% szans na co najmniej jedno trafienie: 1 minus 0,95 do potęgi dwunastej. Przy dwudziestu testach to 64%. Tabela krzyżowa jednej zmiennej wynikowej według sześciu segmentów to już piętnaście porównań parami. Nazwij te nieliczne, które zaplanowano, a wszystko inne oznacz jako eksploracyjne, zamiast po cichu raportować te, które przetrwały.

Czy mogę przeprowadzić test istotności dla pięciopunktowego pytania ze skalą ocen?

Tak, jeśli wybierzesz podsumowanie, które ta skala uzasadnia. Porównanie udziału osób, które wybrały jedną lub dwie najwyższe kategorie, korzysta tylko z kolejności opcji i wprost nadaje się do testu dla dwóch proporcji. Porównanie średnich wyników zakłada, że odstępy między punktami są równe, a to dodatkowe założenie, które większość zespołów przyjmuje, nie zauważając tego. Jeśli chcesz porównać cały rozkład, a nie tylko najwyższą kategorię, test Manna-Whitneya na rangach całkowicie omija to założenie.

Czy większa próba zwiększa szansę, że mój wynik jest poprawny?

Bardziej precyzyjny, nie bardziej poprawny. Dodatkowe wypełnienia zmniejszają błąd losowy, więc przedział zawęża się wokół tego, co mierzy Twoja próba. Jeśli ta próba jest w jakąś stronę przechylona, większa jej ilość tylko zawęża oszacowanie wokół niewłaściwej liczby, a wartość p przy tym maleje. Liczebność zmniejsza błąd losowy. Nie robi nic z tym, kto zdecydował się odpowiedzieć.

Raport podaje t = 2,000 przy df = 20 i p większym niż 0,05. Czy należy odrzucić hipotezę zerową?

Nie, według przyjętego standardu. Dokładna dwustronna wartość dla t = 2,000 przy 20 stopniach swobody wynosi 0,0593, czyli tuż powyżej progu, a potrzebne byłoby 2,086. Liczba stopni swobody ma znaczenie dla każdego, kto czyta badanie, bo wyznacza tę poprzeczkę: to samo t równe 2,000 daje p = 0,0734 przy 10 stopniach swobody i p = 0,0482 przy 100. Tylko ostatnia z tych wartości schodzi poniżej 0,05, a statystyka ani drgnęła.

Metoda i ograniczenia

Każda liczba na tej stronie jest obliczana w pliku, który ją buduje, a nie wpisywana ręcznie, a budowanie strony zostaje przerwane, jeśli którakolwiek z nich się zmieni. Prawdopodobieństwa w ogonach pochodzą z niekompletnej funkcji gamma i niekompletnej funkcji beta w podwójnej precyzji, sprawdzonych z postaciami zamkniętymi tam, gdzie takie istnieją: postacią Cauchy'ego dla rozkładu t przy jednym stopniu swobody, postaciami algebraicznymi przy dwóch i czterech oraz exp(-x/2) dla chi-kwadrat przy dwóch. Nic nie jest odczytywane z tablic.

Korelacja korzysta z aktywnej biblioteki szablonów SuperSurvey, przeanalizowanej szablon po szablonie 10 września 2026 roku: 109 aktywnych szablonów i 1422 pytania. Policzono liczbę pytań w każdym szablonie oraz liczbę tych, które wymagają odpowiedzi tekstowej. Wykluczono wersje robocze i przekierowania. Obie wersje zmiennej wynikowej określono przed przeprowadzeniem testu i obie podano powyżej.

Ważne są dwa ograniczenia. To nasza własna opublikowana biblioteka, więc pokazuje, co jeden dostawca narzędzi do ankiet uważa za dobrą praktykę, a nie co robią ankiety na świecie, i żadnego wyniku z tej strony nie należy odczytywać jako faktu o ankietach w ogóle. Poza tym wynik dla udziału jest częściowo strukturalny: długość szablonu znajduje się w mianowniku zmiennej wynikowej, więc część ujemnej korelacji to arytmetyka, a nie decyzja redakcyjna. Właśnie dlatego obok wydrukowano wersję z liczbą pytań.

Porównanie zaproszeń, drabinka wielkości próby i zmiana o jeden punkt to przykłady z obliczeniami na podanych danych wejściowych, a nie pomiary. Obliczenia są prawdziwe i można je odtworzyć z pokazanych liczb; scenariusze są ilustracjami.

Bibliografia

  1. Centers for Disease Control and Prevention, National Center for Health Statistics. Statistical significance. W: Health, United States: Sources and Definitions. cdc.gov
  2. National Institutes of Health, National Center for Advancing Translational Sciences. Statistical significance. NCATS Toolkit glossary. toolkit.ncats.nih.gov
  3. US Department of Education, National Center for Education Statistics. Statistical significance and sample size. National Assessment of Educational Progress. nces.ed.gov
  4. Wasserstein, R. L. i Lazar, N. A. (2016). The ASA statement on p-values: context, process, and purpose. The American Statistician, 70(2), 129-133. doi.org/10.1080/00031305.2016.1154108
  5. Greenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N. i Altman, D. G. (2016). Statistical tests, P values, confidence intervals, and power: a guide to misinterpretations. European Journal of Epidemiology, 31(4), 337-350. doi.org/10.1007/s10654-016-0149-3
  6. Cochran, W. G. (1954). Some methods for strengthening the common chi-square tests. Biometrics, 10(4), 417. doi.org/10.2307/3001616
  7. Cohen, J. (1992). A power primer. Psychological Bulletin, 112(1), 155-159. doi.org/10.1037/0033-2909.112.1.155
  8. Hoenig, J. M. i Heisey, D. M. (2001). The abuse of power: the pervasive fallacy of power calculations for data analysis. The American Statistician, 55(1), 19-24. doi.org/10.1198/000313001300339897
  9. Cox, D. R. (2020). Statistical significance. Annual Review of Statistics and Its Application, 7, 1-10. doi.org/10.1146/annurev-statistics-031219-041051
  10. Korpus pytań SuperSurvey, 109 aktywnych szablonów i 1422 pytania, stan na 11 września 2026.

Michael Hodge: metodolog badań ankietowych i redaktor w SuperSurvey. Licencjat z psychologii (Bachelor of Science), University of Wollongong, z zajęciami z psychometrii i metod badawczych. Projektuje ankiety od 2003 roku. O autorze i o tym, jak weryfikujemy te poradniki

Co przeczytać dalej

Dwie porównywalne grupy, to samo pytanie, wystarczająco dużo wypełnień, by je odróżnić. Taką ankietę możesz uruchomić jeszcze dziś po południu.

Zacznij od szablonu ankiety

Wysyłka za darmo, bez karty płatniczej. Zmień sformułowania, ale zachowaj identyczne pytanie dla obu grup.