Signifikant samband i forskning: vad det betyder och hur du testar det

Vad ett signifikant samband i forskning betyder

Riktningen på villkoret är hela saken, och det är den del som de flesta texter vänder på.

Börja med påståendet du argumenterar emot. Det är alltid det tråkiga: i populationen har de här två variablerna ingenting med varandra att göra. Mät nu sambandet i ditt urval och ställ en enda fråga. Om det tråkiga påståendet vore sant, hur ofta skulle ett urval av den här storleken ge ett samband som är minst så här starkt, av ren tur? Det talet är p-värdet. Litet betyder att tur är en dålig förklaring.

Det du inte får göra är att vända på meningen. Testet säger aldrig hur sannolikt det är att variablerna har ett samband, eftersom det räknade ut allt under antagandet att de inte har det. Den publicerade versionen av den här sidan brukade säga att ett signifikant samband betyder att korrelationen ”sannolikt inte är noll i populationen”. Det låter bra och är fel. Den korrelation du observerade är osannolik om korrelationen i populationen är noll. Samma ord, motsatt riktning, och bara det ena är något som dina data kan bära.

Tre saker som uttrycket inte innebär, hur ofta det än läses så:

• Inte styrka. Signifikans besvarar om sambandet går att skilja från ingenting. Hur stort det är kommer från r självt, eller från en lutning. Med tillräckligt många svar är ett r på 0,05 signifikant och ändå nästan värdelöst.
• Inte orsak. Att två variabler rör sig tillsammans säger ingenting om vilken som påverkar den andra, eller om en tredje påverkar båda. Det är en designfråga, som avgörs av hur studien byggdes upp, och ingen teststatistika kan besvara den i efterhand.
• Inte sanning. Ett p-värde beräknas inom en modell som förutsätter att ditt urval är vad det utger sig för att vara. Om fel personer svarade är uträkningen fortfarande perfekt och slutsatsen fortfarande fel.

Att testa en signifikant korrelation mellan två variabler

Pearsons r går från -1 till +1 och mäter hur nära två variabler följer en rät linje. För att fråga om det r du fick är mer än tur, gör om det till en t-statistika:

t = r x sqrt(n - 2) / sqrt(1 - r^2), avläst mot t-fördelningen med n - 2 frihetsgrader.

Här är det på verkliga data. Innan jag tittade på något bestämde jag en enda fråga: bland de 109 publicerade mallarna i vårt bibliotek, har antalet frågor i en mall ett samband med hur stor andel av frågorna som är fritext? Sedan körde jag testet en gång.

1. Ta fram r

   r = -0,3701 över n = 109 mallar. Avrundat för redovisning: r = -0,37.

2. Ta fram frihetsgraderna

   n - 2 = 107. Alltså är sqrt(107) = 10,3441.

3. Ta fram nämnaren

   r i kvadrat är 0,1369, så 1 - r^2 = 0,8631 och sqrt(0,8631) = 0,9290.

4. Dividera

   t = -0,37 x 10,3441 / 0,9290 = -4,1197, med 107 frihetsgrader.

5. Läs av svansen

   Ett t på 4,12 med 107 frihetsgrader lämnar 0,000075 av den tvåsidiga fördelningen bortom sig. Det är p = 7,5 x 10^-5, eller ungefär ett av 13 000 urval.

Redovisa intervallet tillsammans med det. Med Fishers transformation går 95-procentsintervallet för r från -0,52 till -0,20. Det är den ärliga sammanfattningen: ett negativt samband, någonstans mellan svagt och måttligt, och data kan inte ringa in det snävare än så. Vad en sådan koefficient kan och inte kan bära, och hur du utformar en studie kring en, går vi igenom i sin helhet där vi tolkar en korrelation i en enkät.

Resultatet för andelen klarar en kontroll av att en enskild mall inte drar det: med rangordning i stället för värden är Spearmans rho -0,44 med p = 1,6 x 10^-6, och resultatet för antalet förblir platt med rho = -0,03. Pearsons r kräver ett rätlinjigt samband, oberoende par och ingen enskild punkt som ligger så långt ut att den ensam böjer linjen. Kontrollera spridningsdiagrammet innan du litar på koefficienten. Om du vill ha effektens storlek snarare än ett ja eller nej, anpassa en lutning och skatta sambandet i verkliga enheter: så och så många färre fritextfrågor per extra fråga, i stället för ett naket r.

Signifikant skillnad kontra signifikant samband

Det här är de två former som nästan varje enkätfråga har, och de testas på olika sätt. En skillnad jämför grupper i ett utfall. Ett samband frågar om två mätningar rör sig tillsammans.

Båda är hypotesprövningar och båda ger ett p-värde, så båda läses på samma sätt. De är inte utbytbara: en skillnad mellan grupper är inte en korrelation, och att redovisa det ena som det andra är ett vanligt sätt att överdriva ett resultat. Båda kan köras på kvantitativa enkätdata.

Är skillnaden mellan två grupper signifikant?

Anta att ett supportteam skickar samma enkät med en enda fråga efter varje ärende, via två sorters inbjudan. Av de 400 personer som svarade efter en inbjudan via e-post valde 208 det högsta svarsalternativet. Av de 420 som svarade efter en uppmaning i appen gjorde 189 det. Det är 52,0 procent mot 45,0 procent, en skillnad på 7,0 procentenheter. Är det mer än vad enbart urvalsvariation skulle ge vid de här storlekarna?

Eftersom utfallet är en andel snarare än ett medelvärde är testet z-testet för två andelar. Slå ihop de två grupperna för att skatta den andel du skulle förvänta dig om inbjudan inte gjorde någon skillnad, räkna ut hur mycket en sådan skillnad varierar vid de här urvalsstorlekarna och dividera.

1. Slå ihop de två grupperna

   (208 + 189) / (400 + 420) = 397 / 820 = 0.4841.

2. Ta fram standardfelet

   0,4841 x 0,5159 = 0,2497. 1/400 + 1/420 = 0,004881. Multiplicera: 0,00121901. Kvadratrot: 0,03491.

3. Dela skillnaden med det

   z = 0,07 / 0,03491 = 2,0049. Behåll decimalerna. Dela i stället med det avrundade standardfelet 0,0349 så blir z 2,0057, vilket visas som 2,01 och ger en svans på 0,0444. Det är de 0,044 som den här sidan publicerade i flera år, och det är fel med ett avrundningssteg, inte med en decimal.

4. Läs av svansen

   En standardnormalfördelning har 0,04497 av sin massa bortom 2,0049 i de två svansarna tillsammans. Alltså p = 0,045. Under 0,05, så skillnaden är signifikant på 5-procentsnivån, med mycket liten marginal.

Kör samma siffror som ett chi-tvåtest för oberoende på fyrfältstabellen så får du exakt samma svar: chi-två är z i kvadrat, 4,0197 med en frihetsgrad, p = 0,04497. De är samma test skrivet på två sätt, så ett signifikant chi-tvåtest på en fyrfältstabell och ett signifikant z-test står aldrig i konflikt.

Skillnaden ändrades inte när vi ändrade urvalsstorleken. Slutsatsen gjorde det. Med en fjärdedel av svaren, 52 av 100 mot 45 av 100 för samma 7,0 procentenheter, sjunker z till 0,9904 och p stiger till 0,32. Ingenting med inbjudningarna ändrades. Bara beläggen gjorde det, och det är därför du planerar antalet svar innan du går ut i fält och inte efteråt.

Om jämförelsen fortfarande ligger framför dig är det nu den avgörs. Skapa en enkät för att jämföra grupper och bestäm storleken på varje grupp utifrån den minsta skillnad du behöver kunna upptäcka. En jämförelse som var för liten när den genomfördes förblir för liten; en större uppföljning är en ny studie med ett eget p-värde, inte en reparation av den här.

Signifikanskalkylator för två andelar

Dina egna siffror, samma uträkning. Ange hur många som svarade i varje grupp och hur många som valde det svar du följer. Den uppdateras medan du skriver.

Två metoder, båda namngivna i resultatet: ett z-test för två andelar med sammanslaget standardfel för slutsatsen, och ett Wald-intervall med icke sammanslaget standardfel för storleken. Det är standardkombinationen, och eftersom de två felen skiljer sig kan de ge olika besked nära tröskeln; kalkylatorn säger till när det händer. Intervallets nivå följer den signifikansnivå du väljer, så alfa = 0,05 ger ett 95-procentsintervall, och etiketten anger nivån varje gång.

Den redovisar det minsta förväntade antalet så att du kan se när normalapproximationen slutar vara säker. Den redovisar inte observerad styrka: styrka beräknad i efterhand är en fast funktion av p-värdet, så den tillför ingenting utöver det du redan ser.

Ett konfidensintervall för skillnaden mellan två grupper

P-värdet besvarar en ja/nej-fråga som ingen egentligen ställde. Intervallet besvarar den som de ställde: hur stor är den?

Ett konfidensintervall är ett intervall som är konstruerat så att om du upprepade hela övningen många gånger skulle 95 procent av de intervall du tog fram på det sättet innehålla det sanna värdet. Det är en egenskap hos metoden, inte en sannolikhet knuten till just det intervall du har framför dig. Slarviga formuleringar som ”95 procents chans att sanningen ligger här” bygger på samma omvändning som gör att p-värden tolkas fel.

För en skillnad mellan två andelar byggs standardfelet upp från varje grupp för sig i stället för sammanslaget, eftersom du nu skattar skillnaden i stället för att testa om den är noll:

1. Skillnadens standardfel

   0,52 x 0,48 / 400 = 0,00062400. 0,45 x 0,55 / 420 = 0,00058929. Lägg ihop dem och ta kvadratroten: 0,03483, eller 3,483 procentenheter.

2. Multiplicera med det kritiska värdet

   För 95 procent är det 1,9600, inte 2. Att avrunda uppåt till 2 drar ned den undre gränsen från 0,2 till 0,0, vilket är skillnaden mellan ett intervall som går fritt från noll och ett som ser ut att nudda det. 1,9600 x 3,483 = 6,827 procentenheter.

3. Lägg det på båda sidor om skattningen

   7,0 plus/minus 6,827 ger 0,2 till 13,8 procentenheter.

Läs nu vad det faktiskt säger. Inbjudan via e-post ligger före, och data är förenliga med ett försprång på allt från en femtedels procentenhet till nästan fjorton. Ett resultat som ”signifikant på 0,05” dolde allt det. Om en skillnad på två procentenheter skulle ändra vad teamet gör har den här studien inte besvarat frågan, och p-värdet gav ingen antydan om det.

De två tolkningarna brukar stämma överens, och det är värt att vara exakt om varför de inte behöver göra det. z-testet ovan dividerade med det sammanslagna standardfelet, 0,03491, eftersom det beräknades under hypotesen att båda grupperna har samma andel. Det här intervallet använde det icke sammanslagna, 0,03483, eftersom det skattar skillnaden utan det antagandet. Ett test och ett intervall stämmer exakt överens bara när de bygger på samma konstruktion: ett intervall som tas fram genom att invertera det sammanslagna testet, eller ett test som görs med det icke sammanslagna felet. Standardkombinationen är två approximationer av det, och nära tröskeln kan de gå isär.

Ta 5 av 20 mot 11 av 20: det sammanslagna testet ger z = -1,9365 och p = 0,0528, inte signifikant på 0,05, medan det icke sammanslagna 95-procentsintervallet går från -58,9 till -1,1 procentenheter och utesluter noll. Båda är korrekta för sin egen metod; resultatet ligger på gränsen och bör redovisas med båda talen. Intervallet är ändå det bättre att publicera, eftersom det visar storleken lika väl som slutsatsen, och slutsatsen ensam visar ingetdera.

Vad p-värdet säger om nollhypotesen

Det tråkiga påståendet har ett namn: nollhypotesen, H0. P-värdet är sannolikheten att få en teststatistika som är minst lika extrem som din när H0 är sann. Allt annat som sägs om det är antingen en förkortning eller ett misstag.

Misstaget är alltid detsamma, och det är värt att benämna det exakt. P är sannolikheten för data givet hypotesen. Det som folk läser ut ur det är sannolikheten för hypotesen givet data. Det är olika storheter, och den andra kan inte alls beräknas ur ett p-värde: den kräver att du vet hur rimlig hypotesen var innan du samlade in något. American Statistical Association gjorde detta till den andra av sina sex principer 2016: ett p-värde mäter varken sannolikheten att den studerade hypotesen är sann eller sannolikheten att data uppstod av enbart slumpen. ⁴

Så p = 0,045 i exemplet med inbjudningarna betyder inte 4,5 procents chans att inbjudningarna är likvärdiga, och det betyder inte 95,5 procents chans att resultatet går att upprepa. Replikering beror på den sanna effekten och nästa studies storlek, och ingetdera finns i talet.⁵

Alfa och signifikansnivån

Alfa är den tröskel du binder dig vid innan data kommer in. Sätt alfa = 0,05 så har du sagt: om nollhypotesen är sann accepterar jag 5 procents risk att ändå kalla ett resultat signifikant. Kör tjugo sådana test på rent brus så blir ungefär ett signifikant, av konstruktion snarare än av en slump.

Ingenting gör 0,05 korrekt. Det är en konvention som stelnade efter att Fisher använde den som en grov riktlinje, och avvägningen är tydlig: ett lägre alfa ger färre falsklarm men kostar dig verkliga effekter som du nu kommer att missa. Välj det utifrån kostnaden för att ha fel åt vart och ett av hållen, skriv ner det först och ändra det inte när du väl har sett p-värdet.

Ensidiga och tvåsidiga test

Ett tvåsidigt test frågar om grupperna över huvud taget skiljer sig åt och räknar extrema resultat på båda sidor. Ett ensidigt test frågar om en viss grupp är högre och räknar bara den sidan.

Det vanliga påståendet är att ett ensidigt p-värde är hälften av det tvåsidiga. Det gäller bara när effekten faktiskt går åt det håll du förutsade. Vårt exempel hade ett tvåsidigt p på 0,04497. Om du i förväg hade förutsagt att e-post skulle slå appen, vilket är åt det håll det gick, är det ensidiga p 0,02249. Om du hade förutsagt att appen skulle vinna är det ensidiga p inte 0,02249. Det är 1 minus det, 0,9775, eftersom nästan hela fördelningen ligger på den sida du påstod. Halvering är ett specialfall, inte en regel.

Välj ensidigt bara när en skillnad åt andra hållet verkligen skulle lämna ditt beslut oförändrat, och bara innan du tittar. Att byta till ensidigt efter att ha sett ett tvåsidigt p på 0,08 är det äldsta tricket som finns, och det fördubblar din andel falskt positiva åt det håll du råkade gilla.

Vilket statistiskt test ska jag använda för två grupper?

Välj utifrån utfallets form och kontrollera sedan villkoren innan du tror på p-värdet. Villkoren är inte pappersarbete: vart och ett av dem är ett antagande som uträkningen i det tysta gör.

Ett villkor står över alla dessa och inget test kontrollerar det: svaren måste komma från de personer du tänkte fråga. Ett mycket litet p-värde på ett snedvridet urval är ett exakt svar på fel fråga, vilket är den praktiska kostnaden för svarsbias.

Statistisk signifikans innebär inte praktisk betydelse

Signifikans säger att en effekt går att upptäcka vid din urvalsstorlek. Den säger ingenting om huruvida effekten är värd att agera på, och med tillräckligt många svar går de två helt isär.

Ta en förändring på en procentenhet: andelen i högsta svarsalternativet går från 51,0 procent till 52,0 procent mellan två omgångar. Med 400 svar per omgång är p = 0,777 och ingen kallar det något. Förändringen blir signifikant på 0,05 när varje omgång har ungefär 19 191 svar: vid exakt den storleken är p = 0,0500. Procentenheten har inte blivit viktigare. Du har bara skaffat dig tillräckligt med precision för att se den.

Publicera därför storleken tillsammans med slutsatsen. För jämförelsen av inbjudningarna är det 7,0 procentenheter, intervall 0,2 till 13,8. Om du vill ha ett standardiserat mått är Cohens h för 52,0 procent mot 45,0 procent 0,14, vilket ligger under de 0,2 som Cohen kallade liten.⁷ En skillnad som går att upptäcka, och en liten sådan.

Två enkäter med sex månaders mellanrum gav olika resultat

Det här är det vanligaste sättet som frågan når ett enkätteam, och att först gripa efter ett signifikanstest är fel drag. Ett test förutsätter att de två urvalen skiljer sig enbart av slumpen. Mellan två omgångar skiljer de sig oftast åt med betydligt mer än så.

Kontrollera detta innan du räknar ut något. Var frågan formulerad exakt likadant, med samma skaletiketter i samma ordning? Pågick båda omgångarna lika länge, samma dagar? Svarade samma slags personer, eller gick en omgång ut via en kanal som når en annan publik? Låg en omgång i en period som verksamheten själv störde? Var och en av dessa ger en skillnad som inget test kommer att flagga som slump, och som inte har något att göra med det du mäter.

När jämförelsen verkligen är likvärdig följer testet av vad du jämför, och i enkätarbete är det oftast en andel. Av de 1 422 frågorna i vårt mallbibliotek är 45,3 procent skattningsitem, och 98,9 procent av dem har fem skalsteg. Den naturliga sammanfattningen av ett item med fem skalsteg är andelen som väljer det högsta svarsalternativet eller de två högsta, så z-testet för två andelar ovan är arbetshästen, inte t-testet. Att ta medelvärdet av en femgradig skala behandlar steget från 4 till 5 som lika stort som steget från 1 till 2, vilket ingen har visat.

Källa: SuperSurveys frågekorpus, 109 publicerade mallar och 1 422 frågor, avläst den 11 september 2026.

Två vanor till som är värda att behålla. Bestäm vilka jämförelser du ska göra innan data kommer in, eftersom andelen falskt positiva stiger med antalet test, inte med antalet du redovisar. Och ta urvalet på allvar: vilka som svarade betyder mer än hur många, och det är vad urvalsmetoder är till för. Resten av avdelningen Guider och hjälp går igenom besluten före och efter det här.

Vanliga frågor

Metod och begränsningar

Varje siffra på den här sidan beräknas i filen som bygger den, den är inte inskriven för hand, och bygget vägrar köra om någon av dem ändras. Svanssannolikheterna kommer från de ofullständiga gamma- och betafunktionerna med dubbel precision, kontrollerade mot slutna uttryck där sådana finns: Cauchyformen för en t-fördelning med en frihetsgrad, de algebraiska formerna för två och fyra frihetsgrader, och exp(-x/2) för chi-två med två frihetsgrader. Ingenting är avläst i en tabell.

Korrelationen använder SuperSurveys publicerade mallbibliotek, inläst mall för mall den 10 september 2026: 109 publicerade mallar och 1 422 frågor. Det som räknades var antalet frågor i varje mall och hur många av dem som besvaras med fritext. Utkast och omdirigeringar uteslöts. Båda versionerna av utfallet specificerades innan testet kördes, och båda redovisas ovan.

Två begränsningar spelar roll. Det här är vårt eget publicerade bibliotek, så det visar vad en enda enkätleverantör anser vara god praxis, inte vad världens enkäter gör, och inget resultat här bör läsas som ett faktum om enkäter i allmänhet. Och resultatet för andelen är delvis strukturellt: mallens längd ingår i utfallets nämnare, så en del av den negativa korrelationen är aritmetik snarare än redaktionellt omdöme. Det är precis därför versionen med antal står bredvid.

Jämförelsen av inbjudningarna, stegen med urvalsstorlekar och förändringen på en procentenhet är räknade exempel med angivna indata, inte mätningar. Uträkningarna är verkliga och går att återskapa från de siffror som visas; scenarierna är illustrationer.

Källor

1. Centers for Disease Control and Prevention, National Center for Health Statistics. Statistical significance. I Health, United States: Sources and Definitions. cdc.gov
2. National Institutes of Health, National Center for Advancing Translational Sciences. Statistical significance. NCATS Toolkit glossary. toolkit.ncats.nih.gov
3. US Department of Education, National Center for Education Statistics. Statistical significance and sample size. National Assessment of Educational Progress. nces.ed.gov
4. Wasserstein, R. L. och Lazar, N. A. (2016). The ASA statement on p-values: context, process, and purpose. The American Statistician, 70(2), 129-133. doi.org/10.1080/00031305.2016.1154108
5. Greenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N. och Altman, D. G. (2016). Statistical tests, P values, confidence intervals, and power: a guide to misinterpretations. European Journal of Epidemiology, 31(4), 337-350. doi.org/10.1007/s10654-016-0149-3
6. Cochran, W. G. (1954). Some methods for strengthening the common chi-square tests. Biometrics, 10(4), 417. doi.org/10.2307/3001616
7. Cohen, J. (1992). A power primer. Psychological Bulletin, 112(1), 155-159. doi.org/10.1037/0033-2909.112.1.155
8. Hoenig, J. M. och Heisey, D. M. (2001). The abuse of power: the pervasive fallacy of power calculations for data analysis. The American Statistician, 55(1), 19-24. doi.org/10.1198/000313001300339897
9. Cox, D. R. (2020). Statistical significance. Annual Review of Statistics and Its Application, 7, 1-10. doi.org/10.1146/annurev-statistics-031219-041051
10. SuperSurveys frågekorpus, 109 publicerade mallar och 1 422 frågor, avläst den 11 september 2026.

Läs vidare

• Korrelation i enkätdata Att utforma en studie som kan bära den korrelation du vill redovisa.
• Hur många svar du behöver Avgör det innan du går ut i fält, medan du fortfarande kan bredda listan över inbjudna.
• Steg i regressionsanalys Från ett ja/nej-besked till en lutning som du kan sätta i en mening.