Significant verband in onderzoek: wat het betekent en hoe u het toetst

Wat een significant verband in onderzoek betekent

De richting van de voorwaarde is waar het om draait, en precies dat deel draaien de meeste verslagen om.

Begin bij de bewering waartegen u argumenteert. Dat is altijd de saaie: in de populatie hebben deze twee variabelen niets met elkaar te maken. Meet nu het verband in uw steekproef en stel één vraag. Als de saaie bewering waar was, hoe vaak zou een steekproef van deze omvang dan puur door toeval een verband opleveren dat minstens zo sterk is? Dat getal is de p-waarde. Klein betekent dat toeval een slechte verklaring is.

Wat u niet mag doen, is de zin omdraaien. De toets vertelt u nooit de kans dat de variabelen samenhangen, want alles is berekend onder de aanname dat ze dat niet doen. De live versie van deze pagina zei vroeger dat een significant verband betekent dat de correlatie “waarschijnlijk niet nul is in de populatie”. Dat leest goed en het is fout. De correlatie die u hebt waargenomen, is onwaarschijnlijk als de correlatie in de populatie nul is. Dezelfde woorden, tegengestelde richting, en maar één ervan is iets wat uw gegevens kunnen onderbouwen.

Drie dingen die de term niet inhoudt, hoe vaak hij ook zo wordt gelezen:

• Geen sterkte. Significantie beantwoordt of het verband te onderscheiden is van niets. Hoe groot het is, volgt uit r zelf of uit een helling. Met genoeg reacties is een r van 0,05 significant en toch bijna niets waard.
• Geen oorzaak. Dat twee variabelen samen bewegen, zegt niets over welke de andere beweegt, of dat een derde ze allebei beweegt. Dat is een kwestie van onderzoeksopzet, beslist door hoe het onderzoek is opgebouwd, en geen enkele toetsingsgrootheid kan die achteraf beantwoorden.
• Geen waarheid. Een p-waarde wordt berekend binnen een model dat aanneemt dat uw steekproef is wat ze beweert te zijn. Als de verkeerde mensen antwoordden, is het rekenwerk nog steeds perfect en de conclusie nog steeds fout.

Een significante correlatie tussen twee variabelen toetsen

De r van Pearson loopt van -1 tot +1 en meet hoe nauw twee variabelen een rechte lijn volgen. Om na te gaan of de r die u vond meer is dan toeval, zet u die om in een t-waarde:

t = r x sqrt(n - 2) / sqrt(1 - r^2), afgelezen in de t-verdeling met n - 2 vrijheidsgraden.

Hier is dat op echte gegevens. Voordat ik ergens naar keek, legde ik één vraag vast: hangt over de 109 live sjablonen in onze bibliotheek het aantal vragen in een sjabloon samen met het aandeel van die vragen dat open is? Daarna heb ik de toets één keer uitgevoerd.

1. Bepaal r

   r = -0,3701 over n = 109 sjablonen. Afgerond voor rapportage: r = -0,37.

2. Bepaal de vrijheidsgraden

   n - 2 = 107. Dus sqrt(107) = 10,3441.

3. Bepaal de noemer

   r in het kwadraat is 0,1369, dus 1 - r^2 = 0,8631 en sqrt(0,8631) = 0,9290.

4. Deel

   t = -0,37 x 10,3441 / 0,9290 = -4,1197, bij 107 vrijheidsgraden.

5. Lees de staart af

   Een t van 4,12 bij 107 vrijheidsgraden laat 0,000075 van de tweezijdige verdeling voorbij die waarde. Dat is p = 7,5 x 10^-5, oftewel ongeveer één steekproef op de 13.000.

Rapporteer het interval erbij. Met de transformatie van Fisher loopt het 95-procentsinterval voor r van -0,52 tot -0,20. Dat is de eerlijke samenvatting: een negatief verband, ergens tussen zwak en matig, en de gegevens kunnen het niet nauwkeuriger vastleggen. Wat zo’n coëfficiënt wel en niet kan onderbouwen, en hoe u er een onderzoek omheen opzet, staat volledig beschreven waar we een correlatie in een enquête interpreteren.

Het resultaat voor het aandeel doorstaat een controle op één sjabloon dat het geheel meetrekt: op rangen in plaats van waarden is de rho van Spearman -0,44 met p = 1,6 x 10^-6, en het resultaat voor het aantal blijft vlak op rho = -0,03. De r van Pearson vraagt om een rechtlijnig verband, onafhankelijke paren en geen enkel punt dat ver genoeg afwijkt om de lijn in zijn eentje te buigen. Bekijk het spreidingsdiagram voordat u de coëfficiënt vertrouwt. Als u de grootte van het effect wilt in plaats van een ja of nee, bepaal dan een helling en schat het verband in echte eenheden: zoveel open vragen minder per extra vraag, in plaats van een kale r.

Significant verschil of significant verband

Dit zijn de twee vormen waarin bijna elke enquêtevraag voorkomt, en ze worden verschillend getoetst. Een verschil vergelijkt groepen op één uitkomst. Een verband vraagt of twee metingen samen bewegen.

Beide zijn hypothesetoetsen en beide leveren een p-waarde op, dus beide worden op dezelfde manier gelezen. Ze zijn niet uitwisselbaar: een verschil tussen groepen is geen correlatie, en het een als het ander rapporteren is een veelvoorkomende manier om een bevinding te overdrijven. Beide kunnen worden uitgevoerd op kwantitatieve enquêtegegevens.

Is het verschil tussen twee groepen significant?

Stel dat een supportteam na elk ticket dezelfde enquête met één vraag stuurt, via twee soorten uitnodiging. Van de 400 mensen die na een uitnodiging per e-mail antwoordden, kozen er 208 de hoogste antwoordcategorie. Van de 420 die na een melding in de app antwoordden, deden 189 dat. Dat is 52,0 procent tegenover 45,0 procent, een verschil van 7,0 punten. Is dat meer dan steekproefvariatie alleen bij deze aantallen zou opleveren?

Omdat de uitkomst een aandeel is en geen gemiddelde, is de toets de z-toets voor twee proporties. Voeg de twee groepen samen om het percentage te schatten dat u zou verwachten als de uitnodiging geen verschil maakte, bereken hoeveel een verschil van dit soort bij deze steekproefgroottes schommelt, en deel.

1. Voeg de twee groepen samen

   (208 + 189) / (400 + 420) = 397 / 820 = 0.4841.

2. Bereken de standaardfout

   0,4841 x 0,5159 = 0,2497. 1/400 + 1/420 = 0,004881. Vermenigvuldig: 0,00121901. Wortel: 0,03491.

3. Deel het verschil erdoor

   z = 0,07 / 0,03491 = 2,0049. Houd de decimalen aan. Deelt u in plaats daarvan door de afgeronde standaardfout van 0,0349, dan komt z uit op 2,0057, wat wordt weergegeven als 2,01 en een staart van 0,0444 heeft. Dat is de 0,044 die deze pagina jarenlang publiceerde, en die is fout door één afrondingsstap, niet door een decimaal.

4. Lees de staart af

   Een standaardnormale verdeling heeft 0,04497 van haar massa voorbij 2,0049 in de twee staarten samen. Dus p = 0,045. Onder 0,05, dus het verschil is significant op het niveau van 5 procent, met heel weinig marge.

Reken dezelfde getallen door met een chikwadraattoets op onafhankelijkheid op de twee-bij-tweetabel en u krijgt precies hetzelfde antwoord: chikwadraat is z in het kwadraat, 4,0197 bij één vrijheidsgraad, p = 0,04497. Het is dezelfde toets op twee manieren geschreven, dus een significante chikwadraat op een twee-bij-tweetabel en een significante z-toets zijn nooit met elkaar in strijd.

Het verschil veranderde niet toen we de steekproefgrootte veranderden. Het oordeel wel. Bij een kwart van de reacties, 52 van de 100 tegenover 45 van de 100 voor dezelfde 7,0 punten, daalt z naar 0,9904 en stijgt p naar 0,32. Aan de uitnodigingen veranderde niets. Alleen het bewijs veranderde, en daarom plant u het aantal reacties vóór het veldwerk en niet erna.

Als de vergelijking nog voor u ligt, is dit het moment dat de doorslag geeft. Maak een enquête om groepen te vergelijken en bepaal de grootte van elke groep op basis van het kleinste verschil dat u moet kunnen opsporen. Een vergelijking die te klein was toen ze werd uitgevoerd, blijft te klein; een groter vervolgonderzoek is een nieuw onderzoek met een eigen p-waarde, geen reparatie van dit onderzoek.

Significantiecalculator voor twee proporties

Uw eigen getallen, hetzelfde rekenwerk. Vul in hoeveel mensen er in elke groep antwoordden en hoeveel het antwoord kozen dat u volgt. De uitkomst wordt bijgewerkt terwijl u typt.

Twee methoden, allebei in de uitkomst genoemd: een z-toets voor twee proporties op de samengevoegde standaardfout voor het oordeel, en een Wald-interval op de niet-samengevoegde standaardfout voor de grootte. Dat is de standaardcombinatie, en omdat de twee fouten verschillen, kunnen ze dicht bij de drempel van elkaar afwijken; de calculator meldt het wanneer dat gebeurt. Het niveau van het interval volgt het significantieniveau dat u kiest, dus alfa = 0,05 geeft een 95-procentsinterval, en het label vermeldt het niveau elke keer.

De calculator meldt de kleinste verwachte telling, zodat u ziet wanneer de normale benadering niet meer veilig is. Hij meldt geen waargenomen power: power achteraf is een vaste functie van de p-waarde en voegt dus niets toe aan wat u al kunt zien.

Een betrouwbaarheidsinterval voor het verschil tussen twee groepen

De p-waarde beantwoordt een ja-of-nee-vraag die niemand eigenlijk stelde. Het interval beantwoordt de vraag die wel werd gesteld: hoe groot is het?

Een betrouwbaarheidsinterval is een bereik dat zo is opgebouwd dat, als u de hele oefening vele malen herhaalde, 95 procent van de intervallen die u zo opbouwde de werkelijke waarde zou bevatten. Het is een eigenschap van de methode, geen kans die aan het ene interval voor u hangt. Slordige uitspraken als “95 procent kans dat de waarheid hierin ligt” maken dezelfde omkering waardoor p-waarden verkeerd worden uitgelegd.

Voor een verschil tussen twee proporties wordt de standaardfout per groep apart berekend in plaats van samengevoegd, omdat u nu het verschil schat in plaats van te toetsen of het nul is:

1. Standaardfout van het verschil

   0,52 x 0,48 / 400 = 0,00062400. 0,45 x 0,55 / 420 = 0,00058929. Tel ze op en neem de wortel: 0,03483, oftewel 3,483 procentpunt.

2. Vermenigvuldig met de kritieke waarde

   Voor 95 procent is dat 1,9600, niet 2. Afronden naar 2 trekt de ondergrens omlaag van 0,2 naar 0,0, en dat is het verschil tussen een interval dat nul vrijlaat en een interval dat nul lijkt te raken. 1,9600 x 3,483 = 6,827 punten.

3. Zet het aan weerszijden van de schatting

   7,0 plus of min 6,827 geeft 0,2 tot 13,8 procentpunt.

Lees nu wat dat werkelijk zegt. De uitnodiging per e-mail ligt voor, en de gegevens zijn verenigbaar met een voorsprong van alles tussen een vijfde punt en bijna veertien punten. Een bevinding van “significant bij 0,05” verborg dat allemaal. Als een verschil van twee punten zou veranderen wat het team doet, heeft dit onderzoek de vraag niet beantwoord, en de p-waarde gaf daar geen enkele aanwijzing voor.

De twee lezingen komen meestal overeen, en het is goed om precies te zijn over waarom dat niet hoeft. De z-toets hierboven deelde door de samengevoegde standaardfout, 0,03491, omdat die werd berekend onder de hypothese dat beide groepen één percentage delen. Dit interval gebruikte de niet-samengevoegde, 0,03483, omdat het het verschil schat zonder die aanname. Een toets en een interval komen alleen precies overeen als ze op dezelfde manier zijn opgebouwd: een interval dat door het omkeren van de samengevoegde toets is gemaakt, of een toets die op de niet-samengevoegde fout is uitgevoerd. Deze standaardcombinatie bestaat uit twee benaderingen daarvan, en dicht bij de drempel kunnen ze uiteenlopen.

Neem 5 van de 20 tegenover 11 van de 20: de samengevoegde toets geeft z = -1,9365 en p = 0,0528, niet significant bij 0,05, terwijl het niet-samengevoegde 95-procentsinterval loopt van -58,9 tot -1,1 punten en nul uitsluit. Beide zijn correct voor hun eigen methode; het resultaat is een grensgeval en moet met beide getallen worden gerapporteerd. Het interval is nog steeds beter om te publiceren, omdat het naast het oordeel ook de grootte geeft, terwijl het oordeel alleen geen van beide geeft.

Wat de p-waarde zegt over de nulhypothese

De saaie bewering heeft een naam: de nulhypothese, H0. De p-waarde is de kans op een toetsingsgrootheid die minstens zo extreem is als de uwe wanneer H0 waar is. Al het andere wat mensen erover zeggen, is een verkorting of een vergissing.

De vergissing is altijd dezelfde, en het loont om die precies te benoemen. P is de kans op de gegevens gegeven de hypothese. Wat mensen eruit aflezen, is de kans op de hypothese gegeven de gegevens. Dat zijn verschillende grootheden, en de tweede kan helemaal niet uit een p-waarde worden berekend: daarvoor moet bekend zijn hoe aannemelijk de hypothese was voordat u iets verzamelde. De American Statistical Association maakte dit in 2016 het tweede van haar zes principes: een p-waarde meet niet de kans dat de onderzochte hypothese waar is, en ook niet de kans dat de gegevens alleen door toeval zijn ontstaan.⁴

Dus p = 0,045 in het voorbeeld van de uitnodigingen betekent geen kans van 4,5 procent dat de uitnodigingen gelijkwaardig zijn, en ook geen kans van 95,5 procent dat het resultaat zich herhaalt. Of het zich herhaalt, hangt af van het werkelijke effect en de omvang van het volgende onderzoek, en geen van beide zit in het getal.⁵

Alfa en het significantieniveau

Alfa is de drempel waaraan u zich vastlegt voordat de gegevens binnenkomen. Stel alfa = 0,05 in en u hebt gezegd: als de nulhypothese waar is, accepteer ik een kans van 5 procent dat ik een resultaat toch significant noem. Voer twintig van zulke toetsen uit op pure ruis en ongeveer één komt significant terug, door de opzet en niet door toeval.

Niets maakt 0,05 juist. Het is een conventie die zich vastzette nadat Fisher het als ruwe richtlijn gebruikte, en de afweging is duidelijk: een lagere alfa levert minder valse alarmen op en kost u echte effecten die u dan mist. Kies haar op basis van de kosten van een vergissing in elke richting, schrijf haar eerst op, en verander haar niet meer zodra u de p-waarde hebt gezien.

Eenzijdige en tweezijdige toetsen

Een tweezijdige toets vraagt of de groepen überhaupt verschillen, en telt extreme resultaten aan beide kanten. Een eenzijdige toets vraagt of één bepaalde groep hoger is, en telt alleen die kant.

De gebruikelijke bewering is dat een eenzijdige p-waarde de helft is van de tweezijdige. Dat klopt alleen als het effect werkelijk de kant op gaat die u voorspelde. Ons voorbeeld had een tweezijdige p van 0,04497. Als u vooraf had voorspeld dat e-mail het van de app zou winnen, en dat was de richting die het uitviel, dan is de eenzijdige p 0,02249. Als u had voorspeld dat de app zou winnen, is de eenzijdige p niet 0,02249. Ze is 1 min dat getal, 0,9775, omdat bijna de hele verdeling aan de kant ligt die u claimde. Halveren is een speciaal geval, geen regel.

Kies eenzijdig alleen als een verschil in de andere richting uw beslissing echt onveranderd zou laten, en alleen voordat u kijkt. Overstappen op eenzijdig nadat u een tweezijdige p van 0,08 hebt gezien, is de oudste truc die er bestaat, en die verdubbelt uw percentage vals-positieven in de richting die u toevallig beviel.

Welke statistische toets gebruik ik voor twee groepen?

Kies op basis van de vorm van de uitkomst, en controleer de voorwaarden voordat u de p-waarde gelooft. De voorwaarden zijn geen papierwerk: elk ervan is een aanname die het rekenwerk stilzwijgend maakt.

Eén voorwaarde staat boven al deze voorwaarden, en geen enkele toets controleert haar: de reacties moeten komen van de mensen die u wilde vragen. Een piepkleine p-waarde op een scheve steekproef is een precies antwoord op de verkeerde vraag, en dat is de praktische prijs van responsbias.

Statistische significantie betekent niet dat iets in de praktijk belangrijk is

Significantie vertelt u dat een effect bij uw steekproefgrootte aantoonbaar is. Ze zegt niets over of het effect de moeite waard is om op te handelen, en met genoeg reacties raken die twee volledig los van elkaar.

Neem een verschuiving van één punt: de hoogste antwoordcategorie gaat tussen twee metingen van 51,0 procent naar 52,0 procent. Bij 400 reacties per meting is p = 0,777 en noemt niemand het iets. De verschuiving wordt significant bij 0,05 zodra elke meting ongeveer 19.191 reacties heeft: bij precies die grootte is p = 0,0500. Het punt is niet belangrijker geworden. U hebt alleen genoeg precisie gekocht om het te zien.

Publiceer dus de grootte naast het oordeel. Voor de vergelijking van de uitnodigingen is dat 7,0 procentpunt, interval 0,2 tot 13,8. Als u een gestandaardiseerd cijfer wilt: de h van Cohen voor 52,0 procent tegenover 45,0 procent is 0,14, en dat ligt onder de 0,2 die Cohen klein noemde.⁷ Een aantoonbaar verschil, en een klein verschil.

Twee enquêtes met zes maanden ertussen gaven verschillende resultaten

Zo bereikt de vraag een enquêteteam het vaakst, en meteen naar een significantietoets grijpen is dan de verkeerde zet. Een toets gaat ervan uit dat de twee steekproeven alleen door toeval verschillen. Tussen twee metingen verschillen ze meestal door meer dan dat.

Controleer dit voordat u iets berekent. Was de vraag identiek geformuleerd, met dezelfde schaallabels in dezelfde volgorde? Liepen beide metingen even lang, op dezelfde dagen? Antwoordden dezelfde soorten mensen, of ging één meting uit via een kanaal dat een ander publiek bereikt? Viel één meting in een periode die het bedrijf zelf verstoorde? Elk hiervan levert een verschil op dat geen enkele toets als toeval zal aanmerken en dat niets te maken heeft met wat u meet.

Zodra de vergelijking echt gelijk tegen gelijk is, volgt de toets uit wat u vergelijkt, en bij enquêtewerk is dat meestal een aandeel. Van de 1.422 vragen in onze sjabloonbibliotheek is 45,3 procent een beoordelingsitem, en 98,9 procent daarvan biedt vijf punten. De natuurlijke samenvatting van een item met vijf punten is het aandeel dat de hoogste categorie of de hoogste twee kiest, dus de z-toets voor twee proporties hierboven is het werkpaard, niet de t-toets. Een vijfpuntsschaal middelen behandelt de stap van 4 naar 5 als gelijk aan de stap van 1 naar 2, en dat heeft niemand aangetoond.

Bron: SuperSurvey Question Corpus, 109 live sjablonen en 1.422 vragen, uitgelezen op 11 september 2026.

Nog twee gewoonten die de moeite waard zijn. Bepaal welke vergelijkingen u uitvoert voordat de gegevens binnen zijn, want het percentage vals-positieven stijgt met het aantal toetsen, niet met het aantal dat u rapporteert. En neem de steekproef serieus: wie antwoordde, weegt zwaarder dan hoeveel, en daarvoor zijn steekproefmethoden bedoeld. De rest van de rubriek Handleidingen en hulp behandelt de beslissingen ervoor en erna.

Veelgestelde vragen

Methode en beperkingen

Elk cijfer op deze pagina wordt berekend in het bestand dat de pagina opbouwt, niet ingetypt, en het opbouwen weigert als een ervan verandert. Staartkansen komen uit de onvolledige gamma- en onvolledige bètafuncties met dubbele precisie, gecontroleerd tegen gesloten vormen waar die bestaan: de Cauchy-vorm voor een t-verdeling met één vrijheidsgraad, de algebraïsche vormen bij twee en vier, en exp(-x/2) voor een chikwadraat met twee. Niets wordt uit een tabel afgelezen.

De correlatie gebruikt de live sjabloonbibliotheek van SuperSurvey, sjabloon voor sjabloon uitgelezen op 10 september 2026: 109 live sjablonen en 1.422 vragen. Geteld zijn het aantal vragen in elk sjabloon en hoeveel daarvan een vrij tekstantwoord vragen. Uitgesloten zijn concepten en doorverwijzingen. Beide versies van de uitkomst zijn vastgelegd voordat de toets werd uitgevoerd, en beide worden hierboven gerapporteerd.

Twee beperkingen doen ertoe. Dit is onze eigen gepubliceerde bibliotheek, dus ze laat zien wat één enquêteleverancier als goede praktijk beschouwt, niet wat de enquêtes in de wereld doen; geen enkel resultaat hier mag dus worden gelezen als een feit over enquêtes in het algemeen. En het resultaat voor het aandeel is deels structureel: de lengte van het sjabloon zit in de noemer van de uitkomst, dus een deel van de negatieve correlatie is rekenkunde en geen redactionele keuze. Precies daarom staat de versie met het aantal ernaast.

De vergelijking van de uitnodigingen, de reeks steekproefgroottes en de verschuiving van één punt zijn uitgewerkte voorbeelden met vermelde invoer, geen metingen. Het rekenwerk is echt en reproduceerbaar uit de getoonde getallen; de scenario’s zijn illustraties.

Bronnen

1. Centers for Disease Control and Prevention, National Center for Health Statistics. Statistical significance. In Health, United States: Sources and Definitions. cdc.gov
2. National Institutes of Health, National Center for Advancing Translational Sciences. Statistical significance. NCATS Toolkit glossary. toolkit.ncats.nih.gov
3. US Department of Education, National Center for Education Statistics. Statistical significance and sample size. National Assessment of Educational Progress. nces.ed.gov
4. Wasserstein, R. L. en Lazar, N. A. (2016). The ASA statement on p-values: context, process, and purpose. The American Statistician, 70(2), 129-133. doi.org/10.1080/00031305.2016.1154108
5. Greenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N. en Altman, D. G. (2016). Statistical tests, P values, confidence intervals, and power: a guide to misinterpretations. European Journal of Epidemiology, 31(4), 337-350. doi.org/10.1007/s10654-016-0149-3
6. Cochran, W. G. (1954). Some methods for strengthening the common chi-square tests. Biometrics, 10(4), 417. doi.org/10.2307/3001616
7. Cohen, J. (1992). A power primer. Psychological Bulletin, 112(1), 155-159. doi.org/10.1037/0033-2909.112.1.155
8. Hoenig, J. M. en Heisey, D. M. (2001). The abuse of power: the pervasive fallacy of power calculations for data analysis. The American Statistician, 55(1), 19-24. doi.org/10.1198/000313001300339897
9. Cox, D. R. (2020). Statistical significance. Annual Review of Statistics and Its Application, 7, 1-10. doi.org/10.1146/annurev-statistics-031219-041051
10. SuperSurvey-vragencorpus, 109 actieve sjablonen en 1.422 vragen, gelezen op 11 september 2026.

Verder lezen

• Correlatie in enquêtegegevens Een onderzoek opzetten dat de correlatie kan onderbouwen die u wilt rapporteren.
• Hoeveel reacties u nodig hebt Leg het vast vóór het veldwerk, zolang u de uitnodigingslijst nog kunt uitbreiden.
• Stappen van een regressieanalyse Van een ja-of-nee-oordeel naar een helling die u in een zin kunt zetten.