Wat is steekproeftrekking in onderzoek?

Definitie van steekproeftrekking (en de 5 begrippen die moeten kloppen)

Steekproeftrekking is het selecteren van een kleinere groep (een steekproef) uit een grotere groep (een populatie), zodat u iets over de populatie te weten komt zonder iedereen te meten. Een onderzoek onder de hele populatie is vaak onpraktisch, dus werken onderzoekers met een steekproef om het werk haalbaar te maken en toch bruikbare conclusies te trekken.

De vijf begrippen hieronder vormen de kern van elk methodologiehoofdstuk. Kloppen ze niet, dan werkt die fout door in elke latere beslissing.

• warning
  Populatie: de volledige groep die u wilt beschrijven, afgebakend en met een tijdvenster. “Alle laatstejaars verpleegkundestudenten op de drie locaties, ingeschreven per 1 maart” is een populatie. “Verpleegkundigen” is dat niet.
• warning
  Doelpopulatie versus bereikbare populatie: wie u wilt beschrijven tegenover wie uw werving en middelen werkelijk bereiken. Het verschil tussen de twee benoemen is in een verslag een sterk punt, geen zwakte.
• warning
  Steekproefkader: de lijst of het mechanisme waaruit u trekt. Een studentenregister, een patiëntenregister, een klantenbestand, een lijst van huishoudens in een dorp, een kiezersregister. Problemen met het kader veroorzaken dekkingsfouten, en geen enkele methode herstelt die.
• warning
  Steekproefeenheid: wat er werkelijk geselecteerd wordt. Een persoon, een huishouden, een kliniek, een klas, een dienst, een bestelling. Bij cluster- en meertrapsontwerpen is de eenheid in de eerste trap een groep, en die groep heet de primaire steekproefeenheid.
• warning
  Steekproefopzet: het hele plan op papier. Kader, methode, hoeveel eenheden, hoe ze benaderd worden en wat u doet met de mensen die niet antwoorden. Een “steekproefopzet” is waar een examinator of beoordelaar eigenlijk naar vraagt als die naar uw steekproeftrekking vraagt.

Voor een korte officiële definitie van hetzelfde idee, zie de trainingsnotitie over steekproeftrekking van het U.S. Office of Research Integrity (Amerikaans bureau voor onderzoeksintegriteit).¹ Als u steekproeftrekking binnen een breder onderzoeksplan plaatst, behandelt onze gids over de opzet van enquêteonderzoek de stappen ervoor en erna.

Waarom een steekproef, en wanneer is een volledige telling beter?

De behoefte aan steekproeftrekking is eerst praktisch en pas daarna statistisch. Vier redenen komen steeds terug.

1. Kosten

   Elke extra deelnemer kost geld, personeelstijd of goodwill. Een goed getrokken steekproef van 600 kan dezelfde vraag beantwoorden als een slecht uitgevoerde poging onder 60.000.

2. Snelheid

   Beslissingen hebben deadlines. Een steekproef geeft u een antwoord binnen de periode waarin dat antwoord nog nuttig is.

3. Haalbaarheid

   Sommige populaties zijn helemaal niet op te sommen: voorbijgangers op een markt, mensen die een dienst hebben opgezegd, informele handelaren. Andere zijn in de praktijk oneindig, of het meten van een eenheid vernietigt die.

4. Kwaliteit

   Deze reden verrast mensen. Door de inspanning op een kleinere groep te richten, kunt u non-respondenten nabellen, interviewers goed trainen en de gegevens controleren. Inspanning per eenheid is meestal meer waard dan meer eenheden.

Een volledige telling meet daarentegen iedereen. Dat is de betere keuze als de populatie klein genoeg is om te bereiken, als contactgegevens al bestaan of als elk lid het recht heeft om gevraagd te worden. Een medewerkersenquête in een organisatie van 200 personen is een vraag voor een volledige telling, geen steekproefvraag. Dat geldt ook voor een klasevaluatie. Bij een kleine populatie levert steekproeftrekking bijna niets op en kost het u de mogelijkheid om per team te rapporteren.

Hoe een goede steekproef er echt uitziet

Studieboeken noemen een goede steekproef “representatief”, maar dat is geen werkbare toets. Deze vier eigenschappen zijn dat wel.

• Dekking: iedereen in de doelpopulatie had in principe geselecteerd kunnen worden.
• Gecontroleerde selectie: wie in de steekproef komt, wordt bepaald door een regel, niet door wie zich vrijwillig meldt of wie het dichtst bij de deur staat.
• Genoeg eenheden in de kleinste groep waarover u moet rapporteren: een totaal kan er gezond uitzien terwijl de groep waar het u echt om gaat op 11 reacties rust.
• Te beschrijven: u kunt precies opschrijven hoe de steekproef is getrokken, en iemand anders zou het kunnen herhalen.

Voor een uitleg in gewone taal van hoe steekproeven populatieschattingen onderbouwen, is het overzicht van het U.S. Census Bureau (Amerikaans bureau voor de statistiek) over steekproeftrekking en inferentie bij enquêtes een goed beginpunt.²

Uw steekproefkader bepaalt het plafond

Een steekproefkader is de concrete lijst of het mechanisme waaruit u trekt. Het is het minst besproken deel van steekproeftrekking en de plek waar de meeste echte onderzoeken ongemerkt misgaan, omdat het kader bepaalt wie überhaupt in aanmerking kwam om geselecteerd te worden.

Kaders zijn gewone dingen. Een studentenregister, een patiëntenregister, een personeelslijst, een klantenbestand. Een lijst van dorpen met aantallen huishoudens, een kiezersregister, een reeks bestellingen, een lijst van klinieken in een district. Merk op dat sommige kaders mensen opsommen en andere plaatsen. Dat onderscheid bepaalt welke methoden voor u openstaan.

Controleer het kader vóór de trekking, niet erna. Tel de rijen. Vergelijk dat aantal met elk onafhankelijk totaal dat u kunt vinden, zoals het personeelsbestand volgens HR of een inschrijvingsaantal. Zoek het segment dat u het pijnlijkst zou vinden om te missen en controleer of het erin staat. Verwijder dubbele vermeldingen. Schrijf op wat het kader uitsluit, want die zin hoort hoe dan ook in uw beperkingen.

De 9 steekproefmethoden vergeleken

Steekproefmethoden vallen in twee families uiteen. Aselecte steekproeftrekking gebruikt een toevalsmechanisme, zodat elke eenheid in het kader een bekende kans groter dan nul heeft om geselecteerd te worden. Niet-aselecte steekproeftrekking doet dat niet, dus de selectiekansen zijn onbekend. Al het andere volgt uit dat ene onderscheid.

De tweede kolom is de kolom die de meeste gidsen weglaten, dus die staat hier vooraan. Alleen een aselecte opzet onderbouwt een foutmarge, een betrouwbaarheidsinterval of de zin “plus of min 5 punten”. Als een methode daar nee zegt, kunt u er nog steeds veel van leren. U kunt alleen geen precisiecijfer naast het resultaat publiceren. Precisie zelf is een ander onderwerp, dat in onze gids over steekproefgrootte wordt behandeld.

De tabel lezen: de eerste vijf methoden zijn aselecte opzetten en de laatste vier niet. Die ene tweedeling, niet de afzonderlijke methodenamen, bepaalt of een precisiecijfer eerlijk is.

Aselecte steekproefmethoden, één voor één

Aselecte steekproeftrekking betekent dat elke eenheid in het kader een bekende kans groter dan nul heeft om geselecteerd te worden, en dat een toevalsmechanisme de selectie doet. Dat is de hele basis om iets in getallen over de populatie te zeggen. Vijf opzetten dekken bijna elk echt onderzoek. Overzichtsartikelen uit klinisch en gezondheidsonderzoek behandelen dezelfde familie onder iets andere namen, en het is goed om te weten waarom voordat u beide tegenkomt: beide hier geciteerde overzichten rekenen de meertrapssteekproef tot de clustersteekproef in plaats van die apart te noemen.³⁴

Enkelvoudige aselecte steekproef

Een enkelvoudige aselecte steekproef geeft elke eenheid op de lijst precies dezelfde kans op selectie. U nummert de lijst, genereert willekeurige getallen en neemt de eenheden waarop die uitkomen.

Uitgewerkt voorbeeld. Een universiteitsregister bevat 12.000 ingeschreven studenten en u hebt 400 reacties nodig. Nummer het register van 1 tot 12.000, genereer met een spreadsheet of statistisch pakket 400 unieke willekeurige getallen in dat bereik en nodig die studenten uit. Als u een responspercentage van 40 procent verwacht, trek en nodig dan 1.000 studenten uit, zodat 400 volledige reacties realistisch zijn.

Waar het misgaat. Met 400 reacties verspreid over een register van 12.000 studenten levert een afdeling van 300 studenten ongeveer 10 mensen op. Dat is te weinig om over te rapporteren. Als een subgroep in uw resultaten moet voorkomen, is de enkelvoudige aselecte steekproef het verkeerde instrument en is gestratificeerde steekproeftrekking de oplossing.

Leg uw randomisatie vast. De gebruikte software, de seed als die er was, en de datum. Die ene zin maakt de trekking reproduceerbaar, en beoordelaars vragen er echt naar.

Systematische steekproef

Een systematische steekproef neemt na een willekeurig startpunt elke k-de eenheid van een geordende lijst. Deel de omvang van de lijst door het aantal dat u nodig hebt om het interval k te krijgen, kies een willekeurig getal tussen 1 en k als startpunt en tel dan verder.

Uitgewerkt voorbeeld. Een regionaal ziekenhuis registreert 9.000 poliklinische bezoeken per kwartaal en wil 600 exitinterviews. Het interval is 9.000 gedeeld door 600, dus k is 15. Kies een willekeurig startpunt tussen 1 en 15, bijvoorbeeld 7, en interview dan bezoek 7, 22, 37, 52 enzovoort. Een veldteam kan die regel zonder laptop volgen, en dat is de echte reden dat deze methode blijft bestaan.

Waar het misgaat. Periodiciteit. Als de lijst een terugkerende cyclus heeft die samenvalt met k, trekt u elke keer hetzelfde vakje. Een bezoekenlijst die op spreekuurdag is geordend, met een cyclus van 7 dagen en een interval van 7, zou u één weekdag opleveren en verder niets. Controleer de volgorde voordat u k vastlegt, en schud de lijst als de volgorde samenhangt met wat u meet.

Gestratificeerde steekproef

Een gestratificeerde steekproef verdeelt de populatie in niet-overlappende groepen, strata genoemd, en trekt dan binnen elk stratum een aselecte steekproef. Het is de nuttigste verbetering die voor de meeste onderzoeken beschikbaar is, omdat ze garandeert dat elke groep waarover u moet rapporteren ook echt voorkomt.

Uitgewerkt voorbeeld, met de berekening. Een organisatie heeft 4.200 medewerkers verspreid over zes provincies en heeft 600 reacties nodig.

• Proportionele toewijzing. Een provincie met 1.400 medewerkers heeft 1.400 gedeeld door 4.200, dus een derde van het personeel, en krijgt daarom een derde van 600, oftewel 200 reacties. Een provincie met 210 medewerkers krijgt 210 gedeeld door 4.200 maal 600, oftewel 30 reacties. Elke provincie is vertegenwoordigd naar verhouding van haar omvang, en bij de analyse is geen weging nodig.
• Disproportionele toewijzing, ook wel oversampling genoemd. Dertig reacties is te weinig om apart over die kleine provincie te rapporteren. Daarom neemt u er bewust 80 uit, en verkleint u ter compensatie de grootste provincie. Nu verschillen de selectiekansen per provincie, dus moet u de gegevens terugwegen naar de werkelijke verhoudingen voordat u een cijfer voor de hele organisatie noemt. Die stap overslaan is de meest gemaakte fout bij gestratificeerde steekproeven.

Strata kiezen. Kies variabelen die samenhangen met de uitkomst of met wie waarschijnlijk antwoordt, en die al in uw kader staan. Regio, locatie, functie, dienstjarengroep, opleiding, soort pakket en leeftijdsgroep zijn de gebruikelijke kandidaten. Strata die niets met de uitkomst te maken hebben, voegen administratie toe en leveren geen precisie op. Als de groeperingsvariabele niet in uw kader staat, moet u die misschien in de vragenlijst zelf verzamelen. Onze gids over demografische vragen in enquêtes laat zien hoe u naar die variabelen vraagt zonder deelnemers te verliezen.

Clustersteekproef

Een clustersteekproef selecteert willekeurig hele, natuurlijk bestaande groepen en ondervraagt dan iedereen binnen de geselecteerde groepen. U hebt een lijst van de groepen nodig, niet van de mensen, en daarom bestaat deze methode.

Uitgewerkt voorbeeld. Een district heeft 180 basisscholen en geen centrale leerlingenlijst. U selecteert willekeurig 24 scholen en ondervraagt elke leerling uit groep 8 op elk van die scholen. U hebt 24 schoolbezoeken afgelegd in plaats van 180, en u had nooit een leerlingenregister nodig om te beginnen.

Wat u ervoor betaalt. Leerlingen op dezelfde school lijken meer op elkaar dan op leerlingen elders in het district. Elke extra leerling op een school die u al hebt gekozen, voegt dus minder nieuwe informatie toe dan een onafhankelijke leerling zou doen. Uw effectieve aantal reacties is kleiner dan uw werkelijke aantal reacties. Die inflatie is het designeffect, en dat moet in het plan worden ingebouwd in plaats van bij de analyse ontdekt.

Waar het misgaat. Te weinig clusters. Zes willekeurig gekozen scholen kunnen enorm van elkaar verschillen, en het resultaat hangt af van welke zes u toevallig hebt getrokken. Meer clusters met minder mensen per cluster is bijna altijd beter dan andersom.

Meertrapssteekproef

Een meertrapssteekproef selecteert in twee of meer trappen: eerst groepen, dan eenheden binnen de geselecteerde groepen, en soms een derde trap daarbinnen. Bijna elke nationale huishoudenquête ter wereld is zo opgebouwd.

Uitgewerkt voorbeeld. Selecteer 120 wijken uit de nationale lijst van wijken. Binnen elke geselecteerde wijk inventariseert een veldteam ter plaatse de huishoudens en selecteert er willekeurig 20. Binnen elk geselecteerd huishouden wordt willekeurig één volwassene gekozen, in plaats van het over te laten aan wie de deur opendoet. Dat zijn drie trappen, en de laatste doet ertoe: als het huishouden zelf bepaalt wie antwoordt, keert precies de selectievertekening terug die de opzet moest voorkomen.

Wat u ervoor betaalt. Verschillende mensen krijgen verschillende selectiekansen, dus de analyse heeft gewichten nodig en de variantieberekening moet in elke trap rekening houden met de clustering. Dit is een serieuze opzet die iemand vereist die een gewogen analyse kan uitvoeren. Als niemand in het project dat kan, kies dan een eenvoudigere opzet in plaats van een ongewogen meertrapsopzet.

Gestratificeerde of clustersteekproef: het verschil in één regel

Deze twee worden voortdurend verward, omdat ze allebei beginnen met het verdelen van de populatie in groepen. Het verschil zit in wat u daarna doet.

Niet-aselecte steekproefmethoden, één voor één

Niet-aselecte steekproeftrekking betekent dat de selectiekansen onbekend zijn, omdat geen toevalsmechanisme bepaalde wie werd gekozen. Het is de juiste keuze in vier situaties. U kunt geen bruikbaar kader opbouwen. De groep is verborgen. Snelheid weegt zwaarder dan precisie. Of de vraag gaat over betekenis in plaats van omvang.

Deze methoden zijn niet tweederangs. Ze beantwoorden een andere vraag. De fout is nooit dat u ze gebruikt, maar dat u ze gebruikt en daarna een zin schrijft die alleen een aselecte steekproef zou kunnen onderbouwen.

Gemakssteekproef

Een gemakssteekproef, ook wel beschikbaarheidssteekproef genoemd, werft wie het makkelijkst te bereiken is. Een pop-up op een website, een link in een nieuwsbrief, studenten in uw eigen klas, mensen die langs een kraam op een markt lopen.

Voorbeeld. Een winkel zet een feedbacklink op de kassabon. Iedereen die antwoordt, heeft iets gekocht, had een telefoon bij zich, had tijd en had een reden om de moeite te nemen. Elk van die filters haalt een ander deel van het klantenbestand weg.

Eerlijk gebruik. Een vragenlijst testen in een pilotonderzoek, hypothesen opstellen, ontdekken welke taal klanten gebruiken, controleren of een vraag wordt begrepen. Allemaal uitstekende toepassingen. Geen ervan vereist een populatieschatting.

Quotasteekproef

Een quotasteekproef stelt wervingsdoelen voor benoemde groepen en vult die. Veertig van het platteland en zestig uit de stad. Vijftig vrouwen en vijftig mannen. Twintig in elk van vijf leeftijdsgroepen.

Voorbeeld. Een marktonderzoeksteam heeft 500 reacties nodig die naar leeftijd, geslacht en regio overeenkomen met de landelijke verdeling, en heeft geen lijst van de populatie. Het team werft tot elke cel vol is.

Waarom het toch geen aselecte steekproef is. De quota bepalen de samenstelling van de steekproef, niet de selectie van de mensen erin. Wie werft, kiest nog steeds, en mensen die makkelijk te benaderen zijn, verschillen systematisch van mensen die dat niet zijn. Een steekproef kan qua leeftijd en geslacht perfect overeenkomen met de populatie en toch flink ernaast zitten wat opvattingen betreft, omdat leeftijd en geslacht nooit de variabelen waren die de schade aanrichtten.

Doelgerichte steekproef

Een doelgerichte steekproef, ook wel oordeelsteekproef genoemd, selecteert bewust gevallen die aan vooraf vastgelegde criteria voldoen. Gangbare varianten zijn selectie van typische gevallen, extreme gevallen, kritieke gevallen, maximale variatie en experts.

Voorbeeld. Een onderzoek naar het gebruik van een nieuw betaalsysteem selecteert acht mensen. Twee die het dagelijks gebruiken, twee die ermee zijn gestopt, twee die er nooit aan zijn begonnen en twee supportmedewerkers die klachten afhandelen. Die spreiding is met opzet gekozen, en de redenering is de methode.

Eerlijk gebruik. Het meeste kwalitatieve onderzoek. De maatstaf is hier niet toeval. Het gaat erom of u kunt zeggen waarom deze gevallen en geen andere, en of de spreiding van standpunten breed genoeg is om uw beweringen te onderbouwen.

Sneeuwbalsteekproef

Een sneeuwbalsteekproef werft een klein aantal deelnemers die vervolgens anderen aandragen die aan de criteria voldoen, en die dragen weer anderen aan.

Voorbeeld. Een onderzoek naar informele grenshandelaren begint met vier deelnemers die via een lokale vereniging zijn gevonden, en elk van hen stelt er twee voor. Er bestaat geen register van informele handelaren, dus er is geen methode op basis van een kader beschikbaar.

Wat het met uw steekproef doet. Homofilie. Mensen dragen mensen aan die op henzelf lijken. De steekproef schuift op naar één sociaal netwerk en weg van geïsoleerde leden van de populatie, terwijl dat vaak juist de mensen zijn die het onderzoek het meest moet horen. Beginnen vanuit meerdere onderling niet verbonden startpunten in plaats van één vermindert die verschuiving, maar neemt haar niet weg.

Een niet-aselecte steekproef verdedigbaar maken

De meeste gidsen houden op bij “u kunt niet generaliseren” en laten de lezer met lege handen staan, terwijl de meeste lezers precies dit soort onderzoek uitvoeren. Hier is het deel dat meestal ontbreekt.

• Beschrijf de werving, niet alleen de naam van de methode. Waar de link is geplaatst, in welke periode, wie hem zag, of er een beloning werd geboden en hoeveel mensen zijn benaderd tegenover hoeveel er antwoordden. Zo kan een lezer de steekproef beoordelen in plaats van te gissen.
• Vergelijk uw gerealiseerde steekproef met een bekende maatstaf en publiceer de vergelijking. Als uw organisatie voor 60 procent uit buitendienstmedewerkers bestaat en uw deelnemers voor 25 procent, zet dat dan in een tabel. Een vermelde scheefheid is een bevinding. Een verborgen scheefheid is een gebrek.
• Weet wat weging wel en niet kan. Uw gegevens zo aanpassen dat de demografische kenmerken overeenkomen met de populatie, kan zichtbare onevenwichtigheid corrigeren. Het kan niet corrigeren voor mensen die van de deelnemers verschillen op iets wat u niet hebt gemeten, en het maakt van een niet-aselecte steekproef nooit een steekproef die een uitspraak over precisie onderbouwt.
• Verander de zin, niet de statistiek. Schrijf in plaats van “38 procent van de klanten is ontevreden, plus of min 4 punten”: “38 procent van de 620 klanten die reageerden, gaf aan ontevreden te zijn. Deelnemers zijn geworven via een melding in de app gedurende twee weken en vormen geen aselecte steekproef van klanten.” De tweede zin is korter, nuttiger en niet aan te vallen.

Kwalitatief werk heeft hier zijn eigen woordenschat voor. Een protocol vraagt meestal om een onderbouwing in plaats van een numeriek doel. Het moet het beoogde aantal en de spreiding van standpunten behandelen, een onderscheid dat de gids van de University of Bath beknopt formuleert.⁵

Welke methode past bij de situatie?

Zes situaties, zes methoden. Beslis voordat u het antwoord openklapt. Zo ziet u het snelst of de tabel hierboven echt is blijven hangen.

Een steekproefmethode kiezen

De meeste onderzoeken mislukken niet omdat iemand de verkeerde benoemde techniek koos. Ze mislukken omdat de techniek niet paste bij het kader, de beslissing of wat het veldteam realistisch gezien kon doen. Drie vragen beslissen het bijna altijd.

1. Begin bij de bewering die u moet doen

   Schrijf de zin op die u wilt publiceren, voordat u iets kiest. “Tweeënzestig procent van onze klanten zou ons aanbevelen” en “klanten die vertrekken, beschrijven drie terugkerende problemen” zijn verschillende zinnen die verschillende opzetten vereisen. Als niemand het resultaat als populatiecijfer zal gebruiken, hebt u veel meer vrijheid dan u denkt.

2. Controleer het kader voordat u zich vastlegt

   Kunt u de populatie echt opsommen, of een goede benadering ervan? Zo niet, kunt u de groepen opsommen waartoe ze behoren? Het antwoord op deze ene vraag schrapt de meeste van de negen methoden meteen, en daarom komt deze vraag als tweede en niet als laatste.

3. Benoem de subgroepen waarover u moet rapporteren

   Als een resultaat per regio, locatie of functie moet verschijnen, stuurt dat de opzet via strata of quota. Het bepaalt ook hoeveel reacties u per groep nodig hebt. Dit pas na het veldwerk beslissen, is niet meer te herstellen.

4. Toets de opzet aan de praktijk in het veld

   Tijd, budget, bereikbaarheid, taal, geletterdheid, internettoegang en het beleid voor beloningen bepalen wat uitvoerbaar is. Een opzet die een veldteam niet kan volgen, wordt een gemakssteekproef met een formele naam erop, en dat is erger dan eerlijk voor een gemakssteekproef kiezen. Inclusieve wervingsplanning vermindert structurele ondervertegenwoordiging.⁶ Zodra u de steekproef hebt geselecteerd, gebruikt u een online enquêtetool om de vragenlijst voor te bereiden en te versturen naar de mensen die uw steekproefplan heeft gekozen. Een onbeperkte openbare link delen verandert wie kan reageren; daarmee blijft een aselecte steekproef niet behouden.

Waar steekproeven echt misgaan: dekking, selectie en non-respons

Selectie is het deel waar iedereen zich zorgen over maakt, en het deel dat het minst vaak misgaat. De schade ontstaat meestal vóór de selectie, in het kader, of erna, in wie de moeite neemt om te antwoorden. Beide leveren keurig ogende spreadsheets en verkeerde conclusies op.

De beroemdste mislukte steekproef had 2,4 miljoen deelnemers

In 1936 voorspelde de Literary Digest dat Alf Landon ongeveer 55 procent van de stemmen zou halen. Franklin Roosevelt won met ongeveer 61 procent.⁷ Het tijdschrift had 10 miljoen stembiljetten verstuurd en er ongeveer 2,4 miljoen teruggekregen, een responspercentage van 24 procent waar geen enkele landelijke peiling vandaag in de buurt komt.⁸ De peiling schatte Roosevelt twintig punten lager in dan zijn werkelijke aandeel, op basis van een steekproef van tweeënhalf miljoen mensen.

Het getal dat op elke pagina over steekproeftrekking zou moeten staan. Een latere heranalyse berekende de foutmarge van de steekproef voor de schattingen van de Digest per staat: die liep van 0,18 tot 2,3 procentpunt, met een mediaan van 0,6.⁸ Een precisiecijfer van plus of min een half punt, bovenop een fout van twintig punten. Niets laat zuiverder zien dat een foutmarge maar één van de vele manieren meet waarop een enquête ernaast kan zitten.

En de standaardverklaring klopt maar half. Iedereen leert dat de Digest autobezitters en telefoonabonnees ondervroeg, die rijk en Republikeins waren. Eén empirische toets van die bewering gebruikte een Gallup-enquête uit mei 1937. Mensen die zowel een auto als een telefoon hadden, kozen nog steeds voor Roosevelt, 55 tegen 45. Onder iedereen die zei een stembiljet van de Digest te hebben ontvangen, lag Roosevelt voor met 55 tegen 44. Het kader helde over naar de Republikeinen, maar lang niet genoeg om een monsterzege voor Landon op te leveren.⁷

De ontbrekende helft is non-respons. Onder mensen die zeiden hun stembiljet te hebben teruggestuurd, lag Landon voor met 51 tegen 48. Onder wie het niet terugstuurde, lag Roosevelt voor met 69 tegen 30. De ruwe uitsplitsing legt ongeveer elf punten van de fout bij het kader en ongeveer zeven bij selectieve non-respons.⁷ Als de teruggestuurde biljetten waren gewogen op een vraag die de Digest al had gesteld, namelijk wat men in 1932 had gestemd, was met rekenwerk dat in 1936 al beschikbaar was de juiste winnaar uit de bus gekomen.⁸

Een hoog responspercentage is niet het doel dat u denkt

De responspercentages van de eigen telefonische peilingen van het Pew Research Center daalden van 36 procent in 1997 naar 9 procent in 2012, en naar 6 procent in 2018.⁹ Intussen selecteerde de National Family Health Survey van India, die face-to-face werd afgenomen, 664.972 huishoudens, waarvan 653.144 bewoond bleken. Daarvan werden er 636.699 geïnterviewd, een responspercentage van 97,5 procent. Lees die noemer zorgvuldig, want daar gaat een responspercentage het vaakst mis: afgezet tegen het aantal geselecteerde in plaats van het aantal bewoonde huishoudens komt hetzelfde veldwerk uit op 95,7 procent. De enquête trok haar steekproef uit 30.456 clusters verspreid over alle 707 districten.¹⁰

Die twee feiten liggen in hetzelfde decennium. Afnamemethode en veldwerkinspanning bepalen responspercentages veel sterker dan welke algemene bewering over enquêtemoeheid ook. Als een gids u vertelt dat het gemiddelde responspercentage één bepaald getal is, beschrijft die gids geen echte grootheid.

Nu de lastigere bevinding. Een meta-analyse van 235 schattingen van non-responsvertekening uit 30 gepubliceerde onderzoeken vond een correlatie van 0,33 tussen het responspercentage en de omvang van de non-responsvertekening. Gekwadrateerd betekent dat dat het responspercentage ongeveer 11 procent van de variatie in vertekening verklaart.¹¹ Een vervolgonderzoek over 59 onderzoeken die speciaal waren opgezet om non-responsvertekening te meten, kwam tot dezelfde conclusie.¹²

Het responspercentage is het rapporteren en verbeteren waard. Het is geen keurmerk. Vertekening ontstaat wanneer de neiging om te reageren samenhangt met wat u meet. Een enquête over vrijwilligerswerk heeft daar veel meer last van dan een enquête over internetsnelheid. Jaag op de correlatie, niet op het percentage.

Meer reacties herstellen geen gebrekkig kader

Tijdens de vaccinatiecampagne van 2021 volgden twee zeer grote enquêtes de vaccinatiegraad in de Verenigde Staten. De ene verzamelde ongeveer 250.000 reacties per week en overschatte de vaccinatiegraad voor de eerste dosis met 17 procentpunt ten opzichte van de officiële maatstaf. De andere verzamelde ongeveer 75.000 reacties per twee weken en overschatte die met 14 procentpunt. Een derde enquête met ongeveer 1.000 deelnemers, uitgevoerd volgens de standaardpraktijk voor aselecte steekproeven, leverde betrouwbare schattingen op.¹³

Hetzelfde patroon is te zien in gewoon enquêtewerk. Bij een vergelijking van drie aselecte panels met drie online opt-inbronnen over 28 maatstaven en 29.937 interviews was de gemiddelde absolute fout 5,8 procentpunt voor de opt-insteekproeven en 2,6 voor de aselecte panels. Op de 25 van die maatstaven die voor subgroepen beschikbaar waren, was het verschil voor volwassenen van 18 tot 29 jaar 11,2 tegenover 3,6.¹⁴

En een gedenkwaardige diagnose: in één opt-inenquête zei 12 procent van de volwassenen onder de 30 dat ze bevoegd waren om een kernonderzeeër te besturen.¹⁵ Het werkelijke cijfer ligt dicht bij nul. Als een panel dat kan opleveren, kan het alles opleveren, en een grotere bestelling bij hetzelfde panel levert u daar alleen meer van op.

Wie uw kader mist, buiten de VS en het VK

De meeste gidsen over steekproeftrekking gaan stilzwijgend uit van een westers kader: een e-maillijst, een vaste telefoonlijn, een landelijk adressenregister. In een groot deel van de wereld werkt steekproeftrekking niet zo, en de dekkingsgaten hebben een gemeten vorm.

• Een online enquête in een land met een laag of middeninkomen is een steekproef uit het verbonden deel van dat land, en dat deel is overwegend mannelijk. Vrouwen in landen met een laag en middeninkomen gebruiken 14 procent minder vaak mobiel internet dan mannen, wat neerkomt op ongeveer 235 miljoen minder vrouwen dan mannen online.¹⁶
• Telefonische steekproeven oververtegenwoordigen hoofden van huishoudens. In telefonische enquêtes van de Wereldbank in vier Afrikaanse landen was 52 procent van de deelnemers man in Oeganda en 73 procent in Nigeria, terwijl ongeveer de helft van de volwassen bevolking man is. In Oeganda was 6 procent van de telefonische deelnemers 15 tot 24 jaar oud, tegenover 38 procent van de volwassen bevolking.¹⁷
• Wat u eraan doet. Combineer afnamemethoden in plaats van er één te verdedigen. Inventariseer huishoudens ter plaatse waar geen register bestaat. Ga het veld in met de talen die uw populatie werkelijk leest, en test de vertaling vooraf in plaats van haar terug te vertalen. Vermeld daarna het resterende gat in uw beperkingen, want dat zal er nog steeds zijn.

Wat weging wel en niet kan herstellen

Weging past uw gegevens zo aan dat de samenstelling van de steekproef overeenkomt met bekende populatiecijfers. Het is werkelijk krachtig, en het wordt stelselmatig overschat.

Het argument ervoor. In 2016 gaf de laatste peiling van de University of New Hampshire Clinton een voorsprong van 11 punten in een race die ze met 0,4 punt won. De peiling was niet gecorrigeerd voor opleiding. De evaluatiecommissie concludeerde dat alleen die ene correctie vrijwel de hele fout zou hebben weggenomen.¹⁸ Eén variabele, gecorreleerd met zowel respons als uitkomst, die al het werk doet.

Het argument tegen erop vertrouwen. Toen meer dan 30.000 online opt-in-interviews werden getoetst aan 24 maatstaven, was de gemiddelde geschatte vertekening ongewogen 8,4 procentpunt. Geen van alle geteste wegingsprocedures, ook geavanceerde matchingmethoden, bracht de gemiddelde vertekening onder 6 punten.¹⁹ Een vier keer zo grote steekproef leverde nog eens 0,2 punt op.

De regel die daaruit volgt, is eenvoudig. Weging corrigeert onevenwichtigheid op de variabelen waarop u weegt, voor zover die variabelen samenhangen met de uitkomst. Ze doet niets aan de manieren waarop deelnemers verschillen van niet-deelnemers op dingen die u nooit hebt gemeten, en ze maakt van een niet-aselecte steekproef nooit een steekproef die een uitspraak over precisie onderbouwt.

Een precisiecijfer is een ondergrens, geen bovengrens

Een foutmarge kwantificeert steekproefvariabiliteit, en alleen dat. Ze gaat ervan uit dat de steekproef aselect uit de doelpopulatie is getrokken en dat de resterende vertekening is weggenomen. Dekkingsfouten, non-responsvertekening, meetfouten en frauderende deelnemers vallen er allemaal buiten.

Het bewijs is onverbloemd. In de laatste twee weken van 2020 rapporteerden 348 presidentiële peilingen per staat een foutmarge, en het gemiddeld gerapporteerde cijfer was 3,9 punten. Gemeten aan dat gemiddelde zat 55 procent ervan meer dan één foutmarge naast de uiteindelijke uitslag, en 21 procent meer dan twee keer die marge.²⁰ Dit waren moderne peilingen met moderne methoden. Zie de foutmarge als een ondergrens voor uw onzekerheid, nooit als een bovengrens.

Graad A betekent een officiële statistiek, een meta-analyse of een gerepliceerde bevinding. Graad B betekent één sterk onderzoek waarvan de conclusie nog niet onafhankelijk is herhaald.

Designeffect: waarom clustersteekproeven meer mensen nodig hebben

Bijna elke gids raadt de clustersteekproef aan vanwege de kostenbesparing en houdt daar op. De besparing is echt, en de rekening ook. Mensen binnen dezelfde school, kliniek, wijk of winkel lijken op elkaar. Ze lijken meer op elkaar dan op mensen die willekeurig uit de hele populatie zijn gekozen. Elke extra reactie uit een groep die u al hebt gekozen, bevat dus minder nieuwe informatie.

Het designeffect is het getal dat dit meet. In woorden: hoeveel breder uw onzekerheid wordt vergeleken met het onafhankelijk trekken van hetzelfde aantal mensen. Voor een opzet met even grote groepen is het

designeffect = 1 + (gemiddelde groepsgrootte - 1) x intraclasscorrelatie

De intraclasscorrelatie geeft aan hoeveel mensen binnen een groep op elkaar lijken wat betreft het kenmerk dat u meet. Nul betekent dat op dezelfde school zitten niets zegt over het antwoord van een leerling. Eén betekent dat iedereen op een school identiek antwoordt en dat de school net zo goed één persoon zou kunnen zijn. Werkelijke waarden zijn klein, maar kleine waarden richten veel schade aan zodra groepen groot worden. Samengenomen over 48 nationale huishoudenquêtes is de gemiddelde intraclasscorrelatie ongeveer 0,06. Die verschilt per wat u meet. Items over vruchtbaarheid liggen rond 0,01 tot 0,03, huidig anticonceptiegebruik rond 0,03 tot 0,05, en medisch begeleide bevallingen zelfs op 0,22 in de nationale cijfers.²¹

Als u geen eigen schatting hebt, leen dan voorzichtig een standaardwaarde. De steekproefhandleiding van DHS valt terug op 1,5 voor deft als een enquête geen eigen cijfer heeft.²² Deft is niet dezelfde grootheid als het designeffect in de formule hierboven: het is de verhouding tussen de twee standaardfouten, terwijl het designeffect de verhouding tussen de twee varianties is. U kwadrateert het, dus een deft van 1,5 is een designeffect van 2,25. De handleiding noemt de waarde een noodoplossing en geen typische waarde, en haar eigen uitgewerkte voorbeelden gebruiken 1,40 voor modern anticonceptiegebruik en 1,22 voor vaccinatie van kinderen.

Weging voegt een eigen component toe. Een nationale enquête die één regio overbemonstert en die daarna terugweegt, draagt twee designeffecten tegelijk. Een wegingseffect van 1,22 en een clusteringseffect van 1,80 geven een totaal designeffect van 2,20. Zo gedragen 5.000 geïnterviewde huishoudens zich als 2.277 onafhankelijke huishoudens.²³

De les voor de opzet. Meer groepen met minder mensen per groep wint bijna altijd van minder groepen met meer mensen per groep. Veertig scholen van 24 leerlingen en 24 scholen van 40 leerlingen kosten ongeveer dezelfde 960 reacties, maar de eerste opzet heeft een kleiner designeffect en een verdedigbaar resultaat. Als u plant hoeveel reacties u in totaal nodig hebt, bereken dat dan met onze gids over steekproefgrootte en vermenigvuldig het daarna met het designeffect. Andersom werken is precies hoe clusteronderzoeken te weinig onderscheidend vermogen krijgen.

Drie uitgewerkte voorbeelden, van begin tot eind

Namen van methoden zijn makkelijk. Het misgaan zit in de beslissingen eromheen. Deze drie voorbeelden volgen een echte opzet van de beschrijving van de populatie tot de zin die u kunt publiceren.

Voorbeeld 1: patiëntervaringen in een district

• Populatie. Volwassenen die tussen 1 april en 30 juni een poliklinisch consult hadden bij een van de 46 openbare klinieken in het district.
• Kader. Er bestaat geen patiëntenregister voor het hele district. Wel een lijst van de 46 klinieken, met maandelijkse bezoekersaantallen.
• Methode. Meertraps. Selecteer 18 klinieken met een kans evenredig aan het aantal bezoeken, en trek dan systematisch elke 8e vertrekkende patiënt op twee willekeurig gekozen spreekuurdagen.
• Waarom niet iets eenvoudigers. Een volledige patiëntenlijst zou een gestratificeerde steekproef mogelijk maken, maar die bestaat niet en kan binnen de planning niet worden opgebouwd. Een gemakssteekproef bij de drie grootste klinieken zou sneller zijn en zou de drie grootste klinieken beschrijven.
• Wat gerapporteerd moet worden. Selectiekansen verschillen per omvang van de kliniek, dus de analyse heeft gewichten nodig en het interval moet worden verbreed voor het designeffect.
• De publiceerbare zin. “Onder volwassenen die in het tweede kwartaal openbare poliklinieken in het district bezochten, beoordeelde naar schatting 71 procent de wachttijd als acceptabel, op basis van 1.240 exitinterviews bij 18 klinieken die zijn geselecteerd met een kans evenredig aan het aantal bezoeken.”

Voorbeeld 2: een afstudeeronderzoek onder studenten

• Populatie. Studenten die in het huidige studiejaar zijn ingeschreven bij de Faculteit Economie: 3.100 verdeeld over drie studiejaren.
• Kader. Het inschrijvingsregister van de faculteit, met studiejaar en opleiding.
• Methode. Gestratificeerde aselecte steekproef naar studiejaar, proportionele toewijzing, doel 350 volledige reacties.
• De berekening. Het eerste jaar telt 1.300 studenten, 42 procent van 3.100, en krijgt dus 42 procent van 350, oftewel 147 reacties. Herhaal dit voor elk jaar. Omdat de toewijzing proportioneel is, is geen weging nodig.
• Responsplanning. Bij een verwacht responspercentage van 35 procent moet u ongeveer 1.000 studenten uitnodigen om 350 volledige reacties te halen, en u nodigt ze het best stratum voor stratum uit, zodat een zwakke respons in één jaar zichtbaar wordt terwijl er nog tijd is om in te grijpen.
• Te vermelden beperkingen. Studenten die zijn gestopt maar nog in het register staan, vormen overdekking. Studenten die zich inschreven nadat het register was opgevraagd, vormen onderdekking. Beide horen in de alinea over beperkingen.

Voorbeeld 3: klantfeedback voor een webwinkel

• Populatie. Klanten die in de afgelopen 90 dagen een bestelling hebben afgerond.
• Kader. De bestellingentabel. Die is volledig voor online bestellingen en voor bestellingen als gast, maar een klant met twee accounts staat er twee keer in.
• Methode. Ontdubbel tot één rij per klant en trek daarna systematisch elke 12e klant na een willekeurig startpunt, doorlopend in plaats van in één keer.
• De valkuil die dit voorkomt. Alleen abonnees van de nieuwsbrief uitnodigen is sneller en is een gemakssteekproef van uw meest betrokken klanten. Daardoor lijkt de tevredenheid elk kwartaal weer beter dan ze is.
• Een opmerking over medewerkers. Als dezelfde organisatie haar eigen 180 medewerkers ondervraagt, moet ze helemaal geen steekproef trekken. Die populatie is klein en bereikbaar, en iedereen heeft het recht om gevraagd te worden. Houd een volledige telling, en als de deelname laag is, behandel dat dan als een bevinding en niet als een steekproefprobleem.

Het steekproefdeel van uw methodologie schrijven

Dit is de stap die de meeste gidsen overslaan, en het is de stap die een begeleider, beoordelaar of opdrachtgever echt leest. Een beschrijving van de steekproeftrekking moet vijf vragen in deze volgorde beantwoorden: wie, uit welke lijst, hoe gekozen, hoeveel, en wat u daarom mag beweren.

Vul de lege plekken hieronder in. Het is bewust eenvoudig: examinatoren zoeken hier geen elegant proza, maar een opzet die ze kunnen beoordelen.

Hetzelfde onderzoek, zwak en goed beschreven

Zwak. “Er is een aselecte steekproef van studenten getrokken en er zijn 350 reacties verzameld.”

Niets hiervan is te controleren. “Aselect” doet werk dat het niet heeft verdiend: er is geen kader, geen noemer en geen vermelding van wie is uitgesloten.

Sterk. “De doelpopulatie bestond uit de 3.100 studenten die in 2026 waren ingeschreven bij de Faculteit Economie. Het steekproefkader was het inschrijvingsregister van de faculteit, opgevraagd op 3 maart 2026. Er is gebruikgemaakt van een gestratificeerde aselecte steekproef naar studiejaar met proportionele toewijzing, zodat elk jaar apart kon worden gerapporteerd. Duizend studenten zijn uitgenodigd en 350 hebben de vragenlijst ingevuld, een responspercentage van 35 procent. Er is geen weging toegepast, omdat de toewijzing proportioneel was. Studenten die na de datum van opvragen stopten, bleven in het kader staan en konden niet worden geïdentificeerd; dat is een kleine bron van overdekking.”

De tweede versie is langer, en elke extra zin is een zin waar een beoordelaar niet meer naar hoeft te vragen.

Checklist steekproefplan

Een schriftelijk steekproefplan voorkomt de meeste vermijdbare fouten, omdat het de beslissingen vóór het veldwerk afdwingt in plaats van tijdens de analyse. Acht punten, één pagina.

Zodra het plan vastligt, bepaalt het instrument of de steekproef de moeite waard was. Een perfecte steekproef kan een sturende of dubbelloopse vraag niet redden, dus het loont om voorbeelden van enquêtevragen door te lezen voordat u iets het veld in stuurt.

Veelgestelde vragen

Verder lezen

Steekproeftrekking is één beslissing binnen een groter onderzoek. Deze gidsen behandelen de beslissingen ervoor en erna.

• De opzet van enquêteonderzoek plaatst steekproeftrekking in de volgorde van de rest van een onderzoek, van het definiëren van de populatie tot de lancering.
• Steekproefgrootte bepalen behandelt de precisieberekening die deze pagina bewust aan die gids overlaat, inclusief de formules.
• Enquêtevragen schrijven behandelt de meetkant, die geen enkele steekproefopzet kan redden.
• Principes voor het ontwerpen van vragenlijsten behandelt hoe een volledig instrument wordt samengesteld zodra de vragen er zijn.
• Responsbias gaat dieper in op het verschil tussen de mensen die u selecteerde en de mensen die antwoordden.
• Demografische vragen in enquêtes is handig als uw kader de variabele mist waarop u wilt stratificeren.
• Statistische significantie behandelt wat u met de getallen doet zodra de steekproef binnen is.
• Kwantitatieve data-analyse behandelt de analysestappen die volgen, inclusief waar gewichten thuishoren.

Hoe deze gids is geschreven, en wat hij niet behandelt

Wie hem schreef. Michael Hodge, die bij SuperSurvey werkt aan enquêtemethodologie, vraagontwerp en datakwaliteit, en de praktische gidsen in onze rubriek Handleidingen en hulp schrijft.

Waarop hij is gebaseerd. De definities volgen het methodologische overzichtsartikel en de onderzoeksrichtlijnen van universiteiten die hieronder worden geciteerd, want daar worden de vaktermen werkelijk gedefinieerd. De officiële pagina’s over onderzoeksintegriteit en van statistiekbureaus staan vermeld als korte instappunten in gewone taal, niet als bron van die definities. De beschrijvingen van de methoden volgen dezelfde overzichten en richtlijnen. Elk getal in het onderdeel over bewijs komt uit een benoemde primaire bron die hieronder is vermeld. Elke bewering heeft ook een betrouwbaarheidsgraad, zodat u kunt zien welke bevindingen vaststaan en welke op één onderzoek rusten. De cijfers over het designeffect in de grafiek en de tabel zijn onze eigen berekening. We hebben de standaardformule gebruikt, met de aannames in het bijschrift, zodat u ze met uw eigen clustergroottes kunt overdoen of ter discussie kunt stellen.

Wat hij niet behandelt. Deze gids gaat over steekproeftrekking voor enquêtes en observationeel onderzoek. Experimenteel ontwerp en aselecte toewijzing komen alleen aan bod om ze te onderscheiden. Steekproeftrekking voor acceptatietests, audits en signaalverwerking, waar hetzelfde woord voor andere dingen wordt gebruikt, blijft ook buiten beschouwing. Respondent-driven sampling, tijd-locatiesteekproeven en adaptieve clustersteekproeven zijn echte methoden die specialisten gebruiken voor verborgen populaties, en die vallen hier buiten het bestek. De cijfers over intraclasscorrelatie komen uit huishoudenquêtes in landen met een laag en middeninkomen. Zie ze als illustratie, niet als waarden om naar een andere context over te nemen.

Waar de cijfers het zwakst zijn. De heranalyse van de Literary Digest rust op één enquête uit 1937 en één latere heranalyse, en beide auteurs wijzen op hun eigen onzekerheid; om die reden heeft ze graad B. De cijfers over peilingsfouten komen uit Amerikaanse verkiezingspeilingen, die ongewoon goed zijn onderzocht en niet per se representatief zijn voor enquêtefouten in het algemeen.

Openheid. SuperSurvey verkoopt enquêtesoftware. Niets op deze pagina is te koop, geen enkel deel ervan zit achter een registratie, en geen organisatie heeft deze gids gesponsord of beoordeeld. Waar we naar onze eigen pagina’s linken, is dat omdat ze de volgende beslissing behandelen, niet omdat een link ons iets oplevert.

Bronnen