Urvalsmetoder: vad är urval i forskning?

Definition av urval (och de 5 begrepp du måste få rätt)

Urval är processen att välja ut en mindre grupp (ett urval) ur en större grupp (en population) så att du kan lära dig något om populationen utan att mäta alla. En studie av hela populationen är ofta opraktisk, så forskare gör urval för att arbetet ska bli genomförbart och ändå ge användbara slutsatser.

De fem begreppen nedan gör det mesta av jobbet i ett metodkapitel. Blir de fel ärver varje senare beslut misstaget.

• warning
  Population: hela den grupp du vill beskriva, angiven med avgränsningar och en tidsperiod. ”Alla sistaårsstudenter på sjuksköterskeprogrammet vid de tre campusen, inskrivna per den 1 mars” är en population. ”Sjuksköterskor” är det inte.
• warning
  Målpopulation kontra tillgänglig population: vilka du vill beskriva, kontra vilka din rekrytering och dina verktyg faktiskt kan nå. Att sätta ord på glappet mellan de två är en styrka i en rapport, inte en svaghet.
• warning
  Urvalsram: listan eller mekanismen du drar från. Ett studentregister, ett patientregister, en kunddatabas, en förteckning över hushållen i en by, en röstlängd. Problem med urvalsramen ger täckningsfel, och ingen metod reparerar dem.
• warning
  Urvalsenhet: det som faktiskt väljs ut. En person, ett hushåll, en vårdcentral, en klass, ett arbetspass, en beställning. I kluster- och flerstegsdesigner är enheten i första steget en grupp, och den gruppen kallas den primära urvalsenheten.
• warning
  Urvalsdesign: hela planen nedskriven. Urvalsram, metod, hur många enheter, hur de kontaktas och vad du gör åt dem som inte svarar. ”Urvalsdesign” är det en examinator eller granskare faktiskt efterfrågar när de frågar om ditt urval.

En kort officiell definition av samma idé finns i U.S. Office of Research Integritys utbildningsmaterial om urval.¹ Om du placerar urvalet i en större studieplan går vår guide om forskningsdesign för enkätundersökningar igenom stegen före och efter.

Varför göra ett urval över huvud taget, och när en totalundersökning är bättre

Behovet av urval är praktiskt innan det är statistiskt. Fyra skäl dyker upp gång på gång.

1. Kostnad

   Varje extra deltagare kostar pengar, arbetstid eller välvilja. Ett väldraget urval på 600 kan besvara samma fråga som ett dåligt genomfört försök med 60 000.

2. Snabbhet

   Beslut har tidsgränser. Ett urval ger dig ett svar inom det tidsfönster där svaret fortfarande är användbart.

3. Genomförbarhet

   Vissa populationer går inte att räkna upp alls: förbipasserande på en marknad, personer som har lämnat en tjänst, informella handlare. Andra är i praktiken oändliga, eller så förstörs en enhet när den mäts.

4. Kvalitet

   Den här överraskar många. Om du koncentrerar insatsen på en mindre grupp kan du jaga dem som inte svarar, utbilda intervjuarna ordentligt och kontrollera data. Insats per enhet är oftast värd mer än fler enheter.

En totalundersökning mäter i stället alla. Den är det bättre valet när populationen är tillräckligt liten för att nå, när kontaktuppgifter redan finns eller när varje medlem har rätt att bli tillfrågad. En medarbetarenkät i en organisation med 200 personer är en fråga om totalundersökning, inte om urval. Detsamma gäller en kursutvärdering. När populationen är liten vinner du nästan ingenting på ett urval, och det kostar dig möjligheten att redovisa per team.

Hur ett bra urval faktiskt ser ut

Läroböcker beskriver ett bra urval som ”representativt”, vilket inte är ett praktiskt test. Det är däremot de här fyra egenskaperna.

• Täckning: alla i målpopulationen hade i princip kunnat väljas ut.
• Styrd urvalsdragning: vilka som hamnar i urvalet avgörs av en regel, inte av vem som anmäler sig frivilligt eller står närmast dörren.
• Tillräckligt många enheter i den minsta grupp du måste redovisa: en total siffra kan se sund ut medan den grupp du egentligen bryr dig om vilar på 11 svar.
• Beskrivbart: du kan skriva ner exakt hur det drogs, och någon annan skulle kunna upprepa det.

För en lättbegriplig redogörelse för hur urval kan bära skattningar för en population är U.S. Census Bureaus översikt över urval och inferens i enkätundersökningar en bra utgångspunkt.²

Din urvalsram sätter taket

En urvalsram är den konkreta lista eller mekanism du drar från. Den är den minst diskuterade delen av urvalet och stället där de flesta verkliga studier i det tysta går fel, eftersom urvalsramen avgör vilka som ens kunde väljas ut.

Urvalsramar är vardagliga saker. Ett studentregister, ett patientregister, en personalförteckning, en kunddatabas. En lista över byar med antal hushåll, en röstlängd, en serie beställningar, en lista över vårdcentraler i ett distrikt. Lägg märke till att vissa urvalsramar listar personer och andra listar platser. Den skillnaden avgör vilka metoder som står öppna för dig.

Granska urvalsramen innan du drar, inte efteråt. Räkna raderna. Jämför antalet med en oberoende totalsiffra om du kan hitta en, till exempel personalavdelningens antal anställda eller antalet inskrivna. Leta efter det segment du skulle skämmas mest över att ha missat, och kontrollera att det finns med. Ta bort dubbletter. Skriv ner vad urvalsramen utesluter, eftersom den meningen hör hemma bland dina begränsningar oavsett.

De 9 urvalsmetoderna jämförda

Urvalsmetoder delas in i två familjer. Sannolikhetsurval använder en slumpmekanism, så varje enhet i urvalsramen har en känd sannolikhet större än noll att väljas ut. Icke-sannolikhetsurval gör det inte, så urvalssannolikheterna är okända. Allt annat följer av den enda skillnaden.

Den andra kolumnen är den som de flesta guider utelämnar, så här kommer den först. Bara en sannolikhetsdesign kan bära en felmarginal, ett konfidensintervall eller meningen ”plus/minus 5 procentenheter”. Om en metod får ett nej där kan du ändå lära dig mycket av den. Du kan bara inte publicera ett precisionsmått tillsammans med resultatet. Själva precisionen hör till en annan diskussion, som tas upp i vår guide om urvalsstorlek.

Så läser du tabellen: de fem första metoderna är sannolikhetsdesigner och de fyra sista är det inte. Det är den enda uppdelningen, inte de enskilda metodnamnen, som avgör om ett precisionsmått är ärligt.

Sannolikhetsurval, metod för metod

Sannolikhetsurval innebär att varje enhet i urvalsramen har en känd sannolikhet större än noll att väljas ut, och att en slumpmekanism gör urvalet. Det är hela grunden för att kunna säga något numeriskt om populationen. Fem designer täcker nästan varje verklig studie. Översikter inom klinisk forskning och hälsoforskning tar upp samma familj under något andra namn, och det är värt att veta varför innan du stöter på båda: var och en av de två som citeras här räknar flerstegsurval som en form av klusterurval i stället för att lista det separat.³⁴

Obundet slumpmässigt urval

Obundet slumpmässigt urval ger varje enhet på listan exakt samma chans att väljas ut. Du numrerar listan, genererar slumptal och tar de enheter de hamnar på.

Räknat exempel. Ett universitets register omfattar 12 000 inskrivna studenter och du behöver 400 svar. Numrera registret från 1 till 12 000, generera 400 unika slumptal i det intervallet med ett kalkylark eller ett statistikprogram och bjud in de studenterna. Om du räknar med en svarsfrekvens på 40 procent drar du och bjuder in 1 000, så att 400 fullständiga svar är realistiskt.

Där metoden brister. Med 400 svar fördelade över ett register på 12 000 studenter bidrar en institution med 300 studenter med ungefär 10 personer. Det räcker inte för att redovisa. Om någon undergrupp måste synas i dina resultat är obundet slumpmässigt urval fel verktyg, och stratifierat urval är lösningen.

Dokumentera din slumpning. Programvaran du använde, startvärdet (seed) om det fanns ett, och datumet. Den enda meningen är det som gör dragningen reproducerbar, och granskare frågar faktiskt efter den.

Systematiskt urval

Systematiskt urval tar var k:te enhet från en ordnad lista efter en slumpmässig start. Dela listans storlek med det antal du behöver för att få intervallet k, välj ett slumptal mellan 1 och k som startpunkt och räkna sedan framåt.

Räknat exempel. Ett distriktssjukhus registrerar 9 000 öppenvårdsbesök under ett kvartal och vill göra 600 utgångsintervjuer. Intervallet är 9 000 delat med 600, så k är lika med 15. Välj en slumpmässig start mellan 1 och 15, till exempel 7, och intervjua sedan besök 7, 22, 37, 52 och så vidare. Ett fältteam kan följa den regeln utan en bärbar dator, och det är det verkliga skälet till att metoden lever kvar.

Där metoden brister. Periodicitet. Om listan har en återkommande cykel som sammanfaller med k, drar du samma plats varje gång. En besökslista ordnad efter mottagningsdag med en cykel på 7 dagar och ett intervall på 7 skulle ge dig en enda veckodag och inget annat. Kontrollera ordningen innan du bestämmer k, och blanda om listan om ordningen har samband med det du mäter.

Stratifierat urval

Stratifierat urval delar in populationen i grupper som inte överlappar, så kallade strata, och drar sedan ett slumpmässigt urval inom varje stratum. Det är den mest användbara förbättringen som finns för de flesta studier, eftersom den garanterar att varje grupp du måste redovisa faktiskt finns med.

Räknat exempel med uträkningen visad. En organisation har 4 200 anställda i sex provinser och behöver 600 svar.

• Proportionell fördelning. En provins med 1 400 anställda har 1 400 delat med 4 200, alltså en tredjedel av personalstyrkan, så den får en tredjedel av 600, alltså 200 svar. En provins med 210 anställda får 210 delat med 4 200 gånger 600, alltså 30 svar. Varje provins är representerad i proportion till sin storlek, och ingen viktning behövs i analysen.
• Disproportionell fördelning, även kallad översampling. Trettio svar är för få för att redovisa den lilla provinsen separat. Därför tar du medvetet 80 därifrån i stället och minskar den största provinsen för att kompensera. Nu skiljer sig urvalssannolikheterna mellan provinserna, så du måste vikta tillbaka data till de verkliga proportionerna innan du anger någon siffra för hela organisationen. Att hoppa över det steget är det vanligaste enskilda felet vid stratifierat urval.

Att välja strata. Välj variabler som har samband med utfallet eller med vilka som sannolikt svarar, och som redan finns i din urvalsram. Region, arbetsplats, roll, anställningstid, kurs, abonnemangstyp och åldersgrupp är de vanliga kandidaterna. Strata som inte har något med utfallet att göra ger mer administration men ingen precision. Om grupperingsvariabeln saknas i din urvalsram kan du behöva samla in den i frågeformuläret i stället. Vår guide om demografiska frågor i enkäter visar hur du frågar efter de variablerna utan att tappa deltagare.

Klusterurval

Klusterurval väljer slumpmässigt ut hela, naturligt förekommande grupper och undersöker sedan alla inom de utvalda grupperna. Du behöver en lista över grupperna, inte en lista över personerna, och det är därför metoden finns.

Räknat exempel. Ett distrikt har 180 grundskolor och ingen central lista över elever. Du väljer slumpmässigt ut 24 skolor och undersöker varje elev i årskurs 8 på var och en av dem. Du har gjort 24 skolbesök i stället för 180, och du behövde aldrig ett elevregister för att börja.

Vad du betalar för det. Elever på samma skola liknar varandra mer än de liknar elever i resten av distriktet. Därför tillför varje extra elev på en skola du redan har valt mindre ny information än en oberoende elev skulle göra. Ditt effektiva antal svar är mindre än ditt faktiska antal svar. Den uppblåsningen är designeffekten, och den måste byggas in i planen i stället för att upptäckas i analysen.

Där metoden brister. För få kluster. Sex slumpmässigt valda skolor kan skilja sig kraftigt från varandra, och resultatet svänger beroende på vilka sex du råkade dra. Fler kluster med färre personer i varje är nästan alltid bättre än tvärtom.

Flerstegsurval

Flerstegsurval väljer ut i två eller fler steg: först grupper, sedan enheter inom de utvalda grupperna och ibland ett tredje steg inom dem. Nästan varje nationell hushållsundersökning i världen är uppbyggd så.

Räknat exempel. Välj ut 120 valdistrikt ur den nationella förteckningen över valdistrikt. Inom varje utvalt distrikt listar ett fältteam hushållen på plats och väljer sedan slumpmässigt ut 20 av dem. Inom varje utvalt hushåll väljs en vuxen slumpmässigt i stället för att det överlåts åt den som öppnar dörren. Det är tre steg, och det sista spelar roll: att låta hushållet bestämma vem som svarar återinför exakt den selektionsbias som designen byggdes för att undvika.

Vad du betalar för det. Olika personer får olika urvalssannolikheter, så analysen kräver vikter, och variansberäkningen måste ta hänsyn till klustringen i varje steg. Det här är en riktig design som kräver någon som kan genomföra en viktad analys. Om ingen i projektet kan det, välj en enklare design i stället för ett oviktat flerstegsurval.

Stratifierat urval kontra klusterurval: skillnaden på en rad

De här två blandas ständigt ihop, eftersom båda börjar med att dela in populationen i grupper. Skillnaden ligger i vad du gör sedan.

Icke-sannolikhetsurval, metod för metod

Icke-sannolikhetsurval innebär att urvalssannolikheterna är okända, eftersom ingen slumpmekanism avgjorde vilka som valdes ut. Det är rätt val i fyra situationer. Du kan inte bygga en användbar urvalsram. Gruppen är dold. Snabbhet betyder mer än precision. Eller så handlar frågan om innebörd snarare än storlek.

De här metoderna är inte andra klassens. De besvarar en annan fråga. Misstaget är aldrig att använda dem, utan att använda dem och sedan skriva en mening som bara ett sannolikhetsurval skulle kunna bära.

Bekvämlighetsurval

Bekvämlighetsurval, även kallat tillgänglighetsurval, rekryterar de som är lättast att nå. En popup på en webbplats, en länk i ett nyhetsbrev, eleverna i din egen klass, personer som går förbi ett stånd på en marknad.

Exempel. En butik sätter en länk för återkoppling på kvittot. Alla som svarar har köpt något, hade en telefon med sig, hade tid och hade en anledning att bry sig. Vart och ett av de filtren tar bort en annan del av kundbasen.

Ärlig användning. Att göra en pilotstudie av ett frågeformulär, ta fram hypoteser, ta reda på vilket språk kunderna använder, kontrollera att en fråga blir förstådd. Alla utmärkta användningsområden. Inget av dem kräver en skattning för populationen.

Kvoturval

Kvoturval sätter rekryteringsmål för namngivna grupper och fyller dem. Fyrtio på landsbygden och sextio i städer. Femtio kvinnor och femtio män. Tjugo i var och en av fem åldersgrupper.

Exempel. Ett marknadsundersökningsteam behöver 500 svar som motsvarar den nationella fördelningen på ålder, kön och region, och har ingen lista över populationen. De rekryterar tills varje cell är full.

Varför det ändå inte är ett sannolikhetsurval. Kvoterna styr urvalets form, inte valet av personerna i det. Den som rekryterar väljer fortfarande, och personer som är lätta att närma sig skiljer sig systematiskt från dem som inte är det. Ett urval kan motsvara populationen perfekt i ålder och kön och ändå ge en kraftigt felaktig bild av attityderna, eftersom ålder och kön aldrig var de variabler som orsakade skadan.

Strategiskt urval

Strategiskt urval, även kallat bedömningsurval, väljer medvetet ut fall som uppfyller angivna kriterier. Vanliga varianter är urval av typiska fall, extremfall, kritiska fall, maximal variation och experter.

Exempel. En studie av hur ett nytt betalsystem används väljer ut åtta personer. Två som använder det dagligen, två som har gett upp det, två som aldrig började använda det och två i supporten som hanterar klagomål. Den spridningen är vald med avsikt, och resonemanget är metoden.

Ärlig användning. Det mesta av kvalitativ forskning. Måttstocken här är inte slumpmässighet. Den är om du kan säga varför just de här fallen och inte andra, och om bredden av synsätt räcker för att bära dina påståenden.

Snöbollsurval

Snöbollsurval rekryterar ett litet antal deltagare som sedan hänvisar till andra som uppfyller kriterierna, och de hänvisar i sin tur till fler.

Exempel. En studie av informella gränshandlare börjar med fyra deltagare som har identifierats via en lokal förening, och var och en av dem introducerar två till. Det finns inget register över informella handlare, så ingen metod som bygger på en urvalsram är möjlig.

Vad det gör med ditt urval. Homofili. Människor hänvisar till människor som liknar dem själva. Urvalet glider mot ett enda socialt nätverk och bort från isolerade medlemmar av populationen, som ofta är just de forskningen mest behöver höra. Att starta från flera fristående startpersoner i stället för en minskar glidningen men tar inte bort den.

Så gör du ett icke-sannolikhetsurval försvarbart

De flesta guider stannar vid ”du kan inte generalisera” och lämnar läsaren strandsatt, eftersom de flesta läsare genomför exakt den här sortens studie. Här är den del som brukar saknas.

• Beskriv rekryteringen, inte bara metodens namn. Var länken publicerades, under vilka datum, vilka som såg den, om en belöning erbjöds och hur många som tillfrågades jämfört med hur många som svarade. Det är det som gör att en läsare kan bedöma urvalet i stället för att gissa.
• Jämför ditt uppnådda urval med ett känt riktmärke och publicera jämförelsen. Om din organisation består av 60 procent fältpersonal och 25 procent av dina deltagare är fältpersonal, skriv det i en tabell. En redovisad skevhet är ett resultat. En dold skevhet är en brist.
• Känn till vad viktning kan och inte kan göra. Att justera dina data så att demografin motsvarar populationen kan rätta till synliga obalanser. Det kan inte rätta till att personer skiljer sig från deltagarna i något du inte mätte, och det gör aldrig om ett icke-sannolikhetsurval till ett som kan bära ett påstående om precision.
• Ändra meningen, inte statistiken. I stället för ”38 procent av kunderna är missnöjda, plus/minus 4 procentenheter”, skriv ”38 procent av de 620 kunder som svarade uppgav att de var missnöjda. Deltagarna rekryterades via en uppmaning i appen under två veckor och är inte ett slumpmässigt urval av kunderna.” Den andra meningen är kortare, mer användbar och går inte att angripa.

Kvalitativt arbete har ett eget språk för detta. Ett protokoll efterfrågar oftast en motivering snarare än ett numeriskt mål. Det bör omfatta det avsedda antalet och bredden av synsätt, en skillnad som University of Baths guide uttrycker koncist.⁵

Matcha metoden med situationen

Sex situationer, sex metoder. Bestäm dig innan du öppnar svaret. Det är det snabbaste sättet att ta reda på om tabellen ovan faktiskt gick fram.

Så väljer du urvalsmetod

De flesta studier misslyckas inte för att någon valde fel namngiven teknik. De misslyckas för att tekniken inte passade urvalsramen, beslutet eller vad fältteamet realistiskt kunde göra. Tre frågor avgör det nästan varje gång.

1. Börja med påståendet du behöver göra

   Skriv meningen du vill publicera innan du väljer något. ”Sextiotvå procent av våra kunder skulle rekommendera oss” och ”kunder som lämnar beskriver tre återkommande problem” är olika meningar som kräver olika designer. Om ingen kommer att behandla resultatet som en siffra för populationen har du mycket större frihet än du tror.

2. Granska urvalsramen innan du bestämmer dig

   Kan du faktiskt lista populationen, eller något som ligger nära? Om inte, kan du lista de grupper de tillhör? Svaret på den enda frågan utesluter de flesta av de nio metoderna direkt, och därför kommer den som nummer två och inte sist.

3. Namnge de undergrupper du är skyldig att redovisa

   Om ett resultat måste redovisas för varje region, arbetsplats eller roll styr det designen via strata eller kvoter. Det styr också hur många svar du behöver i varje grupp. Att bestämma det efter fältarbetet går inte att reparera.

4. Stäm av designen mot verkligheten i fält

   Tid, budget, kontaktbarhet, språklig tillgänglighet, läsförmåga, uppkoppling och policy för belöningar avgör vad som går att genomföra. En design som ett fältteam inte kan följa blir ett bekvämlighetsurval med ett formellt namn, vilket är värre än att ärligt välja bekvämlighetsurval. Inkluderande rekryteringsplanering minskar systematisk underrepresentation.⁶ När du har dragit urvalet använder du ett enkätverktyg online för att förbereda frågeformuläret och skicka det till de personer som din urvalsplan har valt ut. Att dela en öppen, offentlig länk ändrar vilka som kan svara; det bevarar inte ett slumpmässigt urval.

Där urval faktiskt brister: täckning, urvalsdragning och bortfall

Urvalsdragningen är den del alla oroar sig för och den del som går fel mest sällan. Skadan sker oftast före dragningen, i urvalsramen, eller efter den, i vilka som bryr sig om att svara. Båda ger kalkylark som ser rena ut och felaktiga slutsatser.

Det mest kända urvalsmisslyckandet hade 2,4 miljoner deltagare

År 1936 förutspådde Literary Digest att Alf Landon skulle få ungefär 55 procent av rösterna. Franklin Roosevelt fick omkring 61 procent.⁷ Tidskriften hade skickat ut 10 miljoner valsedlar och fått tillbaka omkring 2,4 miljoner, en svarsfrekvens på 24 procent som ingen nationell opinionsundersökning i dag kommer i närheten av.⁸ Undersökningen placerade Roosevelt tjugo procentenheter under hans faktiska andel, med ett urval på två och en halv miljon människor.

Siffran som borde stå på varje sida om urval. En senare omanalys beräknade urvalets felmarginal för Digests skattningar på delstatsnivå: den låg mellan 0,18 och 2,3 procentenheter, med en median på 0,6.⁸ Ett precisionsmått på plus/minus en halv procentenhet, ovanpå ett fel på tjugo procentenheter. Ingenting visar tydligare att en felmarginal bara mäter ett av flera sätt som en enkätundersökning kan ha fel på.

Och standardförklaringen är bara till hälften rätt. Alla får lära sig att Digest drog sitt urval bland bilägare och telefonabonnenter, som var rika och republikaner. Ett empiriskt test av det påståendet använde en Gallup-undersökning från maj 1937. Personer som ägde både bil och telefon röstade ändå på Roosevelt, 55 mot 45. Bland alla som sa att de hade fått en valsedel från Digest ledde Roosevelt med 55 mot 44. Urvalsramen lutade åt republikanerna, men inte alls tillräckligt för att ge en jordskredsseger för Landon.⁷

Den saknade halvan är bortfall. Bland dem som sa att de hade skickat tillbaka sin valsedel ledde Landon med 51 mot 48. Bland dem som inte skickade tillbaka den ledde Roosevelt med 69 mot 30. Den grova uppdelningen lägger ungefär elva procentenheter av felet på urvalsramen och ungefär sju på skillnader i bortfall.⁷ Att vikta svaren efter en fråga som Digest redan hade ställt, hur man röstade 1932, skulle ha gett rätt vinnare med räknemetoder som fanns 1936.⁸

En hög svarsfrekvens är inte det mål du tror

Svarsfrekvensen i Pew Research Centers egna telefonundersökningar sjönk från 36 procent 1997 till 9 procent 2012, och till 6 procent 2018.⁹ Samtidigt valde Indiens National Family Health Survey, som genomfördes genom personliga intervjuer, ut 664 972 hushåll och fann att 653 144 av dem var bebodda. Den intervjuade 636 699 av dem, en svarsfrekvens på 97,5 procent. Läs nämnaren noga, eftersom det är där en svarsfrekvens oftast blir fel: räknat mot antalet utvalda i stället för antalet bebodda blir samma fältarbete 95,7 procent. Undersökningen drog sitt urval från 30 456 kluster i alla 707 distrikt.¹⁰

De två fakta hör till samma decennium. Insamlingssätt och insats i fältarbetet påverkar svarsfrekvensen långt mer än något generellt påstående om enkättrötthet. Om en guide säger att den genomsnittliga svarsfrekvensen är en enda siffra beskriver den inte en verklig storhet.

Nu till det svårare resultatet. En metaanalys av 235 skattningar av bortfallsfel från 30 publicerade studier fann att korrelationen mellan svarsfrekvens och bortfallsfelets storlek var 0,33. I kvadrat innebär det att svarsfrekvensen förklarar ungefär 11 procent av variationen i snedvridningen.¹¹ En uppföljning av 59 studier som var utformade särskilt för att mäta bortfallsfel kom fram till samma slutsats.¹²

Svarsfrekvensen är värd att redovisa och värd att förbättra. Den är inget kvalitetsintyg. Det som orsakar snedvridning är om benägenheten att svara hänger ihop med det du mäter. En enkätundersökning om volontärarbete drabbas av det långt mer än en om bredbandshastighet. Jaga sambandet, inte procentsatsen.

Fler svar kan inte reparera en trasig urvalsram

Under vaccinationsutrullningen 2021 följde två mycket stora enkätundersökningar vaccinationsgraden i USA. Den ena samlade in omkring 250 000 svar i veckan och överskattade andelen som fått första dosen med 17 procentenheter jämfört med det officiella riktmärket. Den andra samlade in omkring 75 000 varannan vecka och överskattade den med 14. En tredje undersökning med ungefär 1 000 deltagare, genomförd enligt vedertagen praxis för sannolikhetsurval, gav tillförlitliga skattningar.¹³

Samma mönster syns i vanligt enkätarbete. När tre sannolikhetspaneler jämfördes med tre källor med självrekryterade deltagare online, över 28 riktmärken och 29 937 intervjuer, var det genomsnittliga absoluta felet 5,8 procentenheter för de självrekryterade urvalen och 2,6 för sannolikhetspanelerna. För de 25 av riktmärkena som fanns för undergrupper var skillnaden för vuxna i åldern 18 till 29 år 11,2 mot 3,6.¹⁴

Och ett diagnostiskt exempel som fastnar: i en undersökning med självrekryterade deltagare sa 12 procent av vuxna under 30 att de hade licens att framföra en atomubåt.¹⁵ Den verkliga siffran är nära noll. Om en panel kan ge det kan den ge vad som helst, och en större beställning från samma panel köper bara mer av samma sak.

Vilka din urvalsram missar, utanför USA och Storbritannien

De flesta guider om urval utgår i det tysta från en västerländsk urvalsram: en e-postlista, en fast telefon, ett nationellt adressregister. Stora delar av världen gör inte urval på det sättet, och täckningsluckorna har en uppmätt form.

• En onlineenkät i ett låg- eller medelinkomstland är ett urval av den uppkopplade delen av landet, och den delen är skev mot män. Kvinnor i låg- och medelinkomstländer har 14 procent lägre sannolikhet än män att använda mobilt internet, vilket motsvarar ungefär 235 miljoner färre kvinnor än män online.¹⁶
• Telefonurval överrepresenterar hushållsöverhuvuden. I Världsbankens telefonundersökningar i fyra afrikanska länder var 52 procent av deltagarna män i Uganda och 73 procent i Nigeria, mot ungefär hälften av den vuxna befolkningen. I Uganda var 6 procent av telefondeltagarna i åldern 15 till 24 år, mot 38 procent av den vuxna befolkningen.¹⁷
• Vad du kan göra åt det. Kombinera insamlingssätt i stället för att försvara ett. Lista hushållen på plats där inget register finns. Genomför undersökningen på de språk din population faktiskt läser, och förtesta översättningen i stället för att bara översätta tillbaka den. Redovisa sedan den kvarvarande luckan bland dina begränsningar, för den kommer fortfarande att finnas där.

Vad viktning kan och inte kan rätta till

Viktning justerar dina data så att urvalets sammansättning motsvarar kända siffror för populationen. Det är verkligen kraftfullt, och det överskattas rutinmässigt.

Argumentet för. År 2016 hade University of New Hampshires sista opinionsundersökning Clinton i ledning med 11 procentenheter i ett val som hon vann med 0,4. Den hade inte justerat för utbildning. Granskningskommittén drog slutsatsen att den enda justeringen i princip skulle ha tagit bort hela felet.¹⁸ En enda variabel, korrelerad med både svarsbenägenhet och utfall, som gjorde hela jobbet.

Argumentet mot att förlita sig på det. När mer än 30 000 intervjuer med självrekryterade deltagare online prövades mot 24 riktmärken var den genomsnittliga skattade snedvridningen 8,4 procentenheter utan viktning. Av alla viktningsmetoder som testades, inklusive avancerade matchningsmetoder, fick ingen ner den genomsnittliga snedvridningen under 6 procentenheter.¹⁹ Att fyrdubbla urvalsstorleken gav ytterligare 0,2 procentenheter.

Regeln som följer är enkel. Viktning rättar till obalans i de variabler du viktar på, i den mån de variablerna har samband med utfallet. Den gör ingenting åt hur deltagarna skiljer sig från dem som inte svarade i saker du aldrig mätte, och den gör aldrig om ett icke-sannolikhetsurval till ett som kan bära ett påstående om precision.

Ett precisionsmått är ett golv, inte ett tak

En felmarginal kvantifierar urvalsvariationen, och bara den. Den förutsätter att urvalet drogs slumpmässigt ur målpopulationen och att den kvarvarande snedvridningen har tagits bort. Täckningsfel, bortfallsfel, mätfel och oärliga deltagare ligger alla utanför den.

Beläggen är entydiga. Under de sista två veckorna 2020 redovisade 348 presidentvalsundersökningar på delstatsnivå en felmarginal, och den genomsnittliga redovisade siffran var 3,9 procentenheter. Mätt mot det genomsnittet missade 55 procent av dem den slutliga marginalen mellan kandidaterna med mer än en felmarginal, och 21 procent missade med mer än två felmarginaler.²⁰ Det här var moderna undersökningar med moderna metoder. Se felmarginalen som ett golv för din osäkerhet, aldrig som ett tak.

Evidensgrad A betyder officiell statistik, en metaanalys eller ett replikerat resultat. Evidensgrad B betyder en stark studie vars slutsats ännu inte har upprepats oberoende.

Designeffekt: varför klusterurval behöver fler personer

Nästan varje guide rekommenderar klusterurval för kostnadsbesparingen och stannar där. Besparingen är verklig, och det är notan också. Personer inom samma skola, vårdcentral, avdelning eller butik liknar varandra. De liknar varandra mer än de liknar personer som valts slumpmässigt ur hela populationen. Därför tillför varje extra svar från en grupp du redan har valt mindre ny information.

Designeffekten är talet som mäter detta. I ord: hur mycket bredare din osäkerhet blir jämfört med om du hade dragit samma antal personer oberoende av varandra. För en design med lika stora grupper är den

designeffekt = 1 + (genomsnittlig gruppstorlek - 1) x intraklasskorrelation

Intraklasskorrelationen är hur lika personerna inom en grupp är i det du mäter. Noll betyder att vilken skola eleven går på inte säger något om elevens svar. Ett betyder att alla på en skola svarar exakt likadant, och skolan kunde lika gärna vara en enda person. Verkliga värden är små, men små värden gör stor skada när grupperna blir stora. Sammantaget över 48 nationella hushållsundersökningar är den genomsnittliga intraklasskorrelationen ungefär 0,06. Den varierar beroende på vad du mäter. Frågor om fruktsamhet ligger på ungefär 0,01 till 0,03, nuvarande preventivmedelsanvändning på 0,03 till 0,05 och förlossningar med medicinsk assistans så högt som 0,22 i de nationella siffrorna.²¹

Om du inte har någon egen skattning, låna ett standardvärde med försiktighet. DHS:s urvalshandbok använder 1,5 som reservvärde för deft när en undersökning inte har någon egen siffra.²² Deft är inte samma storhet som designeffekten i formeln ovan: den är kvoten mellan de två standardfelen, medan designeffekten är kvoten mellan de två varianserna. Du kvadrerar den, så en deft på 1,5 motsvarar en designeffekt på 2,25. Handboken kallar värdet en reservlösning snarare än ett typiskt värde, och dess egna räknade exempel använder 1,40 för användning av moderna preventivmedel och 1,22 för vaccination av barn.

Viktning lägger till en egen komponent. En nationell undersökning som drar ett större urval i en region och sedan viktar tillbaka det bär på två designeffekter samtidigt. En viktningseffekt på 1,22 och en klustereffekt på 1,80 ger en total designeffekt på 2,20. Därmed beter sig 5 000 intervjuade hushåll som 2 277 oberoende hushåll.²³

Lärdomen för designen. Fler grupper med färre personer i varje slår färre grupper med fler personer i varje, nästan varje gång. Fyrtio skolor med 24 elever och 24 skolor med 40 elever kostar ungefär samma 960 svar, men det första alternativet har en mindre designeffekt och ett försvarbart resultat. Om du planerar hur många svar du behöver totalt, räkna ut det i vår guide om urvalsstorlek och multiplicera sedan med designeffekten. Det är när det görs i omvänd ordning som klusterstudier får för låg statistisk styrka.

Tre räknade exempel, från början till slut

Metodnamn är lätta. Det är besluten runt dem som får studier att gå fel. De här tre följer en verklig design från beskrivningen av populationen fram till meningen du kan publicera.

Exempel 1: patientupplevelser i ett distrikt

• Population. Vuxna som besökte en öppenvårdsmottagning på någon av distriktets 46 offentliga vårdcentraler mellan den 1 april och den 30 juni.
• Urvalsram. Det finns inget patientregister för hela distriktet. Det finns däremot en lista över de 46 vårdcentralerna, med antal besök per månad.
• Metod. Flerstegsurval. Välj ut 18 vårdcentraler med sannolikhet proportionell mot antalet besök, och dra sedan systematiskt var 8:e patient som lämnar mottagningen under två slumpmässigt valda mottagningsdagar.
• Varför inte något enklare. En fullständig patientlista skulle möjliggöra stratifierat urval, men den finns inte och kan inte byggas inom tidsramen. Ett bekvämlighetsurval på de tre största vårdcentralerna skulle gå snabbare och skulle beskriva de tre största vårdcentralerna.
• Vad som måste redovisas. Urvalssannolikheterna skiljer sig efter vårdcentralens storlek, så analysen kräver vikter, och intervallet måste breddas för designeffekten.
• Meningen som går att publicera. ”Bland vuxna som besökte offentliga öppenvårdsmottagningar i distriktet under andra kvartalet bedömde uppskattningsvis 71 procent att väntetiden var acceptabel, baserat på 1 240 utgångsintervjuer på 18 vårdcentraler utvalda med sannolikhet proportionell mot antalet besök.”

Exempel 2: en uppsatsstudie bland studenter

• Population. Studenter inskrivna vid handelsfakulteten under det aktuella läsåret: 3 100 fördelade på tre årskurser.
• Urvalsram. Fakultetens register över inskrivna studenter, som anger årskurs och program.
• Metod. Stratifierat slumpmässigt urval efter årskurs, proportionell fördelning, mål 350 fullständiga svar.
• Uträkningen. Första årskursen har 1 300 studenter, vilket är 42 procent av 3 100, så den får 42 procent av 350, alltså 147 svar. Upprepa för varje årskurs. Eftersom fördelningen är proportionell behövs ingen viktning.
• Planering av svaren. Med en förväntad svarsfrekvens på 35 procent behöver du bjuda in ungefär 1 000 studenter för att landa på 350 fullständiga svar, och du bör bjuda in dem stratum för stratum så att en svag svarsfrekvens i en årskurs syns medan det fortfarande finns tid att agera.
• Begränsningar att redovisa. Studenter som har avbrutit sina studier men finns kvar i registret är övertäckning. Studenter som skrevs in efter att registret togs ut är undertäckning. Båda hör hemma i stycket om begränsningar.

Exempel 3: kundåterkoppling för en webbutik

• Population. Kunder som har genomfört en beställning under de senaste 90 dagarna.
• Urvalsram. Ordertabellen. Den är fullständig för beställningar online och fullständig för köp som gäst, men en kund med två konton förekommer två gånger.
• Metod. Ta bort dubbletter så att det blir en rad per kund, och gör sedan ett systematiskt urval av var 12:e kund efter en slumpmässig start, löpande i stället för i en enda omgång.
• Fällan detta undviker. Att bara bjuda in prenumeranter på nyhetsbrevet går snabbare och är ett bekvämlighetsurval av dina mest engagerade kunder. Det får nöjdheten att se bättre ut än den är, varje kvartal och utan undantag.
• En kommentar om anställda. Om samma organisation undersöker sina egna 180 anställda bör den inte göra något urval alls. Den populationen är liten, nåbar och alla har rätt att bli tillfrågade. Gör en totalundersökning, och om deltagandet är lågt, behandla det som ett resultat snarare än som ett urvalsproblem.

Så skriver du urvalsdelen av din metodbeskrivning

Det här är steget de flesta guider hoppar över, och det är det som en handledare, granskare eller kund faktiskt läser. En redovisning av urvalet måste besvara fem frågor i ordning: vilka, från vilken lista, utvalda hur, hur många och vad du därför har rätt att påstå.

Fyll i luckorna nedan. Den är medvetet enkel: examinatorer letar inte efter elegant prosa här, de letar efter en design som de kan bedöma.

Samma studie, svagt skriven och väl skriven

Svag. ”Ett slumpmässigt urval av studenter gjordes och 350 svar samlades in.”

Ingenting här går att kontrollera. ”Slumpmässigt” gör ett jobb det inte har förtjänat, det finns ingen urvalsram, ingen nämnare och inget om vilka som uteslöts.

Stark. ”Målpopulationen var de 3 100 studenter som var inskrivna vid handelsfakulteten 2026. Urvalsramen var fakultetens register över inskrivna studenter, uttaget den 3 mars 2026. Stratifierat slumpmässigt urval efter årskurs med proportionell fördelning användes så att varje årskurs kunde redovisas separat. Ettusen studenter bjöds in och 350 fyllde i frågeformuläret, en svarsfrekvens på 35 procent. Ingen viktning gjordes eftersom fördelningen var proportionell. Studenter som avbröt sina studier efter uttagsdatumet fanns kvar i urvalsramen och kunde inte identifieras, vilket är en mindre källa till övertäckning.”

Den andra versionen är längre, och varje extra mening är en mening som en granskare inte längre behöver fråga om.

Checklista för urvalsplanen

En skriftlig urvalsplan förhindrar de flesta undvikbara fel, eftersom den tvingar fram besluten före fältarbetet i stället för under analysen. Åtta punkter, en sida.

När planen är klar avgör frågeformuläret om urvalet var värt att dra. Ett perfekt urval kan inte rädda en ledande fråga eller en dubbelfråga, så det lönar sig att läsa igenom exempel på enkätfrågor innan du går ut i fält.

Vanliga frågor

Läs vidare

Urvalet är ett beslut inom en större studie. De här guiderna går igenom besluten före och efter.

• Forskningsdesign för enkätundersökningar visar var urvalet kommer in bland de övriga stegen i en studie, från att definiera populationen till lanseringen.
• Så bestämmer du urvalsstorlek går igenom precisionsberäkningarna, inklusive formlerna, som den här sidan medvetet överlåter åt den guiden.
• Så skriver du enkätfrågor går igenom mätsidan, som ingen urvalsdesign kan rädda.
• Principer för utformning av frågeformulär visar hur ett helt frågeformulär sätts samman när frågorna väl finns.
• Svarsbias går djupare in på skillnaden mellan de personer du valde ut och de personer som svarade.
• Demografiska frågor i enkäter är användbar när din urvalsram saknar den variabel du behöver stratifiera på.
• Statistisk signifikans går igenom vad du gör med siffrorna när urvalet väl är insamlat.
• Kvantitativ dataanalys går igenom analysstegen som följer, inklusive var vikterna hör hemma.

Hur den här guiden skrevs, och vad den inte täcker

Vem som skrev den. Michael Hodge, som arbetar med enkätmetodik, frågekonstruktion och datakvalitet på SuperSurvey och skriver de praktiska guiderna i avdelningen Guider och hjälp.

Vad den bygger på. Definitionerna följer den metodologiska översikten och de universitetsriktlinjer för forskning som citeras nedan, eftersom det är där de tekniska begreppen faktiskt definieras. De officiella sidorna om forskningsetik och från statistikmyndigheter listas som korta, lättbegripliga utgångspunkter, inte som källan till definitionerna. Metodbeskrivningarna följer samma översikter och riktlinjer. Varje siffra i avsnittet om belägg kommer från en namngiven primärkälla som listas nedan. Varje påstående har också en evidensgrad, så att du kan se vilka resultat som är etablerade och vilka som vilar på en enda studie. Siffrorna för designeffekt i diagrammet och tabellen är vår egen beräkning. Vi använde standardformeln, med antagandena angivna i bildtexten, så att du kan räkna om dem eller ifrågasätta dem med dina egna klusterstorlekar.

Vad den inte täcker. Den här guiden handlar om urval för enkätundersökningar och observationsstudier. Den tar inte upp experimentell design eller slumpmässig fördelning, utöver att skilja dem åt. Den utelämnar också urval för acceptanstestning, revision och signalbehandling, som använder samma ord för andra saker. Respondentdrivet urval, tid-plats-urval och adaptivt klusterurval är verkliga metoder som specialister använder för dolda populationer, och de ligger utanför ramen här. Siffrorna för intraklasskorrelation kommer från hushållsundersökningar i låg- och medelinkomstländer. Se dem som illustrationer, inte som värden att föra över till ett annat sammanhang.

Där siffrorna är svagast. Omanalysen av Literary Digest vilar på en enda undersökning från 1937 och en senare omanalys, och båda författarna påpekar sin egen osäkerhet; den har därför evidensgrad B. Siffrorna för fel i opinionsundersökningar kommer från amerikanska valundersökningar, som är ovanligt väl studerade och inte nödvändigtvis representativa för fel i enkätundersökningar i allmänhet.

Upplysning. SuperSurvey säljer enkätprogramvara. Ingenting på den här sidan är till salu, ingen del av den kräver registrering, och ingen organisation har sponsrat eller granskat guiden. Där vi länkar till våra egna sidor är det för att de tar upp nästa beslut, inte för att en länk ger oss något.

Källor