Det viktigaste i korthet
- Utgå från ett beslut, inte ett ämne. Skriv ner vad du kommer att göra annorlunda beroende på svaren. Ett item som inte kan ändra ett beslut är en kandidat att stryka.
- En idé, ett item, en tidsram. Om en fråga döljer två frågor kan du inte avgöra vilken halva som styrde svaret.
- Formuleringen flyttar siffrorna. I ett experiment med delat urval flyttades stödet för samma statliga program med 45 procentenheter bara genom att programmen fick nya namn, så neutrala formuleringar är ett mätbeslut och inte en artighet.
- Utforma svarsalternativen lika noggrant som frågan. Överlappande intervall, saknade kategorier och en mittpunkt utan etikett gör mer skada än en klumpigt formulerad frågetext.
- Gör ett förtest med människor och sedan en pilotstudie med data. Om en handfull deltagare läser högt hittar du de feltolkningar du inte kan se från skribentens stol.
Vad utformning av frågeformulär är, och vad den inte kan rätta till
Utformning av frågeformulär är processen där ett forskningssyfte blir frågor som människor kan förstå och besvara korrekt. Den omfattar formuleringar, svarsalternativ, ordning, inledning och testning. De sju stegen nedan visar hur de valen samverkar i ett komplett frågeformulär.
Ett item är väl utformat när två personer med samma erfarenhet läser det på samma sätt, kan hämta svaret ur minnet och väljer samma alternativ för att beskriva det. Allt nedan är sätt att komma närmare det.
Två saker kan den inte rätta till. Den kan inte rätta till fel målgrupp: ställ perfekta frågor till fel personer så får du exakta svar på en fråga som ingen ställde. Det är ett problem med urvalsmetoden, inte med formuleringen. Den kan inte heller rätta till för få inlämningar, vilket är ett problem med urvalsstorleken.
Det är också värt att skilja på två ord som ofta används som om de betydde samma sak. Frågeformuläret är instrumentet, listan med item och svarsalternativ. Enkätundersökningen är hela studien runt det: vilka du frågar, hur du når dem och vad du gör med data. Om du behöver den bredare processen finns den i vår guide om forskningsdesign för enkätundersökningar. Den här sidan håller sig till instrumentet.
De 7 stegen i utformningen av en enkät
Den som söker frågar efter sju steg oftare än något annat antal, och listorna som kommer upp är mest kopior av ett och samma blogginlägg från en byrå 2006, vars originalsida inte längre finns kvar. Ordningen nedan är alltså inte den listan. Det är den utvecklingsprocess som litteraturen om enkätmetodik faktiskt beskriver16, 17, 20, uppdelad vid de sju punkter där arbetet verkligen ändrar karaktär, med de två saker som kopiorna utelämnar: vad varje steg ger och var vart och ett brukar gå fel.
| Steg | Vad du bestämmer | Vad du tar fram | Var det brukar gå fel |
|---|---|---|---|
| 1. Besluten först | Vad resultaten ska avgöra | En kort lista med beslut och jämförelserna bakom dem | Man utgår från ett ämne, så inget säger när man ska sluta lägga till item |
| 2. Item och format | Ett item per beslut, och dess svarsformat | Ett utkast till itemlista med ett format bredvid varje item | Formatet väljs av vana i stället för efter den analys du behöver |
| 3. Besvarbara formuleringar | Hur varje frågetext formuleras | Frågetexter med definierade begrepp och en angiven tidsram | Man frågar efter minnen som ingen har, eller döljer två frågor i en |
| 4. Svarsalternativ och skalor | Svarsalternativen för varje slutet item | Alternativ som inte överlappar och som inte lämnar någon utan ett svar | Överlappande intervall, inget alternativ för att avstå, en mittpunkt utan etikett |
| 5. Neutrala formuleringar | Vilka ord som driver fram ett svar | Neutrala frågetexter och balanserade svarsalternativ | Värdeladdade adjektiv i frågetexten och ensidiga svarslistor |
| 6. Ordning och inledning | Ordningsföljd, gruppering och inledningstexten | Ett ordnat instrument med en kort inledning | Känsliga item för tidigt, och en inledning som ingen läser |
| 7. Förtest och pilotstudie | Om det fungerar på verkliga människor | Ett omarbetat instrument och en uppskattad svarstid | Man hoppar över det, eller ser en enda omgång som tillräcklig |
Steg 3, 4 och 5 hålls isär här eftersom de går fel på olika sätt och rättas med olika grepp. I praktiken går du igenom dem mer än en gång. Den streckade linjen i diagrammet är den slinga som betyder mest: det förtestet hittar skickar dig oftast tillbaka till steg 3.
Steg 1. Skriv ner besluten innan du skriver en enda fråga
De flesta uppsvällda frågeformulär utgår från ett ämne. Bra frågeformulär utgår från ett beslut. Innan du gör ett utkast till ett item, skriv ner den korta listan över vad du kommer att göra annorlunda beroende på vad som kommer tillbaka.
Lista tre till fem beslut
Skriv dem som val, inte teman. ”Upprepa tvådagarsformatet eller byta till korta onlinepass” är ett beslut. ”Feedback på utbildningen” är ett tema.
Namnge de jämförelser du måste göra
Team, arbetsplatser, skift, tidsperioder, förstagångsbesökare jämfört med återkommande. Jämförelserna styr både formuleringarna och svarsalternativen, så bestäm dem nu i stället för senare.
Gör ett utkast till resultaten på en sida
Skissa de faktiska tabeller och diagram du räknar med att göra. Om du inte kan rita det resultat ett item ska mata har det itemet ingen uppgift.
Det här är steget som metodhandböckerna sätter först, och av samma skäl: det är det enda som talar om när du ska sluta lägga till frågor.16, 17
Läs varje item i utkastet och avsluta den här meningen: ”Om alla svarar B i stället för A kommer vi att …” Om du inte kan avsluta den, stryk itemet eller skriv om det tills du kan.
Steg 2. Gör varje beslut till ett item och välj dess format medvetet
Frågeformatet är ett mätbeslut, inte en layoutpreferens. Välj det format som läsaren kan besvara och som det resultat du planerar kan använda.
| Om resultatet är | Använd | Exempel på frågetext |
|---|---|---|
| Ett tal du ska följa över tid | Ett slutet skattningsitem med etikett på varje skalsteg | ”Hur lätt eller svårt var det att slutföra installationen utan hjälp?” |
| En rangordnad lista över saker att åtgärda | Envalsfråga och sedan en följdfråga | ”Vilken enskild förändring skulle hjälpa dig mest?” och sedan ”Varför just den?” |
| Ett antal eller en andel | Slutna intervall som inte överlappar | ”Hur många gånger har du kontaktat supporten under de senaste 30 dagarna?” |
| Formuleringar du inte har hört ännu | En riktad ruta för fritext | ”Vad var huvudskälet till att du hörde av dig i dag?” |
| Behörighet för senare item | En urvalsfråga plus hopplogik | ”Har du använt rapportfliken under de senaste 30 dagarna?” |
Slutna item är billigare att analysera och lättare att jämföra mellan omgångar. Öppna item hittar det som din alternativlista glömde. Det praktiska skälet till att slutna item dominerar är kostnaden: öppna svar kräver en kodningsmall och mer än en kodare innan de betyder något.1 Använd ett eller två öppna item, placerade där de gör nytta, och håll resten slutna. Våra guider om flervalsfrågor och öppna och slutna frågor går djupare in på varje format.
En varning om instämmandeskalor. Om du kan fråga om saken direkt, fråga direkt. I ett experiment med fyra urval nådde item med svarsalternativ anpassade till konstruktet reliabilitetskoefficienter på 0,87 till 0,93, medan samma innehåll ställt som påståenden att instämma i eller ta avstånd från nådde bara 0,36 till 0,73.4 Det är en stor skillnad för ett format som de flesta väljer av vana. Två namngivna svarseffekter förklarar mycket av den. Jakande svarstendens är dragningen mot att instämma oavsett vad påståendet råkar säga, så formatet lägger till en slagsida som du inte kan skilja ut i efterhand. Satisficing innebär att läsaren gör precis så mycket som krävs för ett svar som duger snarare än ett som är korrekt, och en kolumn med påståenden att instämma i eller ta avstånd från gör det väldigt enkelt. Båda blir värre ju längre frågeformuläret är. Om du behöver formatet, följ våra råd om likertskalan.
Steg 3. Skriv en frågetext som går att besvara
Många dåliga item är inte vaga. De går inte att besvara. De frågar efter minnen som ingen har, eller efter kunskap som deltagaren aldrig har fått.
Ge varje fråga om beteende ett tidsfönster
”Hur ofta kontaktar du supporten?” har ingen förankring, så två personer med identiskt beteende kommer att svara olika. Ange tidsfönstret och anpassa det efter hur ofta beteendet förekommer.
| Du vill ha | Svår att besvara | Går att besvara |
|---|---|---|
| En frekvens | ”Hur ofta kontaktar du supporten?” | ”Hur många gånger har du kontaktat supporten under de senaste 30 dagarna?” |
| Ett nyligt beteende | ”Tränar du regelbundet?” | ”Hur många dagar under de senaste 7 dagarna tränade du i minst 30 minuter?” |
| Ett enskilt tillfälle | ”Gick introduktionen smidigt?” | ”Tänk på din senaste installation: hur lätt eller svårt var det att slutföra den utan hjälp?” |
Använd de ord som dina läsare använder
- Välj det vanliga ordet. ”Hjälp” slår ”assistans”. ”Köpa” slår ”förvärva”. Enklare ord är också lättare att översätta.
- Definiera varje begrepp du inte kan undvika. Om itemet hänger på ”incident” eller ”ärende”, säg i själva frågetexten vad som räknas.
- Skriv ut en förkortning en gång. Återanvänd den sedan. Utgå inte från att alla delar samma interna kortspråk.
- Fråga vad som hände, inte varför. Människor kan rapportera händelser. De kan oftast inte rapportera orsaker inom din organisation.
En idé per item
Ett item som döljer två frågor ger ett svar som du inte kan tolka. Den som älskade priset och hatade kvaliteten har inget ärligt alternativ, och vad personen än väljer vet du inte vilken halva som styrde svaret.
Hur nöjd är du med priset och kvaliteten?
Två item i stället. ”Hur nöjd är du med kvaliteten?” och ”Hur nöjd är du med priset?”
Här är det värt att vara ärlig om forskningsläget. Att dela upp dubbla frågor är nästan en universell regel, men den direkta experimentella litteraturen bakom den är tunn och ny. Det tydligaste testet visade att ett dubbelfrågeitem och dess omskrivning med en enda idé inte mätte samma sak, och att versionen med en enda idé hade högre validitet.15 Se regeln som välgrundad och väl motiverad, inte som ett etablerat fyrtioårigt resultat som formuleringseffekterna i steg 5.
Steg 4. Bygg svarsalternativ och skalor som du kan analysera
Många frågeformulär fallerar i svarslistan snarare än i frågetexten. Två tester fångar det mesta. Alternativen får inte överlappa, och de får inte lämna någon utan ett ärligt val.
Hur gammal är du? 18 till 30, 30 till 40, 40 till 55, 55 och äldre
Hur gammal är du? 18 till 29, 30 till 39, 40 till 54, 55 eller äldre, Vill inte uppge
Skattningsskalor
| Val | Vad du ska göra | Varför |
|---|---|---|
| Antal skalsteg | Fem till sju för attityder | Reliabilitet och validitet stiger brant upp till ungefär sju skalsteg, planar sedan ut, och test-retest-reliabiliteten sjunker igen efter tio.5, 1 |
| Etiketter | Sätt etikett på varje skalsteg när du kan | Enbart siffror glider. Två personer läser ”6 av 10” olika; båda läser ”Ganska lätt” på samma sätt. |
| Riktning | Behåll samma riktning hela vägen | Att byta riktning mitt i frågeformuläret ger felklick som ser ut som verkliga åsiktsförändringar. |
| Mittpunkt | Ta med en när neutral är en verklig hållning | Att ta bort den avslöjar ingen dold lutning. Människor väljer slumpmässigt nära där den skulle ha legat.1 |
| Ej tillämpligt | Håll det skilt från mittpunkten | Annars räknas de som inte kan bedöma som neutrala, vilket i det tysta flyttar ditt medelvärde. |
Mittpunkt och ”vet inte” är inte oberoende reglage, även om de flesta råd behandlar dem så. När ett ”vet inte”-alternativ erbjöds vid sidan av en mittpunkt minskade andelen som valde mittpunkten med ungefär 7 till 17 procentenheter beroende på item.6 En stor del av din neutrala hög är med andra ord personer som saknar åsikt, inte personer som står i mitten. Bestäm om båda alternativen tillsammans. Vår guide om skattningsfrågor går igenom layoutdetaljerna.
På ett attityditem valde 15 procent alternativet ”vet inte” när det erbjöds. På närliggande item i samma intervju, utan alternativet, gav bara 3 och 4 procent inget sakligt svar, och de svaren förutsade ändå hur människor senare röstade.7 En enkel utväg används, och en del av det den samlar in var verkliga åsikter.
Steg 5. Håll formuleringarna neutrala och granska dem för bias
Det här är steget med mest forskning bakom sig och de största uppmätta effekterna. Experiment med delat urval har flyttat resultat med tiotals procentenheter för samma underliggande åsikt, enbart genom att ord byttes ut.
I General Social Survey 1985 sa 65,2 procent av amerikanerna att för lite pengar lades på ”hjälp till de fattiga”. Tillfrågade om samma program under etiketten ”socialbidrag” (welfare) sa bara 19,8 procent att det var för lite. Det är en skillnad på 45 procentenheter från ett enda ord, och den upprepades året därpå med 62,8 mot 23,1.2, 3
Inramningen gör samma sak. Stödet för militära insatser i Irak låg på 68 procent och föll till 43 procent när samma fråga fick tillägget ”även om det skulle innebära att amerikanska styrkor kunde drabbas av tusentals förluster”.8
Det här är experiment med delat urval: två slumpmässiga halvor av samma enkät, en formulering var. Det är den designen som förvandlar ”formuleringen spelar roll” från en åsikt till en mätning.
Vad du ska ta bort
| Mönster | Styrd | Neutral |
|---|---|---|
| Adjektiv i frågetexten | ”Hur hjälpsamt var vårt utmärkta supportteam?” | ”Hur hjälpsamt eller ohjälpsamt var vårt supportteam?” |
| Bara en riktning erbjuds | ”Hur frustrerande var registreringen?” | ”Hur lätt eller svårt var det att registrera sig?” |
| Ensidig svarslista | ”Hur nöjd är du?” med bara positiva alternativ | Lika många negativa som positiva alternativ |
| Antaget beteende | ”Hur använder du rapportfliken?” | ”Har du använt rapportfliken under de senaste 30 dagarna?” |
Bias kommer också från deltagaren, inte bara från formuleringen. Tre vanor gör mest skada. Social önskvärdhet innebär att svara på det sätt som ser bättre ut. Jakande svarstendens innebär att instämma oavsett vad påståendet råkar säga. Satisficing innebär att göra precis så mycket som krävs för ett svar som duger, snarare än ett som är korrekt. Vår guide om svarsbias går igenom alla tre.
Steg 6. Ordna itemen och skriv sedan en kort inledning
Ordningen är inte kosmetisk. En tidigare fråga kan ändra svaret på en senare, och effekten är mätbar. Stödet för juridiska avtal för samkönade par var 45 procent när itemet kom efter en fråga om äktenskap, och 37 procent när det stod ensamt.9 Ingenting i itemet ändrades utom det som kom före det.
En ordningsföljd som fungerar
Urvalsfråga
Bekräfta att personen är behörig innan du frågar något annat. Skicka alla andra direkt vidare ut.
Uppvärmning
Enkla, faktabaserade item som visar att frågeformuläret handlar om något de känner igen.
Kärnblock
Gruppera efter ämne. Behåll samma skala inom ett block så att ingen behöver lära sig den på nytt.
Diagnostik
Skälen och hindren som förklarar skattningarna ovanför dem.
Känsliga item och segment
Sist, och bara de som du faktiskt kommer att använda. Se demografiska frågor för formuleringsmönstren.
Avslutning
En öppen ruta för ”något annat”, sedan ett tack och vad som händer härnäst.
En inledning som du kan kopiera
Håll den till fem rader. Människor kom för att svara, inte för att läsa.
Syfte: Vi samlar in synpunkter för att förbättra [process eller tjänst].
Tid: Cirka [X] minuter.
Integritet: Dina svar är [anonyma eller konfidentiella], och [vem] kommer att se resultaten.
Frivilligt: Du kan hoppa över vilken fråga som helst.
Kontakt: Frågor? [namn och e-postadress].
Var försiktig med tidsuppskattningen, eftersom den ändrar vilka som deltar. När samma frågeformulär angavs ta 10, 20 eller 30 minuter föll andelen som började från 75 till 64,9 till 62,4 procent, och andelen av dem som började som också slutförde föll från 68,2 till 56,8 till 46,8 procent.10 Att ange en längd är rätt. Se bara till att siffran är en som ditt förtest har gett.
Säg tydligt vem som ser de obearbetade svaren och hur länge du sparar dem, och se till att det stämmer med dina faktiska integritetsåtaganden. Samtycke och tydlighet om syftet är en del av arbetet med frågeformuläret, inte pappersarbete som skruvas på i efterhand.17
Steg 7. Gör ett förtest med människor, en pilotstudie med data och lansera sedan
Det är här frågeformulär faktiskt blir bättre. Ett förtest visar vad människor tror att itemet betyder. En pilotstudie visar hur data ser ut när de besvarar det. Det är olika uppgifter och du behöver båda.16, 19 Bygg pilotstudien i vårt kostnadsfria enkätverktyg och testa frågeordningen, svarsalternativen och förgreningarna på en telefon innan du delar den med hela ditt urval.
Läs det högt
Be någon läsa varje item högt. Allt som personen snubblar på, läser om eller formulerar om är en kandidat för omskrivning.
Undersök betydelsen
Fråga ”vad betyder den här frågan för dig?” och ”hur kom du fram till det svaret?”. Du testar förståelse, inte åsikter.
Ta tid
Notera hur lång tid det verkligen tar. Den siffran ska stå i din inledning, och den är oftast längre än du trodde.
Skriv om och gör om
En omgång räcker sällan för ett nytt instrument. Rätta till och testa sedan rättelserna på någon ny.
Hur många förtestintervjuer
Fler än du tror. Modellering av förtester med kognitiva intervjuer visade att verkliga problem med frågorna fortsatte att dyka upp i takt med att antalet intervjuer växte, utan någon tydlig platå där du tryggt kan sluta.14 Se ett fast antal som en budget, inte som täckning, och lägg den på personer som liknar dina faktiska deltagare.
Vad pilotstudien är till för
- Täckning av alternativen. Om ”Annat” eller ”Vill inte uppge” är populära saknar din lista något.
- Användning av skalan. Svar som hopar sig i ena änden betyder oftast att formuleringen drev dem dit.
- Rakt-igenom-svar (straightlining). Identiska svar genom ett helt block. I paneldata förekommer det hos 15 till 40 procent i block där det är ett rimligt mönster, och under 2 procent där det inte är det.13
- Logik. Kontrollera att människor bara ser de följdfrågor som gäller dem.
- Avhoppspunkt. Notera vid vilket item människor lämnar. Det itemet är oftast problemet, inte längden.
Det är två olika tal som besvarar två olika frågor, och att behandla det ena som det andra är ett vanligt och dyrt misstag. Trettio personer räcker för att avslöja en trasig alternativlista, en frågetext som ingen läser på samma sätt eller en logikgren som aldrig utlöses. Det är allt en pilotstudie är till för. Det räcker inte på långa vägar för att skatta en andel eller för att skilja två grupper åt med någon säkerhet. Rätta till instrumentet med pilotstudien och dimensionera sedan den riktiga studien separat med vår guide om urvalsstorlek.
Räkna med en måttlig svarsfrekvens när du väl lanserar: för onlinepaneler med icke-sannolikhetsurval är svarsfrekvenser på 10 procent eller lägre numera vanliga.21
Ett komplett exempel: ett frågeformulär, byggt genom alla sju stegen
Varje guide i ämnet visar enskilda frågor som rättas till. Nästan ingen visar ett frågeformulär som byggs. Så här kommer ett komplett, från beslutet högst upp till instrumentet längst ner, med stegen ovan i ordning.
Ett driftteam på ungefär 40 personer gick en tvådagars säkerhetsutbildning i maj. Ledningen ska välja format för nästa omgång, och ingen har några data. Det är hela uppdraget. Gå nu igenom stegen.
| Steg | Vad det gav här |
|---|---|
| 1. Besluten först | Tre beslut: behålla tvådagarsformatet eller gå över till korta onlinepass; vilken modul som ska skrivas om först; om materialet över huvud taget används i arbetet. Allt nedan går att spåra till något av dessa. |
| 2. Item och format | Nio item. Två slutna antalsfrågor, två skattningar med etiketter, tre envalslistor, en riktad öppen ruta, en avslutande öppen ruta. En urvalsfråga högst upp. |
| 3. Besvarbara formuleringar | Varje beteendeitem fick ett namngivet tidsfönster (”under de 30 dagarna sedan utbildningen”). ”Checklistan” definieras i frågetexten i stället för att tas för given. |
| 4. Svarsalternativ och skalor | Antalsfrågorna använder intervall som inte överlappar. Båda skattningarna använder samma fem skalsteg i samma riktning. ”Jag har inte använt den än” hålls skilt från mittpunkten. |
| 5. Ta bort styrningen | ”Hur användbar var den utmärkta nya checklistan” blev ”Hur användbar eller inte användbar”. Formatitemet erbjuder båda alternativen plus ”båda” och ”inget av dem”, så det driver inte fram ett önskat svar. |
| 6. Ordning och inledning | Urvalsfråga, sedan beteende, sedan skattningar, sedan formatbeslutet, sedan hindret, sedan skift, sedan den öppna avslutningen. Skift ligger nära slutet eftersom det är det enda item som människor kanske inte vill svara på. |
| 7. Förtest och pilotstudie | Högläsning med fyra personer. Två läste ”checklistan” som ett annat dokument, så F2 fick tillägget ”den ensidiga checklistan från modul 2”. Den rättelsen ensam är hela argumentet för steg 7. |
Det färdiga frågeformuläret
Nio item och en urvalsfråga. Kopiera det och byt sedan ut substantiven. Kopiera inte tidsuppskattningen: ta fram den med din egen högläsning.
Frågeformulär efter utbildningen: 10 item
- F0. Deltog du i säkerhetsutbildningen den 12 och 13 maj? Envalsfråga, urvalsfrågaEn urvalsfråga, inte en uppvärmning. Den som svarar ”Nej” ska skickas direkt till slutet. Utan den kan du inte skilja någon som inte deltog från en missnöjd deltagare.
- F1. Hur många gånger under de 30 dagarna sedan utbildningen har du använt den ensidiga checklistan från modul 2 i ett verkligt arbete? Envalsfråga, antalEtt namngivet tidsfönster och ett namngivet dokument. Intervallen överlappar inte, så den som har använt den tre gånger har exakt ett ställe att gå till. Det här itemet besvarar beslut tre på egen hand.
- F2. Hur lätt eller svårt var det att använda checklistan i ett verkligt arbete? Femgradig skattning, etikett på varje skalsteg1Mycket svårt2345Mycket lättBåda riktningarna finns i frågetexten, så inget antyds. ”Jag har inte använt den än” ligger utanför skalan i stället för inuti den, så de som inte kan bedöma räknas inte som neutrala.
- F3. Vilken del av utbildningen var svårast att följa? Envalsfråga, med en utvägDet här besvarar beslut två. ”Inget var svårt att följa” är lika viktigt som modulerna: utan det tvingas alla att peka ut ett problem som kanske inte finns.
- F4. Vad gjorde den delen svår att följa? Fritext, visas bara om en modul valdes i F3Kort svarDet enda öppna item som förtjänar sin plats. Det riktar sig mot ett specifikt svar, de flesta hoppar över det, och det är det enda som talar om hur modulen ska skrivas om.
- F5. Om samma utbildning hölls igen, vilket format skulle göra det möjligt för dig att delta i hela utbildningen? Envalsfråga, balanseradBeslutsitemet. Det frågar om deltagande, som människor kan svara på, snarare än om preferens, som inbjuder till en gissning. ”Båda” och ”inget av dem” är båda verkliga svar och går båda att agera på.
- F6. Vad skulle göra det svårt för dig att delta? Välj alla som stämmer. Flerval, med en utväg”Välj alla” kostar ansträngning, så använd det sparsamt. Här är det motiverat eftersom hindren läggs på varandra: någon kan möta två på en gång, och att tvinga fram ett enda svar skulle dölja det.
- F7. Hur sannolikt eller osannolikt är det att du skulle rekommendera den här utbildningen till någon i ditt team? Femgradig skattning, samma skala som F21Mycket osannolikt2345Mycket sannoliktSamma fem skalsteg, samma riktning som F2. Att återanvända en skala innebär att ingen behöver lära sig den på nytt, och de två itemen kan stå sida vid sida i samma diagram.
- F8. Vilket skift arbetar du vanligtvis? Envalsfråga, placerad sentNära slutet, eftersom det är det enda item som människor kanske inte vill svara på. Det finns bara med för att analysplanen jämför skift. Om den inte gjorde det skulle det strykas.
- F9. Finns det något mer vi bör veta innan vi väljer format? Fritext, frivilligFrivilligtDen avslutande rutan. Den fångar det som alternativlistorna missade, och den är den billigaste tidiga varningen du kommer att få om en fråga som du borde ha ställt.
Svarsalternativen ovan visas men går inte att klicka på. De är en bild av instrumentet, inte ett fungerande formulär. Ingenting här samlar in något. Vid utskrift försvinner kommentarerna och du får de tio itemen för sig, så webbläsarens ”spara som PDF” gör detta till ett dokument som du kan dela ut.
Det här instrumentet skrevs för exemplet ovan. Om du hellre inte vill börja från ett tomt blad kan du utgå från en befintlig mall och ändra itemen så att de passar dina egna beslut.
Granska ett item som du redan har skrivit
Klistra in en fråga som du arbetar med. Granskaren gör samma kontroller som stegen ovan beskriver och visar vilka av dem din fråga fastnar i. Det är en checklista, inte en dom: den läser mönster i orden, den kan inte läsa din avsikt, och ett flaggat item är ibland rätt item.
Utforma för analysfilen, inte för presentationsbilden
Det här villkoret gäller i varje steg, och därför är det inte ett av de sju. Ett frågeformulär är också en dataspecifikation. Om svaren inte kan räknas på ett rent sätt har du skaffat dig veckor av datastädning och en siffra som du inte kan försvara.
- Ett konstrukt per kolumn. Om du bryr dig om både snabbhet och noggrannhet, mät dem med två item. Sammanslagna konstrukt kan inte delas upp i efterhand.
- Standardisera tidsfönstren. Att blanda ”förra veckan” i ett item och ”förra året” i nästa gör det omöjligt att visa de två i samma diagram.
- Förkoda allt du kommer att gruppera efter. Avdelningsnamn i fritext kommer in som fyrtio stavningar av sex avdelningar. Ge en lista.
- Bestäm vad saknade värden betyder innan du lanserar. Överhoppat, ”vill inte uppge” och ”ej tillämpligt” är tre olika saker, och de behöver tre olika koder.
Planera jämförelserna och precisionen samtidigt. Inte ens ett perfekt instrument kan rädda en studie som samlade in för få svar för att skilja två grupper åt, vilket är en fråga om urvalsstorlek, och var gränsen går för att en skillnad ska räknas som verklig är en fråga om statistisk signifikans.
Utforma för mobilen, inte för den bärbara dator du byggde på
Det andra villkoret som gäller genom hela arbetet. Räkna med en telefon, en mobil uppkoppling och ett avbrott halvvägs.
Telefoner är långsammare än datorer för samma instrument. I ett crossover-experiment där samma personer svarade på båda enheterna var mediantiden för att slutföra 17,7 minuter på en smarttelefon mot 10,5 minuter på en dator.11 Det är 69 procent längre för identiskt innehåll, så ett frågeformulär som har tidsmätts på en bärbar dator har tidsmätts på fel enhet.
Det reflexmässiga antagandet att svar från telefoner är sämre stämmer bara delvis, och det är värt att vara noggrann här. En direkt jämförelse visade att deltagare på mobilen skrev kortare öppna svar och hoppade över fler item, men att det var deltagarna på dator som oftare gav rakt-igenom-svar i matrisfrågor.12 Problemet med telefonen är ansträngning och avbrott, inte slarv.
- Bryt upp matriserna. En bred matris på en liten skärm är det enskilt sämsta mönster som finns, och det är där rakt-igenom-svaren uppstår.
- Håll alternativen så korta att de inte radbryts. Alternativ som går över två rader går inte längre att jämföra med en blick.
- Visa följdfrågor bara när de gäller. Hopplogik minskar den upplevda längden mer än att stryka item gör.
- Gör tryckytorna generösa. Alternativknappar med ordentligt avstånd mellan sig, inte en tät stapel.
- Använd bara en förloppsindikator om den är ärlig. En indikator som hoppar bakåt på grund av hopplogik är sämre än ingen indikator alls.
Är ett frågeformulär kvalitativt eller kvantitativt?
Både och, beroende på vad du lägger in i det. Instrumentet är inte metoden. Ett frågeformulär som består av slutna item med fasta alternativ ger kvantitativa data. Ett som består av öppna frågor ger kvalitativa data. De flesta verkliga instrument gör lite av båda, och misstaget är inte att man inte väljer, utan att man inte bestämmer sig.
| Utformningsval | Kvantitativt syfte | Kvalitativt syfte |
|---|---|---|
| Vad du är ute efter | Hur mycket, hur många, hur det skiljer sig mellan grupper | Varför, med vems ord och vad du inte kom på att fråga om |
| Item | Mest slutna, format bestämda i förväg | Mest öppna frågor med följdfrågor |
| Regel för formuleringen | Identisk för alla, inga undantag | Konsekvent, men en fråga får uppmuntra till utveckling av svaret |
| Hur många personer | Tillräckligt för de jämförelser du planerar att göra | Tillräckligt för att nya svar ska sluta tillföra nya teman |
| Vad som kommer ut | Antal, procentandelar, skillnader mellan grupper | Kodade teman, citat, hypoteser att testa härnäst |
| Den största risken | Exakta svar på en dåligt formulerad fråga | Fylliga svar som du inte har något konsekvent sätt att koda |
För ett forskningsprojekt är den blandade formen oftast rätt: en liten uppsättning slutna item som bär mätningen och en eller två öppna frågor som förklarar siffrorna. Det steg som ändras mest är steg 2, eftersom öppna svar kräver en kodningsmall, och kodningsmallar kräver mer än en kodare innan någon bör lita på dem.1 Om du väljer studiens form snarare än itemen hör det beslutet hemma en nivå upp, i forskningsdesign för enkätundersökningar.
Vilka regler som är belagda och vilka som bara upprepas
Råd om frågeformulär kopieras från sida till sida tills varje regel låter lika etablerad. Det är de inte. Vissa av reglerna vilar på årtionden av experiment med delat urval. Andra vilar på en enda ny studie, och några av de siffror som sprids flitigt vilar inte på någonting alls. Här är var varje påstående på den här sidan faktiskt står.
| Påstående | Siffran | Evidensgrad | Källa |
|---|---|---|---|
| Formuleringen ändrar resultatet | 65,2 % mot 19,8 % sa att det läggs ”för lite” på samma program, med etiketten ”hjälp till de fattiga” respektive ”socialbidrag” (welfare) | A | Rasinski 1989; Smith 19872, 3 |
| Inramningen ändrar resultatet | 68 % mot 43 % stöd, med och utan en bisats om förluster | A | Pew Research Center8 |
| Ordningen ändrar resultatet | 45 % mot 37 % stöd, samma item, olika placering | A | Pew Research Center 20039 |
| Itemspecifika alternativ slår instämmandeskalor | Reliabilitet 0,87 till 0,93 mot 0,36 till 0,73 | A | Saris med kolleger 20104 |
| Angiven längd ändrar deltagandet | Andelen som slutförde bland dem som började föll från 68,2 % till 56,8 % till 46,8 % vid 10, 20 och 30 angivna minuter | A | Galesic och Bosnjak 200910 |
| Ett erbjudet ”vet inte” används | 15 % valde det; bara 3 % och 4 % hoppade över jämförbara item utan det | A | Gilljam och Granberg 19937 |
| Telefoner tar längre tid | 17,7 mot 10,5 minuter i median, samma personer, båda enheterna | A | Antoun med kolleger 201711 |
| Fem till sju skalsteg | Måtten stiger upp till ungefär 7 skalsteg och planar sedan ut; reliabiliteten sjunker igen efter 10 | B | Preston och Colman 20005, 1 |
| Ett ”vet inte”-alternativ drar bort människor från mittpunkten | Valet av mittpunkten minskade med ungefär 7 till 17 procentenheter | B | Wetzelhutter 20206 |
| Rakt-igenom-svar är vanliga där de är rimliga | 15 % till 40 % i block där det är rimligt, under 2 % i övrigt | B | Schonlau och Toepoel 201513 |
| Svar från telefoner är inte bara sämre | Kortare öppna svar på mobilen, men fler rakt-igenom-svar på dator | B | Mavletova 201312 |
| Dela upp dubbelfrågor | Ingen tydlig procentsats; de två versionerna mätte inte samma sak | B | Menold 202015 |
| Förtester har ingen säker punkt att sluta vid | Problem fortsatte att dyka upp när antalet intervjuer ökade | B | Blair och Conrad 201114 |
Evidensgraderna betyder: A upprepat experiment eller en sammanställning av hela litteraturen. B en stark studie. C ofta upprepat men omstritt eller omöjligt att spåra, och därför har inget på den här sidan den graden.
Siffror vi medvetet inte använde
Var och en av dessa är vanlig i råd om frågeformulär. Vi spårade var och en till en källa och lämnade dem utanför.
”Uppmärksamhetsspannet är nu 8 sekunder, kortare än en guldfisks”
Går tillbaka till en marknadsföringsrapport från 2015 som hänvisade till en innehållsfabrik vars egna källor inte kunde tas fram när journalister frågade.24 Jämförelsen med guldfisken är också påhittad.
”Fem till sju förtestintervjuer fångar 75 till 85 procent av problemen”
Det här är ett resultat från användbarhetstester om programfel22 som har flyttats över till kognitiva intervjuer. Den faktiska enkätstudien hittade ingen sådan platå.14
”Den genomsnittliga svarsfrekvensen för enkäter är [välj en siffra]”
Minst fyra oförenliga siffror cirkulerar, var och en med en egen dold definition av vilka som tillfrågades. Det finns i stället belagda intervall per typ av urval.21
”Håll den under 10 minuter, annars tappar du folk”
Riktningen stämmer, stupet gör det inte. Den uppmätta kurvan är en jämn sluttning från 10 till 30 angivna minuter, utan någon tröskel.10
”Sju plus minus två, så använd en 7-gradig skala”
Millers artikel från 1956 handlar om korttidsminnet för listor, inte om hur många skalsteg en person kan skilja åt.23 Den verkliga forskningen om skalsteg leder ändå fram till fem till sju.5
”Dubbelfrågor förstör dina data”
Sund regel, tunt underlag. Vi kunde hitta ett enda randomiserat test som särskilt gällde den, mot dussintals för formulerings- och ordningseffekter.15 Det säger vi i steg 3 i stället för att överdriva.
Gränsfall som i det tysta förstör frågeformulär
Känsliga item
Inkomst, hälsa, prestationsproblem och allt som en chef kan komma att läsa. De ökar både avbrott och felrapportering när förtroendet är lågt. Placera dem sent, säg på en rad varför du frågar och erbjud ett verkligt sätt att avstå. ”Vill inte uppge” är data. Ett tomt fält är det inte.
”Ej tillämpligt” är inte ”neutral”
Låt inte de som inte kan bedöma hamna i mitten av din skala. Ge dem ett separat alternativ utanför skalan, eller led dem förbi itemet med hopplogik. Annars flyttas ditt medelvärde av ett skäl som inte har något med åsikter att göra.
Ordningseffekter i en lång lista
Alternativ nära toppen av en lång lista väljs oftare på skärmen. Slumpa ordningen för varumärken, skäl och sakfrågor, och lås ordningen bara där den betyder något, som en frekvensstege eller en rad datum.
Negationer
”Instämmer du i att introduktionen inte är svår?” tvingar läsaren att reda ut två negationer innan det går att svara. Skriv den positiva versionen och låt skalan bära riktningen.
Översättning
Undvik idiom, sportmetaforer och lokalt kortspråk, eftersom de inte överlever en översättning och utesluter läsare som använder ditt språk som andraspråk. Om du översätter, använd återöversättning och låt någon som kan ämnet och inte bara språket granska den.
Upprepade omgångar
Om du planerar att jämföra den här omgången med nästa, frys formuleringarna nu. Att förbättra ett item mellan omgångarna innebär att förändringen du mäter kan vara din egen redigering. Behåll den gamla formuleringen, lägg till den bättre vid sidan av under en omgång och byt sedan.
Checklistan för granskning, innan du skickar något
Checklista för granskning av frågeformulär
- Beslut. Varje item går att spåra till ett beslut som du skrev ner i steg 1.
- Format. Varje items format valdes för det resultat det matar, inte av vana.
- Tidsfönster. Varje beteendeitem anger en tidsperiod, och perioden passar beteendet.
- Begrepp. Facktermer definieras i frågetexten. Förkortningar skrivs ut en gång.
- En idé. Inget item döljer två egenskaper, två objekt eller två tidsramar.
- Alternativ. Intervallen överlappar inte, listan täcker realistiska svar och det finns en utväg.
- Skalor. Samma skalsteg, samma riktning, etiketter, och ”ej tillämpligt” hålls utanför skalan.
- Neutrala formuleringar. Inga adjektiv i frågetexten, och båda riktningarna erbjuds.
- Ordning. Urvalsfrågan först, känsliga item sent, en skala per block.
- Inledning. Syfte, ärlig tidsangivelse, integritet, frivillighet, kontakt. Fem rader.
- Telefon. Öppnad på en riktig telefon, inga breda matriser, inga alternativ som radbryts.
- Högläsning. Någon utanför projektet läste varje item och förstod vart och ett som det var tänkt.
- Tidsåtgång. Siffran i din inledning kommer från den högläsningen, inte från en gissning.
- Koder. Överhoppat, avböjt och ej tillämpligt har tre separata koder.
Vanliga frågor
Vilket är det första steget när man utformar ett frågeformulär?
Att skriva ner de beslut som resultaten ska ge underlag för. Inte ämnet, besluten. Innan du kan säga vad du kommer att göra annorlunda beroende på svaren har du inget sätt att skilja ett nödvändigt item från ett valfritt, och utkastet växer tills någon tröttnar på det.
Vad är skillnaden mellan ett frågeformulär och en enkät?
Frågeformuläret är instrumentet: listan med item och deras svarsalternativ. Enkätundersökningen är hela studien runt det, inklusive vilka du frågar, hur du når dem, hur många du behöver och vad du gör med resultaten. Du kan genomföra en enkätundersökning med flera frågeformulär, och använda samma frågeformulär i flera enkätundersökningar.
Hur många frågor ska ett frågeformulär ha?
Så få som dina beslut kräver. Att jaga ett målantal är fel väg; sikta i stället på en svarstid, och ta fram den tiden med din egen högläsning i stället för en tumregel. Den angivna längden påverkar vilka som deltar: i ett kontrollerat experiment föll andelen som slutförde bland dem som började från 68,2 procent vid angivna 10 minuter till 46,8 procent vid angivna 30 minuter.
Hur lång tid ska det ta att besvara ett frågeformulär?
Så kort att den angivna tiden inte avskräcker, och så ärlig att den stämmer med verkligheten. Det finns inget stup vid någon särskild minut. Det uppmätta sambandet är en jämn minskning av deltagandet när den angivna längden ökar, så varje item du behåller kostar dig lite svar, och du ska kunna säga vad vart och ett ger dig.
Är ett frågeformulär kvalitativt eller kvantitativt?
Det kan vara vilket som, och de flesta är lite av båda. Slutna item med fasta alternativ ger kvantitativa data. Öppna frågor ger kvalitativa data. Det viktiga är att bestämma vad ett item är till för innan du skriver det, eftersom de två kräver olika formuleringsregler, olika antal deltagare och helt olika analys.
Ska jag ta med en neutral mittpunkt på en skattningsskala?
Ta med en när ”neutral” är en verklig hållning till det du mäter. Att ta bort den tvingar inte fram en dold åsikt; människor väljer mer eller mindre slumpmässigt bland skalstegen närmast mitten. Bestäm också om mittpunkten och ett ”vet inte”-alternativ tillsammans, eftersom ett erbjudet ”vet inte” minskar användningen av mittpunkten med ungefär 7 till 17 procentenheter.
När ska jag erbjuda alternativet ”Vet inte”?
När deltagaren verkligen kanske inte har informationen, till exempel ett plannamn, ett datum eller en teknisk detalj. Undvik det i frågor om deltagarens egen upplevelse, där nästan alla kan svara. En enkel utväg används: på ett attityditem valde 15 procent ”vet inte” när det erbjöds, medan bara 3 till 4 procent hoppade över jämförbara item som inte erbjöd det.
Hur många öppna frågor ska jag använda?
En eller två, placerade där de gör nytta, oftast som följdfråga till ett specifikt slutet svar och som en avslutande samlingsfråga. Öppna svar är det enda sättet att få höra vad din alternativlista glömde, men de kräver en kodningsmall och mer än en kodare innan resultaten betyder något, och den kostnaden är verklig.
Hur testar man ett frågeformulär innan man skickar ut det?
I två omgångar. Ett förtest kontrollerar förståelsen: låt människor läsa varje item högt och berätta vad de tror att det betyder och hur de valde sitt svar. En pilotstudie är en liten skarp körning som kontrollerar data: avhoppspunkter, täckning av alternativen, hur skalorna används och om din planerade analys faktiskt fungerar. Gör förtestet först, eftersom det är det som ändrar formuleringarna.
Vilken typ av forskningsdesign använder ett frågeformulär?
Ett frågeformulär är ett instrument för datainsamling, inte en design, så det förekommer i flera designer. Tvärsnittsstudier använder ett vid en enda tidpunkt. Trend- och panelstudier upprepar ett över tid. Experiment använder ett för att mäta utfall efter en manipulation. Att välja bland dem är ett beslut om studiens design som ligger en nivå ovanför formuleringen av itemen.
Hur validerar man ett frågeformulär?
Några nya item som mäter något konkret behöver förtestas, inte valideras psykometriskt. En skala som ska mäta något abstrakt, och jämföras mellan grupper eller återanvändas av andra, kräver mer: expertgranskning av innehållet, en pilotstudie som är stor nog för att kontrollera att itemen hänger ihop, och belägg för att poängen hänger samman med något externt på det sätt du förutsade. Om det redan finns ett validerat instrument för ditt konstrukt, använd det i stället för att skriva ett eget.
Hur den här guiden togs fram, och vad den inte täcker
Ordningen i sju steg följer den utvecklingsprocess som beskrivs i litteraturen om metodik för frågeformulär16, 17, 18, 20 snarare än någon enskild leverantörs ramverk. Varje siffra som citeras på den här sidan kommer från ett publicerat experiment eller en officiell metodrapport, som listas nedan. Var och en graderades innan den användes, och graden visas bredvid påståendet i evidenstabellen.
Påståenden som vi inte kunde spåra till en primärkälla lämnades utanför, och de vanligaste av dem nämns i ”siffror vi medvetet inte använde” så att du känner igen dem på andra ställen. Där en regel är sund men det direkta underlaget är tunt, som att dela upp dubbelfrågor, säger sidan det i stället för att låna säkerhet från ett starkare resultat.
Det mesta av den experimentella forskningen här kommer från enkätundersökningar i USA och Västeuropa, till stor del med urval ur befolkningen och webbpaneler. Effektstorlekar för formulering och ordning går inte att föra över oförändrade till varje språk, ämne eller population, och inget av det testades på dina deltagare. Se siffrorna som belägg för att effekterna är verkliga och kan vara stora, inte som konstanter du kan stoppa in.
Det kompletta exemplet är ett konstruerat fall som byggts för att visa alla sju stegen på ett ställe. Det är ingen rapport från en verklig studie, och förtestet som beskrivs i det är ett illustrativt exempel.
Den här sidan täcker instrumentet. Den täcker inte vilka du ska fråga, hur många du ska fråga eller hur du analyserar det som kommer tillbaka. Det är separata uppgifter, som tas upp i urvalsmetod, urvalsstorlek och statistisk signifikans.
SuperSurvey gör enkätprogramvara, så vi har ett kommersiellt intresse av att människor genomför enkäter. Den här guiden är gratis att läsa, och råden gäller alla enkätplattformar. Itemgranskaren körs helt i din webbläsare och skickar ingenting någonstans. Länkarna till vårt verktyg och vårt mallbibliotek visar sätt att sätta frågeformuläret i verket.
Källor
- Krosnick, J. A., & Presser, S. (2010). Question and questionnaire design. I P. V. Marsden & J. D. Wright (red.), Handbook of Survey Research (2:a uppl., kap. 9). Emerald.
- Rasinski, K. A. (1989). The effect of question wording on public support for government spending. Public Opinion Quarterly, 53(3), 388-394. doi.org/10.1086/269158
- Smith, T. W. (1987). That which we call welfare by any other name would smell sweeter. Public Opinion Quarterly, 51(1), 75-83. doi.org/10.1086/269015
- Saris, W. E., Revilla, M., Krosnick, J. A., & Shaeffer, E. M. (2010). Comparing questions with agree/disagree response options to questions with item-specific response options. Survey Research Methods, 4(1), 61-79. doi.org/10.18148/srm/2010.v4i1.2682
- Preston, C. C., & Colman, A. M. (2000). Optimal number of response categories in rating scales. Acta Psychologica, 104(1), 1-15. doi.org/10.1016/S0001-6918(99)00050-5
- Wetzelhutter, D. (2020). Scale-sensitive response behavior: consequences of offering versus omitting a "don't know" option and/or a middle category. Survey Practice, 13(1). doi.org/10.29115/SP-2020-0012
- Gilljam, M., & Granberg, D. (1993). Should we take don't know for an answer? Public Opinion Quarterly, 57(3), 348-357. doi.org/10.1086/269380
- Pew Research Center. Writing survey questions. Metodförklaring. pewresearch.org/writing-survey-questions
- Pew Research Center (2003, 18 november). Religious beliefs underpin opposition to homosexuality, Part 2: Gay marriage. pewresearch.org/politics/2003/11/18/part-2-gay-marriage
- Galesic, M., & Bosnjak, M. (2009). Effects of questionnaire length on participation and indicators of response quality in a web survey. Public Opinion Quarterly, 73(2), 349-360. doi.org/10.1093/poq/nfp031
- Antoun, C., Couper, M. P., & Conrad, F. G. (2017). Effects of mobile versus PC web on survey response quality. Public Opinion Quarterly, 81(S1), 280-306. doi.org/10.1093/poq/nfw088
- Mavletova, A. (2013). Data quality in PC and mobile web surveys. Social Science Computer Review, 31(6), 725-743. doi.org/10.1177/0894439313485201
- Schonlau, M., & Toepoel, V. (2015). Straightlining in web survey panels over time. Survey Research Methods, 9(2), 125-137. doi.org/10.18148/srm/2015.v9i2.6128
- Blair, J., & Conrad, F. G. (2011). Sample size for cognitive interview pretesting. Public Opinion Quarterly, 75(4), 636-658. doi.org/10.1093/poq/nfr035
- Menold, N. (2020). Double barreled questions: an analysis of the similarity of elements and effects on measurement quality. Journal of Official Statistics, 36(4), 855-886. doi.org/10.2478/jos-2020-0041
- Rattray, J., & Jones, M. C. (2007). Essential elements of questionnaire design and development. Journal of Clinical Nursing, 16(2), 234-243. doi.org/10.1111/j.1365-2702.2006.01573.x
- Boparai, J. K., Singh, S., & Kathuria, P. (2019). How to design and validate a questionnaire: a guide. Current Clinical Pharmacology, 13(4), 210-215. doi.org/10.2174/1574884713666180807151328
- Slattery, E. L., Voelker, C. C. J., Nussenbaum, B., Rich, J. T., Paniello, R. C., & Neely, J. G. (2011). A practical guide to surveys and questionnaires. Otolaryngology-Head and Neck Surgery, 144(6), 831-837. doi.org/10.1177/0194599811399724
- Edwards, P. (2010). Questionnaires in clinical trials: guidelines for optimal design and administration. Trials, 11, 2. doi.org/10.1186/1745-6215-11-2
- Stone, D. H. (1993). Design a questionnaire. BMJ, 307(6914), 1264-1266. pmc.ncbi.nlm.nih.gov/articles/PMC1679392
- American Association for Public Opinion Research (2022). Data quality metrics for online samples: considerations for study design and analysis. Rapport från en arbetsgrupp. aapor.org, rapport från arbetsgruppen (PDF)
- Nielsen, J., & Landauer, T. K. (1993). A mathematical model of the finding of usability problems. Proceedings of ACM INTERCHI '93, 206-213. doi.org/10.1145/169059.169166
- Miller, G. A. (1956). The magical number seven, plus or minus two. Psychological Review, 63(2), 81-97. doi.org/10.1037/h0043158
- Maybin, S. (2017, 10 mars). Busting the attention span myth. BBC News. bbc.com/news/health-38896790
Varje DOI ovan kontrollerades mot DOI-tjänsten, och varje länk kontrollerades så att den svarade, den 21 augusti 2026.