Najważniejsze wnioski
- Zacznij od decyzji, nie od tematu. Zapisz, co zrobisz inaczej w zależności od odpowiedzi. Każda pozycja, która nie może zmienić żadnej decyzji, nadaje się do usunięcia.
- Jedna myśl, jedna pozycja, jeden okres. Jeśli w pytaniu kryją się dwa pytania, nie wiesz, która połowa zdecydowała o odpowiedzi.
- Sformułowanie zmienia liczby. W jednym eksperymencie z podziałem próby samo przemianowanie tych samych programów rządowych zmieniło ich poparcie o 45 punktów procentowych, więc neutralne sformułowanie jest decyzją pomiarową, a nie uprzejmością.
- Projektuj odpowiedzi równie starannie jak pytanie. Nakładające się przedziały, brakujące kategorie i nieopisany punkt środkowy szkodzą bardziej niż niezgrabnie sformułowany trzon pytania.
- Najpierw pretest z ludźmi, potem badanie pilotażowe na danych. Głośne czytanie z kilkoma uczestnikami wyłapuje błędne odczytania, których nie widać z perspektywy autora.
Czym jest projektowanie kwestionariusza i czego nie naprawi
Projektowanie kwestionariusza to proces zamieniania celu badania w pytania, które ludzie rozumieją i na które potrafią rzetelnie odpowiedzieć. Obejmuje sformułowania, odpowiedzi do wyboru, kolejność, wstęp i testowanie. Siedem kroków poniżej pokazuje, jak te wybory współgrają w kompletnym kwestionariuszu.
Pozycja jest dobrze zaprojektowana, gdy dwie osoby z tym samym doświadczeniem odczytują ją tak samo, potrafią przywołać odpowiedź z pamięci i wybierają tę samą opcję, by je opisać. Wszystko, co poniżej, służy temu, by się do tego zbliżyć.
Są dwie rzeczy, których nie naprawi. Nie naprawi złej grupy odbiorców: zadaj idealne pytania niewłaściwym osobom, a dostaniesz precyzyjne odpowiedzi na pytanie, którego nikt nie zadał. To problem doboru próby, nie sformułowań. Nie naprawi też zbyt małej liczby odpowiedzi, a to problem wielkości próby.
Warto też rozróżnić dwa słowa, które bywają używane zamiennie. Kwestionariusz to narzędzie: lista pozycji i odpowiedzi do wyboru. Ankieta to całe badanie wokół niego: kogo pytasz, jak do tych osób docierasz i co robisz z danymi. Jeśli potrzebujesz szerszego procesu, opisuje go nasz poradnik o projekcie badania ankietowego. Ta strona zajmuje się samym narzędziem.
7 kroków projektowania kwestionariusza
W wyszukiwarce ludzie pytają o siedem kroków częściej niż o jakąkolwiek inną liczbę, a listy, które dostają, to w większości kopie jednego wpisu z bloga agencji z 2006 roku, którego oryginalna strona już nie istnieje. Dlatego poniższa sekwencja nie jest tamtą listą. To proces tworzenia kwestionariusza, który faktycznie opisuje literatura z metodologii badań ankietowych16, 17, 20, podzielony w siedmiu miejscach, w których praca naprawdę zmienia charakter, i uzupełniony o dwie rzeczy, które tamte kopie pomijają: co powstaje w każdym kroku i gdzie każdy z nich zwykle zawodzi.
| Krok | O czym decydujesz | Co powstaje | Gdzie zwykle zawodzi |
|---|---|---|---|
| 1. Najpierw decyzje | O czym mają rozstrzygnąć wyniki | Krótka lista decyzji i stojących za nimi porównań | Zaczynanie od tematu, przez co nic nie podpowiada, kiedy przestać dodawać pozycje |
| 2. Pozycje i formaty | Jedna pozycja na decyzję i jej format odpowiedzi | Robocza lista pozycji z formatem przy każdej | Wybór formatu z przyzwyczajenia, a nie pod potrzebną analizę |
| 3. Sformułowania, na które da się odpowiedzieć | Jak brzmi trzon każdego pytania | Trzony pytań ze zdefiniowanymi pojęciami i podanym okresem | Pytanie o wspomnienia, których nikt nie ma, albo dwa pytania ukryte w jednym |
| 4. Odpowiedzi i skale | Zestaw odpowiedzi dla każdej pozycji zamkniętej | Odpowiedzi, które się nie nakładają i nie zostawiają nikogo bez wyboru | Nakładające się przedziały, brak opcji wyjścia, nieopisany punkt środkowy |
| 5. Neutralne sformułowania | Które słowa podsuwają odpowiedź | Neutralne trzony pytań i zrównoważone zestawy odpowiedzi | Przymiotniki w trzonie pytania i jednostronne listy odpowiedzi |
| 6. Kolejność i wstęp | Kolejność, grupowanie i tekst otwierający | Uporządkowane narzędzie z krótkim wstępem | Drażliwe pozycje zbyt wcześnie i wstęp, którego nikt nie czyta |
| 7. Pretest i badanie pilotażowe | Czy działa na prawdziwych ludziach | Poprawione narzędzie i szacowany czas wypełniania | Pominięcie go albo uznanie jednej rundy za wystarczającą |
Kroki 3, 4 i 5 są tu rozdzielone, bo zawodzą na różne sposoby i naprawia się je różnymi ruchami. W praktyce przejdziesz przez nie więcej niż raz. Przerywana linia na diagramie to najważniejsza pętla: to, co wykryje pretest, zwykle odsyła Cię z powrotem do kroku 3.
Krok 1. Zapisz decyzje, zanim napiszesz choćby jedno pytanie
Większość rozdętych kwestionariuszy zaczyna się od tematu. Dobre zaczynają się od decyzji. Zanim napiszesz pozycję, zapisz krótką listę rzeczy, które zrobisz inaczej w zależności od tego, co wróci.
Wypisz od trzech do pięciu decyzji
Zapisz je jako wybory, a nie tematy. „Powtórzyć dwudniowy format czy przejść na krótkie sesje online” to decyzja. „Opinie o szkoleniu” to temat.
Nazwij porównania, których musisz dokonać
Zespoły, lokalizacje, zmiany, okresy, nowi kontra powracający. Porównania wpływają zarówno na sformułowania, jak i na odpowiedzi do wyboru, więc ustal je teraz, a nie później.
Naszkicuj wyniki na jednej stronie
Naszkicuj konkretne tabele i wykresy, które zamierzasz przygotować. Jeśli nie potrafisz narysować wyniku, który zasila dana pozycja, ta pozycja nie ma zadania.
Poradniki metodologiczne stawiają ten krok na początku i z tego samego powodu: tylko on mówi, kiedy przestać dodawać pytania.16, 17
Przeczytaj każdą roboczą pozycję i dokończ zdanie: „Jeśli wszyscy odpowiedzą B zamiast A, to my...”. Jeśli nie potrafisz go dokończyć, usuń pozycję albo przeredaguj ją tak, żeby się dało.
Krok 2. Zamień każdą decyzję w jedną pozycję i świadomie wybierz jej format
Format pytania to decyzja pomiarowa, a nie kwestia układu. Wybierz format, na który czytelnik potrafi odpowiedzieć i który przyda się w planowanym wyniku.
| Jeśli wynikiem ma być | Użyj | Przykładowy trzon pytania |
|---|---|---|
| Liczba, którą będziesz śledzić w czasie | Zamknięta pozycja ze skalą ocen, w pełni opisana | „Jak łatwo lub trudno było Ci dokończyć konfigurację bez pomocy?” |
| Uszeregowana lista rzeczy do poprawy | Jednokrotny wybór, potem jedno pytanie uzupełniające | „Która jedna zmiana najbardziej by Ci pomogła?”, a potem „Dlaczego właśnie ta?” |
| Liczba lub wskaźnik | Zamknięte przedziały, które się nie nakładają | „Ile razy w ciągu ostatnich 30 dni zdarzyło Ci się kontaktować z pomocą techniczną?” |
| Sformułowania, których jeszcze nie znasz | Jedno ukierunkowane pole tekstowe | „Jaki był główny powód Twojego dzisiejszego kontaktu?” |
| Kwalifikacja do kolejnych pozycji | Pytanie filtrujące i logika pomijania | „Czy w ciągu ostatnich 30 dni zdarzyło Ci się korzystać z zakładki raportów?” |
Pozycje zamknięte są tańsze w analizie i łatwiej porównać je między kolejnymi falami badania. Pozycje otwarte wyłapują to, o czym zapomniała Twoja lista odpowiedzi. Praktyczny powód przewagi pozycji zamkniętych to koszt: odpowiedzi otwarte wymagają schematu kodowania i więcej niż jednej osoby kodującej, zanim zaczną cokolwiek znaczyć.1 Użyj jednej lub dwóch pozycji otwartych tam, gdzie naprawdę się opłacają, a resztę zostaw zamkniętą. Nasze poradniki o pytaniach wielokrotnego wyboru oraz pytaniach otwartych i zamkniętych omawiają każdy z tych formatów dokładniej.
Jedno ostrzeżenie dotyczące skal zgody. Jeśli możesz zapytać o coś wprost, zapytaj wprost. W eksperymencie na czterech próbach pozycje z odpowiedziami dopasowanymi do konstruktu osiągały współczynniki rzetelności od 0,87 do 0,93, a ta sama treść zadana jako stwierdzenia do zgody lub niezgody tylko od 0,36 do 0,73.4 To duża różnica jak na format, który większość ludzi wybiera z przyzwyczajenia. Dużą jej część wyjaśniają dwa nazwane efekty odpowiedzi. Skłonność do potakiwania to ciążenie ku zgodzie bez względu na treść stwierdzenia, więc format wprowadza przechył, którego nie da się później oddzielić. Satysfakcjonowanie (satisficing) to wkładanie przez czytelnika tylko tyle wysiłku, ile trzeba, by odpowiedź przeszła, a nie by była trafna, a kolumna stwierdzeń do zgody lub niezgody bardzo to ułatwia. Oba efekty narastają wraz z długością kwestionariusza. Jeśli naprawdę potrzebujesz tego formatu, skorzystaj z naszych wskazówek o skali Likerta.
Krok 3. Napisz trzon pytania, na który da się naprawdę odpowiedzieć
Wiele złych pozycji nie jest niejasnych. Po prostu nie da się na nie odpowiedzieć. Wymagają wspomnień, których nikt nie ma, albo wiedzy, której uczestnik nigdy nie otrzymał.
Każdemu pytaniu o zachowanie nadaj okres
„Jak często kontaktujesz się z pomocą techniczną?” nie ma punktu odniesienia, więc dwie osoby o identycznym zachowaniu odpowiedzą różnie. Nazwij okres i dopasuj go do tego, jak często dane zachowanie występuje.
| Chcesz poznać | Trudne do odpowiedzi | Da się odpowiedzieć |
|---|---|---|
| Częstotliwość | „Jak często kontaktujesz się z pomocą techniczną?” | „Ile razy w ciągu ostatnich 30 dni zdarzyło Ci się kontaktować z pomocą techniczną?” |
| Niedawne zachowanie | „Czy regularnie ćwiczysz?” | „Ile dni w ciągu ostatnich 7 dni ćwiczenia zajęły Ci co najmniej 30 minut?” |
| Jedno zdarzenie | „Czy wdrożenie przebiegło sprawnie?” | „Myśląc o ostatniej konfiguracji, jak łatwo lub trudno było ją dokończyć bez pomocy?” |
Używaj słów, których używają Twoi czytelnicy
- Wybierz potoczne słowo. „Pomoc” jest lepsza niż „asysta”. „Kupić” jest lepsze niż „nabyć”. Prostsze słowa łatwiej też przetłumaczyć.
- Zdefiniuj każde pojęcie, którego nie da się uniknąć. Jeśli pozycja opiera się na słowie „incydent” albo „zgłoszenie”, napisz w samym trzonie pytania, co się do tego zalicza.
- Rozwiń skrót raz. Potem używaj go dalej. Nie zakładaj, że wszyscy znają wewnętrzny żargon.
- Pytaj, co się stało, a nie dlaczego. Ludzie potrafią opisać zdarzenia. Zwykle nie potrafią wskazać ich przyczyn wewnątrz Twojej organizacji.
Jedna myśl w jednej pozycji
Pozycja, w której kryją się dwa pytania, daje odpowiedź, której nie da się odczytać. Ktoś, komu cena bardzo się podobała, a jakość wcale, nie ma uczciwej opcji, a cokolwiek wybierze, nie dowiesz się, która połowa zdecydowała.
W jakim stopniu zadowala Cię cena i jakość?
Zamiast tego dwie pozycje. „W jakim stopniu zadowala Cię jakość?” oraz „W jakim stopniu zadowala Cię cena?”
Warto uczciwie powiedzieć, jak wyglądają tu dowody. Rozbijanie podwójnych pytań jest niemal uniwersalną zasadą, ale bezpośrednia literatura eksperymentalna na ten temat jest skąpa i niedawna. Najwyraźniejszy test wykazał, że pozycja podwójna i jej przeredagowana wersja z jedną myślą nie mierzą tego samego, a wersja z jedną myślą ma wyższą trafność.15 Traktuj tę zasadę jako rozsądną i dobrze uzasadnioną, a nie jako ugruntowane od czterdziestu lat ustalenie, jak efekty sformułowania z kroku 5.
Krok 4. Zbuduj odpowiedzi i skale, które da się analizować
Wiele kwestionariuszy zawodzi na liście odpowiedzi, a nie w trzonie pytania. Dwa testy wyłapują większość problemów. Odpowiedzi nie mogą się nakładać i nie mogą zostawiać nikogo bez uczciwego wyboru.
Ile masz lat? 18 do 30, 30 do 40, 40 do 55, 55 i więcej
Ile masz lat? 18 do 29, 30 do 39, 40 do 54, 55 lub więcej, Wolę nie odpowiadać
Skale ocen
| Wybór | Co zrobić | Dlaczego |
|---|---|---|
| Liczba punktów skali | Od pięciu do siedmiu dla postaw | Rzetelność i trafność gwałtownie rosną mniej więcej do siedmiu punktów, potem się wypłaszczają, a rzetelność test-retest powyżej dziesięciu znów spada.5, 1 |
| Etykiety | Opisz każdy punkt, jeśli możesz | Same liczby się rozjeżdżają. Dwie osoby różnie odczytają „6 na 10”; obie tak samo odczytają „Raczej łatwo”. |
| Kierunek | Zachowaj go taki sam do samego końca | Odwrócenie kierunku w połowie kwestionariusza powoduje pomyłki w klikaniu, które wyglądają jak prawdziwe zmiany opinii. |
| Punkt środkowy | Uwzględnij go, gdy neutralność to prawdziwe stanowisko | Jego usunięcie nie ujawnia ukrytego przechyłu. Ludzie wybierają losowo w pobliżu miejsca, w którym by się znajdował.1 |
| Nie dotyczy | Oddziel tę opcję od punktu środkowego | W przeciwnym razie osoby, które nie potrafią ocenić, są liczone jako neutralne, co po cichu przesuwa Twoją średnią. |
Punkt środkowy i „nie wiem” nie są niezależnymi przełącznikami, choć tak traktuje je większość porad. Dodanie opcji „nie wiem” obok punktu środkowego zmniejszyło odsetek wybierających punkt środkowy o mniej więcej 7 do 17 punktów procentowych, zależnie od pozycji.6 Innymi słowy, sporą część Twojej neutralnej grupy stanowią osoby bez zdania, a nie osoby pośrodku. Decyduj o obu opcjach razem. Szczegóły układu omawia nasz poradnik o pytaniach ze skalą ocen.
Przy jednej pozycji dotyczącej postaw 15 procent osób wybrało opcję „nie wiem”, gdy była dostępna. Przy powiązanych pozycjach w tym samym wywiadzie, bez tej opcji, tylko 3 i 4 procent nie udzieliło merytorycznej odpowiedzi, a te odpowiedzi nadal przewidywały, jak ludzie później głosowali.7 Z łatwego wyjścia ludzie chętnie korzystają, a część tego, co ono zbiera, była prawdziwą opinią.
Krok 5. Zachowaj neutralne sformułowania i sprawdź je pod kątem stronniczości
To krok, za którym stoi najwięcej dowodów i największe zmierzone efekty. Eksperymenty z podziałem próby przesuwały wyniki o dziesiątki punktów procentowych przy tej samej opinii, wyłącznie przez zmianę słów.
W badaniu General Social Survey z 1985 roku 65,2 procent Amerykanów stwierdziło, że na „pomoc dla ubogich” wydaje się za mało. Zapytani o te same programy pod nazwą „zasiłki socjalne” (welfare), za mało wskazało tylko 19,8 procent. To 45 punktów różnicy z powodu jednego słowa, a w kolejnym roku wynik się powtórzył: 62,8 wobec 23,1.2, 3
Ujęcie pytania działa tak samo. Poparcie dla działań zbrojnych w Iraku wynosiło 68 procent i spadło do 43 procent, gdy do tego samego pytania dodano „nawet jeśli oznaczałoby to, że siły USA mogą ponieść tysiące ofiar”.8
To eksperymenty z podziałem próby: dwie losowe połowy tej samej ankiety, każda z innym sformułowaniem. To właśnie ten schemat zamienia „sformułowanie ma znaczenie” z opinii w pomiar.
Co usunąć
| Wzorzec | Sugerujące | Neutralne |
|---|---|---|
| Przymiotnik w trzonie pytania | „Na ile pomocny był nasz świetny zespół wsparcia?” | „Na ile pomocny lub niepomocny był nasz zespół wsparcia?” |
| Podany tylko jeden kierunek | „Jak frustrująca była rejestracja?” | „Jak łatwa lub trudna była rejestracja?” |
| Jednostronna lista odpowiedzi | „Jak oceniasz swoje zadowolenie?” z samymi pozytywnymi odpowiedziami | Tyle samo odpowiedzi negatywnych co pozytywnych |
| Założone zachowanie | „Jak korzystasz z zakładki raportów?” | „Czy w ciągu ostatnich 30 dni zdarzyło Ci się korzystać z zakładki raportów?” |
Stronniczość bierze się też z uczestnika, nie tylko ze sformułowań. Większość szkód wyrządzają trzy nawyki. Aprobata społeczna to odpowiadanie tak, jak lepiej wypada. Skłonność do potakiwania to zgadzanie się bez względu na treść stwierdzenia. Satysfakcjonowanie to wkładanie tylko tyle wysiłku, ile trzeba, by odpowiedź przeszła, a nie by była trafna. Wszystkie trzy omawia nasz poradnik o zniekształceniu odpowiedzi.
Krok 6. Ułóż kolejność pozycji, a potem napisz krótki wstęp
Kolejność nie jest kosmetyką. Wcześniejsze pytanie może zmienić odpowiedź na późniejsze, a efekt da się zmierzyć. Poparcie dla prawnych związków osób tej samej płci wynosiło 45 procent, gdy pozycja następowała po pytaniu o małżeństwo, i 37 procent, gdy stała samodzielnie.9 W samej pozycji nic się nie zmieniło poza tym, co ją poprzedzało.
Kolejność, która działa
Pytanie filtrujące
Potwierdź, że osoba spełnia kryteria, zanim zapytasz ją o cokolwiek innego. Wszystkich pozostałych od razu kieruj do wyjścia.
Rozgrzewka
Łatwe, faktograficzne pozycje, które pokazują, że kwestionariusz dotyczy czegoś, co znają.
Bloki główne
Grupuj według tematu. W obrębie bloku zachowaj tę samą skalę, żeby nikt nie musiał uczyć się jej od nowa.
Diagnostyka
Powody i przeszkody, które wyjaśniają oceny podane wyżej.
Pozycje drażliwe i segmentacyjne
Na końcu i tylko te, z których naprawdę skorzystasz. Wzorce sformułowań znajdziesz w poradniku o pytaniach demograficznych.
Zakończenie
Jedno otwarte pole „coś jeszcze?”, potem podziękowanie i informacja, co będzie dalej.
Wstęp, który możesz skopiować
Zmieść się w pięciu wierszach. Ludzie przyszli odpowiadać, a nie czytać.
Cel: Zbieramy opinie, aby ulepszyć [proces lub usługę].
Czas: Około [X] minut.
Prywatność: Twoje odpowiedzi są [anonimowe lub poufne], a wyniki zobaczy [kto].
Dobrowolność: Możesz pominąć dowolne pytanie.
Kontakt: Masz pytania? [imię, nazwisko i e-mail].
Uważaj z szacowanym czasem, bo zmienia on to, kto bierze udział. Gdy ten sam kwestionariusz zapowiadano jako trwający 10, 20 lub 30 minut, odsetek osób, które zaczęły, spadał z 75 do 64,9 i do 62,4 procent, a odsetek kończących spośród zaczynających z 68,2 do 56,8 i do 46,8 procent.10 Podanie długości to słuszny krok. Upewnij się tylko, że ta liczba pochodzi z Twojego pretestu.
Powiedz wprost, kto zobaczy surowe odpowiedzi i jak długo je przechowujesz, i upewnij się, że zgadza się to z Twoimi faktycznymi zobowiązaniami w zakresie prywatności. Zgoda i jasno określony cel są częścią tworzenia kwestionariusza, a nie formalnością doklejoną na końcu.17
Krok 7. Pretest z ludźmi, badanie pilotażowe na danych, potem start
Tu kwestionariusze naprawdę stają się lepsze. Pretest mówi Ci, co według ludzi znaczy dana pozycja. Badanie pilotażowe mówi Ci, jak wyglądają dane, gdy na nią odpowiadają. To dwa różne zadania i potrzebujesz obu.16, 19 Przygotuj badanie pilotażowe w naszym darmowym kreatorze ankiet i sprawdź na telefonie kolejność pytań, odpowiedzi i rozgałęzienia, zanim udostępnisz ankietę całej próbie.
Przeczytaj na głos
Poproś kogoś, by przeczytał każdą pozycję na głos. Wszystko, na czym się zatnie, co przeczyta drugi raz albo powie innymi słowami, nadaje się do przeredagowania.
Zbadaj znaczenie
Zapytaj: „Co dla Ciebie znaczy to pytanie?” i „Jak doszło do tej odpowiedzi?”. Sprawdzasz zrozumienie, a nie opinię.
Zmierz czas
Zapisz, ile to naprawdę trwa. Ta liczba trafi do Twojego wstępu i zwykle jest większa, niż zakładasz.
Popraw i powtórz
Przy nowym narzędziu jedna runda rzadko wystarcza. Popraw, a potem sprawdź poprawki na kimś nowym.
Ile wywiadów w preteście
Więcej, niż myślisz. Modelowanie pretestów z wywiadem poznawczym wykazało, że prawdziwe problemy z pytaniami wciąż wychodziły na jaw wraz ze wzrostem liczby wywiadów i nie było wyraźnego plateau, na którym można by bezpiecznie przestać.14 Traktuj każdą stałą liczbę jako budżet, a nie jako pełne pokrycie, i wydaj go na osoby podobne do Twoich prawdziwych uczestników.
Do czego służy badanie pilotażowe
- Pokrycie odpowiedzi. Jeśli „Inne” albo „Wolę nie odpowiadać” jest popularne, na Twojej liście czegoś brakuje.
- Wykorzystanie skali. Odpowiedzi stłoczone na jednym końcu zwykle oznaczają, że to sformułowanie je tam zepchnęło.
- Odpowiadanie według wzoru (straightlining). Identyczne odpowiedzi w całym bloku. W danych panelowych dotyczy to od 15 do 40 procent osób w blokach, w których taki wzór jest prawdopodobny, i poniżej 2 procent tam, gdzie nie jest.13
- Logika. Upewnij się, że ludzie widzą tylko te pytania uzupełniające, które ich dotyczą.
- Miejsce rezygnacji. Zanotuj pozycję, przy której ludzie odchodzą. Problemem jest zwykle ta pozycja, a nie długość.
To dwie różne liczby, które odpowiadają na dwa różne pytania, a mylenie ich to częsty i kosztowny błąd. Trzydzieści osób wystarczy, by ujawnić zepsutą listę odpowiedzi, trzon pytania, który każdy czyta inaczej, albo gałąź logiki, która nigdy się nie uruchamia. Tylko do tego służy badanie pilotażowe. To zdecydowanie za mało, by oszacować odsetek albo z jakąkolwiek pewnością odróżnić od siebie dwie grupy. Popraw narzędzie dzięki badaniu pilotażowemu, a wielkość właściwego badania ustal osobno, korzystając z naszego poradnika o wielkości próby.
Planując start, licz się z niewysokim wskaźnikiem odpowiedzi: w nieprobabilistycznych panelach internetowych wskaźniki na poziomie 10 procent lub niższe są dziś powszechne.21
Rozpisany przykład: jeden kwestionariusz przeprowadzony przez wszystkie siedem kroków
Każdy poradnik na ten temat pokazuje poprawianie pojedynczych pytań. Prawie żaden nie pokazuje budowy całego kwestionariusza. Oto więc pełny przykład, od decyzji na górze po gotowe narzędzie na dole, według powyższych kroków po kolei.
Zespół operacyjny liczący około 40 osób przeszedł w maju dwudniowe szkolenie z bezpieczeństwa. Kierownictwo musi wybrać format następnej edycji, a nikt nie ma danych. To całe zadanie. Teraz przejdź przez kroki.
| Krok | Co powstało w tym przypadku |
|---|---|
| 1. Najpierw decyzje | Trzy decyzje: zachować dwudniowy format czy przejść na krótkie sesje online; który moduł przeredagować w pierwszej kolejności; czy materiał jest w ogóle wykorzystywany w pracy. Wszystko poniżej wywodzi się z jednej z nich. |
| 2. Pozycje i formaty | Dziewięć pozycji. Dwie zamknięte pozycje liczbowe, dwie opisane skale ocen, trzy listy jednokrotnego wyboru, jedno ukierunkowane pole otwarte i jedno otwarte pole na zakończenie. Na początku jedno pytanie filtrujące. |
| 3. Sformułowania, na które da się odpowiedzieć | Każda pozycja o zachowaniu dostała nazwany okres („w ciągu 30 dni od szkolenia”). „Lista kontrolna” jest zdefiniowana w trzonie pytania, a nie domyślna. |
| 4. Odpowiedzi i skale | Pytania o liczbę mają przedziały, które się nie nakładają. Obie oceny mają te same pięć punktów w tym samym kierunku. „Nie było jeszcze okazji jej użyć” jest oddzielone od punktu środkowego. |
| 5. Usuń sugestie | „Na ile przydatna była świetna nowa lista kontrolna” zmieniło się w „Na ile przydatna lub nieprzydatna”. Pozycja o formacie oferuje obie opcje oraz „obie by pasowały” i „żadna by nie pasowała”, więc nie podsuwa preferowanej odpowiedzi. |
| 6. Kolejność i wstęp | Pytanie filtrujące, potem zachowanie, potem oceny, potem decyzja o formacie, potem przeszkody, potem zmiana robocza, a na koniec otwarte pole. Pytanie o zmianę roboczą jest blisko końca, bo to jedyna pozycja, na którą ludzie mogą nie chcieć odpowiadać. |
| 7. Pretest i badanie pilotażowe | Głośne czytanie z czterema osobami. Dwie uznały „listę kontrolną” za inny dokument, więc P2 dostało dopisek „jednostronicowa lista kontrolna z modułu 2”. Ta jedna poprawka to cały argument za krokiem 7. |
Gotowy kwestionariusz
Dziewięć pozycji i pytanie filtrujące. Skopiuj go, a potem zmień rzeczowniki. Nie kopiuj szacowanego czasu: ustal go na podstawie własnego głośnego czytania.
Kwestionariusz po szkoleniu: 10 pozycji
- P0. Czy masz za sobą szkolenie z bezpieczeństwa w dniach 12 i 13 maja? Jednokrotny wybór, pytanie filtrującePytanie filtrujące, a nie rozgrzewka. Każdy, kto odpowie „Nie”, powinien od razu trafić na koniec. Bez tego nie odróżnisz osoby nieobecnej od niezadowolonego uczestnika.
- P1. Ile razy w ciągu 30 dni od szkolenia zdarzyło Ci się użyć jednostronicowej listy kontrolnej z modułu 2 przy prawdziwym zadaniu? Jednokrotny wybór, liczbaNazwany okres i nazwany dokument. Przedziały się nie nakładają, więc osoba, która użyła listy trzy razy, ma dokładnie jedno miejsce do wyboru. Ta pozycja sama odpowiada na trzecią decyzję.
- P2. Jak łatwo lub trudno było korzystać z listy kontrolnej przy prawdziwym zadaniu? Ocena pięciopunktowa, w pełni opisana1Bardzo trudno2345Bardzo łatwoOba kierunki są w trzonie pytania, więc niczego się nie sugeruje. „Nie było jeszcze okazji jej użyć” leży poza skalą, a nie w niej, więc osoby, które nie potrafią ocenić, nie są liczone jako neutralne.
- P3. Która część szkolenia była najtrudniejsza do zrozumienia? Jednokrotny wybór, z opcją wyjściaTa pozycja odpowiada na drugą decyzję. „Wszystko było zrozumiałe” jest równie ważne jak moduły: bez tej opcji każdy musi wskazać problem, którego może wcale nie być.
- P4. Co sprawiło, że ta część była trudna do zrozumienia? Tekst otwarty, widoczny tylko po wybraniu modułu w P3Krótka odpowiedźJedyna otwarta pozycja, która zasługuje na swoje miejsce. Jest skierowana do konkretnej odpowiedzi, większość osób ją pomija i tylko ona powie Ci, jak przeredagować moduł.
- P5. Gdyby to samo szkolenie odbyło się ponownie, który format pozwoliłby Ci uczestniczyć w całości? Jednokrotny wybór, zrównoważonyPozycja decyzyjna. Pyta o obecność, na którą ludzie potrafią odpowiedzieć, a nie o preferencję, która zachęca do zgadywania. „Oba” i „żaden” to prawdziwe odpowiedzi i na obu da się oprzeć działania.
- P6. Co utrudniłoby Ci udział? Zaznacz wszystkie pasujące odpowiedzi. Wielokrotny wybór, z opcją wyjściaZaznaczanie wszystkich pasujących odpowiedzi wymaga wysiłku, więc używaj go oszczędnie. Tutaj jest uzasadnione, bo przeszkody się sumują: ktoś może mierzyć się z dwiema naraz, a wymuszenie jednej odpowiedzi by to ukryło.
- P7. Na ile prawdopodobne lub mało prawdopodobne jest, że polecisz to szkolenie komuś ze swojego zespołu? Ocena pięciopunktowa, ta sama skala co w P21Bardzo mało prawdopodobne2345Bardzo prawdopodobneTe same pięć punktów, ten sam kierunek co w P2. Ponowne użycie jednej skali sprawia, że nikt nie musi uczyć się jej od nowa, a obie pozycje mogą stanąć obok siebie na jednym wykresie.
- P8. Na której zmianie zwykle pracujesz? Jednokrotny wybór, umieszczone pod koniecBlisko końca, bo to jedyna pozycja, na którą ludzie mogą nie chcieć odpowiadać. Jest tu tylko dlatego, że plan analizy porównuje zmiany. Gdyby tak nie było, zostałaby usunięta.
- P9. Czy jest coś jeszcze, o czym powinniśmy wiedzieć przed wyborem formatu? Tekst otwarty, opcjonalneOpcjonalnePole na zakończenie. Wyłapuje to, czego zabrakło na listach odpowiedzi, i jest najtańszym wczesnym ostrzeżeniem o pytaniu, które należało zadać.
Powyższe odpowiedzi są tylko pokazane, nie da się ich kliknąć. To obraz narzędzia, a nie działający formularz. Nic tutaj niczego nie zbiera. Wydruk pomija uwagi i daje Ci same dziesięć pozycji, więc funkcja „zapisz jako PDF” w Twojej przeglądarce zamieni to w dokument, który możesz rozdać.
To narzędzie powstało na potrzeby powyższego przykładu. Jeśli nie chcesz zaczynać od pustej strony, możesz zacząć od gotowego szablonu i dopasować pozycje do własnych decyzji.
Sprawdź pozycję, którą już masz
Wklej pytanie, nad którym pracujesz. Narzędzie wykona te same sprawdzenia, które opisują powyższe kroki, i pokaże, których z nich nie spełnia. To lista kontrolna, a nie wyrok: odczytuje wzorce w słowach, nie odczyta Twoich intencji, a oznaczona pozycja bywa właściwą pozycją.
Projektuj pod plik do analizy, a nie pod slajd
To ograniczenie obowiązuje na każdym kroku, dlatego nie jest jednym z siedmiu. Kwestionariusz to także specyfikacja danych. Jeśli odpowiedzi nie da się czysto policzyć, fundujesz sobie tygodnie porządkowania i liczbę, której nie obronisz.
- Jeden konstrukt na kolumnę. Jeśli zależy Ci na szybkości i na dokładności, zmierz je dwiema pozycjami. Połączonych konstruktów nie da się później rozdzielić.
- Ujednolicaj okresy. Mieszanie „ostatniego tygodnia” w jednej pozycji i „ostatniego roku” w następnej sprawia, że nie da się ich pokazać na jednym wykresie.
- Zakoduj z góry wszystko, według czego będziesz grupować. Nazwy działów wpisywane swobodnie przychodzą jako czterdzieści zapisów sześciu działów. Podaj listę.
- Przed startem ustal, co oznacza brak odpowiedzi. Pominięcie, „wolę nie odpowiadać” i „nie dotyczy” to trzy różne rzeczy i potrzebują trzech różnych kodów.
Planuj porównania i precyzję jednocześnie. Nawet idealne narzędzie nie uratuje badania, które zebrało zbyt mało odpowiedzi, by odróżnić od siebie dwie grupy, a to kwestia wielkości próby. To, od kiedy różnicę można uznać za prawdziwą, to z kolei kwestia istotności statystycznej.
Projektuj na telefon, a nie na laptopa, na którym powstaje kwestionariusz
Drugie ograniczenie przekrojowe. Zakładaj telefon, połączenie komórkowe i przerwę w połowie.
Na telefonie to samo narzędzie wypełnia się wolniej niż na komputerze. W eksperymencie naprzemiennym, w którym te same osoby odpowiadały na obu urządzeniach, mediana czasu wypełniania wyniosła 17,7 minuty na smartfonie wobec 10,5 minuty na komputerze.11 To o 69 procent dłużej przy identycznej treści, więc kwestionariusz mierzony na laptopie jest mierzony na niewłaściwym urządzeniu.
Odruchowe założenie, że odpowiedzi z telefonu są gorsze, jest prawdziwe tylko częściowo i warto być tu precyzyjnym. Jedno bezpośrednie porównanie wykazało, że osoby odpowiadające na telefonie pisały krótsze odpowiedzi otwarte i pomijały więcej pozycji, ale to osoby na komputerach częściej odpowiadały według wzoru w pytaniach siatkowych.12 Problemem telefonu jest wysiłek i przerwy, a nie niedbałość.
- Rozbijaj siatki. Szeroka siatka na małym ekranie to najgorszy możliwy wzorzec i to właśnie tam pojawia się odpowiadanie według wzoru.
- Pilnuj, by odpowiedzi nie łamały się na dwa wiersze. Odpowiedzi zajmujące dwa wiersze przestają być porównywalne na pierwszy rzut oka.
- Pokazuj pytania uzupełniające tylko wtedy, gdy kogoś dotyczą. Logika pomijania skraca odczuwaną długość bardziej niż usuwanie pozycji.
- Zadbaj o duże pola dotyku. Przyciski opcji z wyraźnymi odstępami, a nie ciasno ułożony stos.
- Używaj paska postępu tylko wtedy, gdy jest uczciwy. Pasek, który przez logikę pomijania skacze do tyłu, jest gorszy niż brak paska.
Czy kwestionariusz jest jakościowy, czy ilościowy?
Jednym i drugim, zależnie od tego, co w nim umieścisz. Narzędzie to nie metoda. Kwestionariusz złożony z pozycji zamkniętych ze stałymi odpowiedziami daje dane ilościowe. Kwestionariusz złożony z otwartych poleceń daje dane jakościowe. Większość prawdziwych narzędzi łączy jedno i drugie, a błędem nie jest brak wyboru, tylko brak decyzji.
| Decyzja projektowa | Cel ilościowy | Cel jakościowy |
|---|---|---|
| Czego szukasz | Ile, jak często, czym różnią się grupy | Dlaczego, czyimi słowami i o co nie przyszło Ci do głowy zapytać |
| Pozycje | Głównie zamknięte, formaty ustalone z góry | Głównie otwarte polecenia z pytaniami pogłębiającymi |
| Zasada sformułowań | Identyczne dla wszystkich, bez wyjątków | Spójne, ale polecenie może zachęcać do rozwinięcia |
| Ile osób | Tyle, ile wymagają planowane porównania | Tyle, by nowe odpowiedzi przestały wnosić nowe wątki |
| Co powstaje | Liczebności, odsetki, różnice między grupami | Zakodowane wątki, cytaty, hipotezy do dalszego sprawdzenia |
| Główne ryzyko | Precyzyjne odpowiedzi na źle sformułowane pytanie | Bogate odpowiedzi bez spójnego sposobu ich kodowania |
W projekcie badawczym zwykle najlepiej sprawdza się forma mieszana: niewielki zestaw pozycji zamkniętych, które niosą pomiar, i jedno lub dwa otwarte polecenia, które wyjaśniają liczby. Najbardziej zmienia się krok 2, bo odpowiedzi otwarte wymagają schematu kodowania, a schemat kodowania wymaga więcej niż jednej osoby kodującej, zanim ktokolwiek powinien mu zaufać.1 Jeśli wybierasz kształt badania, a nie pozycje, ta decyzja należy do wyższego poziomu, czyli projektu badania ankietowego.
Które zasady są udowodnione, a które tylko powtarzane
Porady o kwestionariuszach są kopiowane ze strony na stronę, aż każda zasada brzmi równie pewnie. Tak nie jest. Niektóre z tych zasad opierają się na dziesięcioleciach eksperymentów z podziałem próby. Inne na jednym niedawnym badaniu, a kilka powszechnie powtarzanych liczb nie opiera się na niczym. Oto, jak naprawdę wygląda podstawa każdego twierdzenia na tej stronie.
| Twierdzenie | Liczba | Poziom | Źródło |
|---|---|---|---|
| Sformułowanie zmienia wynik | 65,2% wobec 19,8% uznało, że na te same programy wydaje się „za mało”, zależnie od tego, czy nazwano je „pomocą dla ubogich”, czy „zasiłkami socjalnymi” | A | Rasinski 1989; Smith 19872, 3 |
| Ujęcie pytania zmienia wynik | 68% wobec 43% poparcia, z dopiskiem o ofiarach i bez niego | A | Pew Research Center8 |
| Kolejność zmienia wynik | 45% wobec 37% poparcia, ta sama pozycja, inne miejsce | A | Pew Research Center 20039 |
| Odpowiedzi dopasowane do pozycji wygrywają ze zgodą lub niezgodą | Rzetelność od 0,87 do 0,93 wobec od 0,36 do 0,73 | A | Saris i współpracownicy 20104 |
| Podana długość zmienia udział | Odsetek kończących wśród zaczynających spadał z 68,2% do 56,8% i do 46,8% przy zapowiedzianych 10, 20 i 30 minutach | A | Galesic i Bosnjak 200910 |
| Zaproponowane „nie wiem” jest wybierane | Wybrało je 15%; bez tej opcji porównywalne pozycje pominęło tylko 3% i 4% | A | Gilljam i Granberg 19937 |
| Na telefonie trwa to dłużej | Mediana 17,7 wobec 10,5 minuty, te same osoby, oba urządzenia | A | Antoun i współpracownicy 201711 |
| Od pięciu do siedmiu punktów skali | Wskaźniki rosną mniej więcej do 7 punktów, potem się wypłaszczają; powyżej 10 rzetelność znów spada | B | Preston i Colman 20005, 1 |
| Opcja „nie wiem” odciąga ludzi od punktu środkowego | Wybór punktu środkowego spadł o około 7 do 17 punktów | B | Wetzelhutter 20206 |
| Odpowiadanie według wzoru jest częste tam, gdzie jest prawdopodobne | Od 15% do 40% w blokach, gdzie jest prawdopodobne, poniżej 2% w pozostałych | B | Schonlau i Toepoel 201513 |
| Odpowiedzi z telefonu nie są po prostu gorsze | Krótsze odpowiedzi otwarte na telefonie, ale więcej odpowiadania według wzoru na komputerze | B | Mavletova 201312 |
| Rozbijaj pozycje podwójne | Brak jednoznacznego odsetka; obie wersje nie mierzyły tego samego | B | Menold 202015 |
| W pretestach nie ma bezpiecznego momentu na zatrzymanie | Problemy pojawiały się nadal wraz ze wzrostem liczby wywiadów | B | Blair i Conrad 201114 |
Znaczenie poziomów: A eksperyment powtórzony lub synteza całej literatury. B jedno solidne badanie. C szeroko powtarzane, ale sporne lub niemożliwe do prześledzenia, dlatego żadne twierdzenie na tej stronie nie ma takiego poziomu.
Liczby, których celowo nie użyliśmy
Każda z nich często pojawia się w poradach o kwestionariuszach. Każdą prześledziliśmy do źródła i pominęliśmy.
„Czas skupienia uwagi wynosi dziś 8 sekund, mniej niż u złotej rybki”
Pochodzi z raportu marketingowego z 2015 roku, który powoływał się na serwis z masowo produkowanymi treściami, a ten nie potrafił wskazać własnych źródeł, gdy zapytali o nie dziennikarze.24 Porównanie ze złotą rybką też jest zmyślone.
„Od pięciu do siedmiu wywiadów w preteście wychwytuje od 75 do 85 procent problemów”
To wynik testów użyteczności dotyczący błędów oprogramowania22, który przeniesiono na wywiady poznawcze. Właściwe badanie ankietowe nie wykazało żadnego takiego plateau.14
„Średni wskaźnik odpowiedzi w ankietach wynosi [wybierz liczbę]”
Krążą co najmniej cztery niezgodne ze sobą wartości, każda z inną ukrytą definicją tego, kogo zapytano. Istnieją natomiast udokumentowane przedziały według rodzaju próby.21
„Zmieść się w 10 minutach, bo inaczej stracisz ludzi”
Kierunek się zgadza, gwałtownego spadku już nie ma. Zmierzona krzywa to równomierny spadek od 10 do 30 zapowiedzianych minut, bez żadnego progu.10
„Siedem plus minus dwa, więc użyj skali 7-punktowej”
Praca Millera z 1956 roku dotyczy pamięci krótkotrwałej dla list, a nie tego, ile punktów skali człowiek potrafi rozróżnić.23 Prawdziwe dowody dotyczące liczby punktów skali i tak prowadzą do pięciu–siedmiu.5
„Pytania podwójne niszczą Twoje dane”
Słuszna zasada, skąpe dowody. Udało nam się znaleźć jeden poświęcony jej test randomizowany, wobec dziesiątek dotyczących efektów sformułowania i kolejności.15 Mówimy o tym w kroku 3, zamiast przesadzać.
Przypadki szczególne, które po cichu psują kwestionariusze
Pozycje drażliwe
Dochody, zdrowie, problemy z wynikami w pracy i wszystko, co może przeczytać przełożony. Przy niskim zaufaniu zwiększają zarówno liczbę przerwanych ankiet, jak i nieprawdziwych odpowiedzi. Umieść je pod koniec, w jednym zdaniu wyjaśnij, dlaczego pytasz, i daj realną możliwość odmowy. „Wolę nie odpowiadać” to dane. Puste pole nie.
„Nie dotyczy” to nie „neutralnie”
Nie pozwól, by osoby, które nie potrafią ocenić, lądowały w środku Twojej skali. Daj im osobną opcję poza skalą albo przeprowadź je obok pozycji logiką pomijania. W przeciwnym razie Twoja średnia przesunie się z powodu, który nie ma nic wspólnego z opinią.
Efekty kolejności na długiej liście
Na ekranie odpowiedzi blisko początku długiej listy są wybierane częściej. Losuj kolejność marek, powodów i problemów, a stałą kolejność zachowuj tylko tam, gdzie coś znaczy, na przykład w skali częstotliwości albo zestawie dat.
Przeczenia
„Czy zgadzasz się, że wdrożenie nie jest trudne?” zmusza czytelnika do rozwikłania dwóch przeczeń, zanim zdoła odpowiedzieć. Napisz wersję twierdzącą i pozwól, by kierunek niosła skala.
Tłumaczenie
Unikaj idiomów, metafor sportowych i lokalnych skrótów myślowych, bo nie przetrwają tłumaczenia i wykluczają czytelników, dla których Twój język jest drugim językiem w pracy. Jeśli tłumaczysz, stosuj tłumaczenie zwrotne i daj je do sprawdzenia komuś, kto zna temat, a nie tylko język.
Kolejne fale
Jeśli planujesz porównać tę edycję z następną, zamroź teraz sformułowania. Poprawienie pozycji między falami oznacza, że zmierzona zmiana może być skutkiem Twojej własnej edycji. Zachowaj stare sformułowanie, na jedną falę dodaj obok niego lepsze, a potem przejdź na nowe.
Lista kontrolna, zanim cokolwiek wyślesz
Lista kontrolna kwestionariusza
- Decyzje. Każda pozycja wywodzi się z decyzji zapisanej w kroku 1.
- Formaty. Format każdej pozycji wybrano pod wynik, który zasila, a nie z przyzwyczajenia.
- Okresy. Każda pozycja o zachowaniu podaje okres, a okres pasuje do zachowania.
- Pojęcia. Żargon jest zdefiniowany w trzonie pytania. Skróty są raz rozwinięte.
- Jedna myśl. Żadna pozycja nie ukrywa dwóch cech, dwóch obiektów ani dwóch okresów.
- Odpowiedzi. Przedziały się nie nakładają, lista obejmuje realistyczne odpowiedzi i jest opcja wyjścia.
- Skale. Te same punkty, ten sam kierunek, opisane, a „nie dotyczy” poza skalą.
- Neutralne sformułowania. Brak przymiotników w trzonie pytania i oba kierunki do wyboru.
- Kolejność. Najpierw pytanie filtrujące, pozycje drażliwe pod koniec, jedna skala na blok.
- Wstęp. Cel, uczciwy czas, prywatność, dobrowolność, kontakt. Pięć wierszy.
- Telefon. Otwarte na prawdziwym telefonie, bez szerokich siatek i łamiących się odpowiedzi.
- Głośne czytanie. Ktoś spoza projektu przeczytał każdą pozycję i zrozumiał każdą zgodnie z zamierzeniem.
- Czas. Liczba we wstępie pochodzi z tego głośnego czytania, a nie ze zgadywania.
- Kody. Pominięcie, odmowa i „nie dotyczy” mają trzy osobne kody.
Najczęściej zadawane pytania
Jaki jest pierwszy krok w projektowaniu kwestionariusza?
Zapisanie decyzji, w których mają pomóc wyniki. Nie tematu, tylko decyzji. Dopóki nie potrafisz powiedzieć, co zrobisz inaczej w zależności od odpowiedzi, nie masz jak odróżnić pozycji niezbędnej od opcjonalnej, a wersja robocza rośnie, aż komuś się znudzi.
Czym różni się kwestionariusz od ankiety?
Kwestionariusz to narzędzie: lista pozycji i odpowiedzi do wyboru. Ankieta to całe badanie wokół niego, w tym to, kogo pytasz, jak do tych osób docierasz, ilu ich potrzebujesz i co robisz z wynikami. Możesz przeprowadzić jedną ankietę z kilkoma kwestionariuszami i użyć tego samego kwestionariusza w kilku ankietach.
Ile pytań powinien mieć kwestionariusz?
Tyle, ile wymagają Twoje decyzje. Pogoń za docelową liczbą to zły ruch; celuj raczej w czas wypełniania i ustal go na podstawie własnego głośnego czytania, a nie ogólnej reguły. Podana długość wpływa na to, kto bierze udział: w kontrolowanym eksperymencie odsetek kończących wśród osób, które zaczęły, spadł z 68,2 procent przy zapowiedzianych 10 minutach do 46,8 procent przy zapowiedzianych 30 minutach.
Ile powinno trwać wypełnienie kwestionariusza?
Na tyle krótko, by podany czas nikogo nie zniechęcał, i na tyle uczciwie, by zgadzał się z rzeczywistością. Nie ma konkretnej minuty, po której udział gwałtownie spada. Zmierzona zależność to równomierny spadek udziału wraz ze wzrostem podanej długości, więc każda zachowana pozycja kosztuje Cię trochę odpowiedzi i warto umieć powiedzieć, co każda z nich daje.
Czy kwestionariusz jest jakościowy, czy ilościowy?
Może być jednym i drugim, a większość jest po trochu obydwoma. Pozycje zamknięte ze stałymi odpowiedziami dają dane ilościowe. Otwarte polecenia dają dane jakościowe. Ważne jest, by przed napisaniem pozycji zdecydować, do czego ma służyć, bo oba rodzaje wymagają innych zasad formułowania, innej liczby uczestników i zupełnie innej analizy.
Czy na skali ocen powinien być neutralny punkt środkowy?
Uwzględnij go, gdy „neutralnie” to prawdziwe stanowisko wobec tego, co mierzysz. Jego usunięcie nie wydobywa ukrytej opinii; ludzie wybierają mniej więcej losowo spośród punktów najbliższych środka. O punkcie środkowym i opcji „nie wiem” decyduj razem, bo dodanie „nie wiem” zmniejsza wybór punktu środkowego o mniej więcej 7 do 17 punktów procentowych.
Kiedy dawać opcję „Nie wiem”?
Gdy uczestnik może naprawdę nie mieć danej informacji, na przykład nazwy planu, daty albo szczegółu technicznego. Unikaj jej w pytaniach o własne doświadczenia, na które niemal każdy potrafi odpowiedzieć. Z łatwego wyjścia ludzie chętnie korzystają: przy jednej pozycji dotyczącej postaw 15 procent osób wybrało „nie wiem”, gdy było dostępne, a porównywalne pozycje bez tej opcji pominęło tylko 3 do 4 procent.
Ilu pytań otwartych używać?
Jednego lub dwóch, tam gdzie naprawdę się opłacają, zwykle jako pytanie uzupełniające do konkretnej odpowiedzi zamkniętej i jako pole na wszystko inne na końcu. Odpowiedzi otwarte to jedyny sposób, by usłyszeć, o czym zapomniała Twoja lista odpowiedzi, ale wymagają schematu kodowania i więcej niż jednej osoby kodującej, zanim wyniki zaczną cokolwiek znaczyć, a ten koszt jest realny.
Jak przetestować kwestionariusz przed wysłaniem?
W dwóch przebiegach. Pretest sprawdza zrozumienie: poproś ludzi, by przeczytali każdą pozycję na głos i powiedzieli, co według nich znaczy i jak wybrali odpowiedź. Badanie pilotażowe to małe rzeczywiste uruchomienie, które sprawdza dane: miejsca rezygnacji, pokrycie odpowiedzi, zachowanie skali i to, czy planowana analiza naprawdę działa. Najpierw zrób pretest, bo to on zmienia sformułowania.
W jakim projekcie badania używa się kwestionariusza?
Kwestionariusz to narzędzie zbierania danych, a nie projekt badania, więc występuje w kilku projektach. Badania przekrojowe używają go w jednym momencie. Badania trendów i panelowe powtarzają go w czasie. Eksperymenty używają go do pomiaru efektów po manipulacji. Wybór spośród nich to decyzja o projekcie badania, która leży poziom wyżej niż sformułowania pozycji.
Jak zwalidować kwestionariusz?
Kilka nowych pozycji mierzących coś konkretnego wymaga pretestu, a nie walidacji psychometrycznej. Skala, która ma mierzyć coś abstrakcyjnego, być porównywana między grupami lub używana przez innych, wymaga więcej: eksperckiej oceny treści, badania pilotażowego na tyle dużego, by sprawdzić, czy pozycje tworzą spójną całość, i dowodów, że wyniki wiążą się z czymś zewnętrznym tak, jak przewidywano. Jeśli dla Twojego konstruktu istnieje już zwalidowane narzędzie, użyj go zamiast pisać własne.
Jak powstał ten poradnik i czego nie obejmuje
Siedmiokrokowa sekwencja odpowiada procesowi tworzenia opisanemu w literaturze z metodologii kwestionariuszy16, 17, 18, 20, a nie schematowi któregokolwiek dostawcy. Każda liczba przytoczona na tej stronie pochodzi z opublikowanego eksperymentu lub oficjalnego raportu metodologicznego wymienionego poniżej. Każdą oceniliśmy przed użyciem, a ocena jest podana obok twierdzenia w tabeli dowodów.
Twierdzenia, których nie udało się prześledzić do źródła pierwotnego, pominęliśmy, a najczęstsze z nich wymieniamy w części „Liczby, których celowo nie użyliśmy”, aby łatwo było je rozpoznać gdzie indziej. Tam, gdzie zasada jest słuszna, ale bezpośrednie dowody są skąpe, jak przy rozbijaniu pozycji podwójnych, strona mówi to wprost, zamiast pożyczać pewność od mocniejszego ustalenia.
Większość przytoczonych dowodów eksperymentalnych pochodzi z ankiet prowadzonych w Stanach Zjednoczonych i Europie Zachodniej, głównie na próbach z populacji ogólnej i z paneli internetowych. Wielkości efektów sformułowania i kolejności nie przeniosą się bez zmian na każdy język, temat czy populację, a nic z tego nie zostało sprawdzone na Twoich uczestnikach. Traktuj te liczby jako dowód, że efekty są prawdziwe i mogą być duże, a nie jako stałe, które można po prostu podstawić.
Rozpisany przykład to skonstruowany przypadek, który ma pokazać wszystkie siedem kroków w jednym miejscu. Nie jest to raport z prawdziwego badania, a opisany w nim pretest ma charakter poglądowy.
Ta strona dotyczy narzędzia. Nie obejmuje tego, kogo pytać, ilu osób pytać ani jak analizować to, co wróci. To osobne zadania, omówione w poradnikach o doborze próby, wielkości próby i istotności statystycznej.
SuperSurvey tworzy oprogramowanie do ankiet, więc mamy interes handlowy w tym, by ludzie prowadzili ankiety. Ten poradnik jest bezpłatny, a jego wskazówki dotyczą każdej platformy ankietowej. Narzędzie do sprawdzania pozycji działa w całości w Twojej przeglądarce i niczego nigdzie nie wysyła. Linki do naszego kreatora i biblioteki szablonów pokazują, jak zastosować kwestionariusz w praktyce.
Bibliografia
- Krosnick, J. A., & Presser, S. (2010). Question and questionnaire design. W: P. V. Marsden & J. D. Wright (red.), Handbook of Survey Research (wyd. 2, rozdz. 9). Emerald.
- Rasinski, K. A. (1989). The effect of question wording on public support for government spending. Public Opinion Quarterly, 53(3), 388-394. doi.org/10.1086/269158
- Smith, T. W. (1987). That which we call welfare by any other name would smell sweeter. Public Opinion Quarterly, 51(1), 75-83. doi.org/10.1086/269015
- Saris, W. E., Revilla, M., Krosnick, J. A., & Shaeffer, E. M. (2010). Comparing questions with agree/disagree response options to questions with item-specific response options. Survey Research Methods, 4(1), 61-79. doi.org/10.18148/srm/2010.v4i1.2682
- Preston, C. C., & Colman, A. M. (2000). Optimal number of response categories in rating scales. Acta Psychologica, 104(1), 1-15. doi.org/10.1016/S0001-6918(99)00050-5
- Wetzelhutter, D. (2020). Scale-sensitive response behavior: consequences of offering versus omitting a „don't know” option and/or a middle category. Survey Practice, 13(1). doi.org/10.29115/SP-2020-0012
- Gilljam, M., & Granberg, D. (1993). Should we take don't know for an answer? Public Opinion Quarterly, 57(3), 348-357. doi.org/10.1086/269380
- Pew Research Center. Writing survey questions. Objaśnienie metod. pewresearch.org/writing-survey-questions
- Pew Research Center (2003, 18 listopada). Religious beliefs underpin opposition to homosexuality, Part 2: Gay marriage. pewresearch.org/politics/2003/11/18/part-2-gay-marriage
- Galesic, M., & Bosnjak, M. (2009). Effects of questionnaire length on participation and indicators of response quality in a web survey. Public Opinion Quarterly, 73(2), 349-360. doi.org/10.1093/poq/nfp031
- Antoun, C., Couper, M. P., & Conrad, F. G. (2017). Effects of mobile versus PC web on survey response quality. Public Opinion Quarterly, 81(S1), 280-306. doi.org/10.1093/poq/nfw088
- Mavletova, A. (2013). Data quality in PC and mobile web surveys. Social Science Computer Review, 31(6), 725-743. doi.org/10.1177/0894439313485201
- Schonlau, M., & Toepoel, V. (2015). Straightlining in web survey panels over time. Survey Research Methods, 9(2), 125-137. doi.org/10.18148/srm/2015.v9i2.6128
- Blair, J., & Conrad, F. G. (2011). Sample size for cognitive interview pretesting. Public Opinion Quarterly, 75(4), 636-658. doi.org/10.1093/poq/nfr035
- Menold, N. (2020). Double barreled questions: an analysis of the similarity of elements and effects on measurement quality. Journal of Official Statistics, 36(4), 855-886. doi.org/10.2478/jos-2020-0041
- Rattray, J., & Jones, M. C. (2007). Essential elements of questionnaire design and development. Journal of Clinical Nursing, 16(2), 234-243. doi.org/10.1111/j.1365-2702.2006.01573.x
- Boparai, J. K., Singh, S., & Kathuria, P. (2019). How to design and validate a questionnaire: a guide. Current Clinical Pharmacology, 13(4), 210-215. doi.org/10.2174/1574884713666180807151328
- Slattery, E. L., Voelker, C. C. J., Nussenbaum, B., Rich, J. T., Paniello, R. C., & Neely, J. G. (2011). A practical guide to surveys and questionnaires. Otolaryngology-Head and Neck Surgery, 144(6), 831-837. doi.org/10.1177/0194599811399724
- Edwards, P. (2010). Questionnaires in clinical trials: guidelines for optimal design and administration. Trials, 11, 2. doi.org/10.1186/1745-6215-11-2
- Stone, D. H. (1993). Design a questionnaire. BMJ, 307(6914), 1264-1266. pmc.ncbi.nlm.nih.gov/articles/PMC1679392
- American Association for Public Opinion Research (2022). Data quality metrics for online samples: considerations for study design and analysis. Raport zespołu zadaniowego. raport zespołu zadaniowego aapor.org (PDF)
- Nielsen, J., & Landauer, T. K. (1993). A mathematical model of the finding of usability problems. Proceedings of ACM INTERCHI '93, 206-213. doi.org/10.1145/169059.169166
- Miller, G. A. (1956). The magical number seven, plus or minus two. Psychological Review, 63(2), 81-97. doi.org/10.1037/h0043158
- Maybin, S. (2017, 10 marca). Busting the attention span myth. BBC News. bbc.com/news/health-38896790
Każdy powyższy DOI sprawdziliśmy w systemie rozpoznawania DOI, a każdy link pod kątem działania, 21 sierpnia 2026 roku.