Poin-poin utama
- Mulailah dari keputusan, bukan dari topik. Tuliskan apa yang akan Anda lakukan secara berbeda bergantung pada jawabannya. Setiap butir yang tidak dapat mengubah keputusan layak dipertimbangkan untuk dihapus.
- Satu gagasan, satu butir, satu kerangka waktu. Jika satu pertanyaan menyembunyikan dua pertanyaan, Anda tidak dapat mengetahui bagian mana yang mendorong jawabannya.
- Rumusan kata menggeser angka. Satu eksperimen sampel terpisah (split-sample) menggeser dukungan terhadap program pemerintah yang sama sebesar 45 poin persentase hanya dengan mengganti namanya, sehingga rumusan yang netral adalah pilihan pengukuran, bukan sekadar sopan santun.
- Rancang opsi jawaban secermat pertanyaannya. Rentang yang tumpang tindih, kategori yang hilang, dan titik tengah tanpa label lebih merusak daripada pokok pertanyaan yang kurang elegan.
- Lakukan pretest dengan orang, lalu studi pilot dengan data. Sesi membaca dengan suara keras bersama beberapa responden menemukan salah tafsir yang tidak dapat Anda lihat dari kursi penulis.
Apa itu desain kuesioner, dan apa yang tidak dapat diperbaikinya
Desain kuesioner adalah proses mengubah tujuan penelitian menjadi pertanyaan yang dapat dipahami dan dijawab orang secara akurat. Proses ini mencakup rumusan kata, opsi jawaban, urutan, pengantar, dan pengujian. Tujuh langkah di bawah ini menunjukkan bagaimana pilihan-pilihan itu bekerja bersama dalam kuesioner yang utuh.
Sebuah butir dirancang dengan baik bila dua orang dengan pengalaman yang sama membacanya dengan cara yang sama, dapat mengingat jawabannya, dan memilih opsi yang sama untuk menggambarkannya. Semua yang ada di bawah ini adalah cara untuk mendekati kondisi itu.
Ada dua hal yang tidak dapat diperbaikinya. Desain kuesioner tidak dapat memperbaiki audiens yang salah: ajukan pertanyaan yang sempurna kepada orang yang salah, dan Anda akan mendapat jawaban yang tepat untuk pertanyaan yang tidak pernah diajukan siapa pun. Itu masalah pengambilan sampel, bukan masalah rumusan kata. Desain kuesioner juga tidak dapat memperbaiki jumlah respons yang terlalu sedikit, yang merupakan masalah ukuran sampel.
Perlu juga memisahkan dua kata yang sering dipakai bergantian. Kuesioner adalah instrumennya, yaitu daftar butir dan opsi jawaban. Survei adalah keseluruhan studi di sekitarnya: siapa yang Anda tanya, bagaimana Anda menjangkau mereka, dan apa yang Anda lakukan dengan datanya. Jika Anda memerlukan proses yang lebih luas, hal itu dibahas dalam panduan kami tentang desain penelitian survei. Halaman ini berfokus pada instrumennya.
7 langkah desain kuesioner
Orang paling sering mencari tujuh langkah dibandingkan jumlah lainnya, dan daftar yang muncul sebagian besar merupakan salinan dari satu tulisan blog agensi tahun 2006 yang halaman aslinya sudah tidak ada. Jadi, urutan di bawah ini bukan daftar itu. Ini adalah proses pengembangan yang benar-benar dijelaskan oleh literatur metodologi survei16, 17, 20, dipotong pada tujuh titik tempat pekerjaannya benar-benar berubah bentuk, ditambah dua hal yang dihilangkan oleh salinan-salinan itu: apa yang dihasilkan setiap langkah, dan di mana masing-masing biasanya gagal.
| Langkah | Yang Anda putuskan | Yang Anda hasilkan | Titik gagal yang umum |
|---|---|---|---|
| 1. Keputusan dulu | Apa yang harus diputuskan berdasarkan hasilnya | Daftar singkat keputusan dan perbandingan di baliknya | Memulai dari topik, sehingga tidak ada yang memberi tahu kapan harus berhenti menambah butir |
| 2. Butir dan format | Satu butir per keputusan, beserta format jawabannya | Draf daftar butir dengan format di samping masing-masing | Memilih format karena kebiasaan, bukan berdasarkan analisis yang Anda perlukan |
| 3. Rumusan yang bisa dijawab | Bagaimana setiap pokok pertanyaan dirumuskan | Pokok pertanyaan dengan istilah yang didefinisikan dan kerangka waktu yang dinyatakan | Meminta ingatan yang tidak dimiliki siapa pun, atau menyembunyikan dua pertanyaan dalam satu |
| 4. Opsi dan skala | Himpunan jawaban untuk setiap butir tertutup | Opsi yang tidak tumpang tindih dan tidak membuat siapa pun kehilangan pilihan | Rentang yang tumpang tindih, tanpa opsi jalan keluar, titik tengah tanpa label |
| 5. Rumusan netral | Kata-kata mana yang mendorong suatu jawaban | Pokok pertanyaan yang netral dan himpunan opsi yang seimbang | Kata sifat di dalam pokok pertanyaan, dan daftar jawaban yang berat sebelah |
| 6. Urutan dan pembuka | Urutan, pengelompokan, dan teks pembuka | Instrumen yang tersusun urut dengan pengantar singkat | Butir sensitif terlalu awal, dan pengantar yang tidak dibaca siapa pun |
| 7. Pretest dan studi pilot | Apakah instrumen berfungsi pada orang sungguhan | Instrumen yang sudah direvisi dan perkiraan waktu pengisian | Melewatkannya, atau menganggap satu putaran sudah cukup |
Langkah 3, 4, dan 5 dipisahkan di sini karena ketiganya gagal dengan cara yang berbeda dan diperbaiki dengan langkah yang berbeda. Dalam praktiknya, Anda akan melewatinya lebih dari sekali. Garis putus-putus dalam diagram adalah putaran yang paling penting: temuan pretest biasanya mengirim Anda kembali ke langkah 3.
Langkah 1. Tuliskan keputusannya sebelum Anda menulis satu pertanyaan pun
Kebanyakan kuesioner yang membengkak berangkat dari topik. Kuesioner yang baik berangkat dari keputusan. Sebelum menyusun draf butir, tuliskan daftar singkat hal-hal yang akan Anda lakukan secara berbeda bergantung pada hasil yang masuk.
Tuliskan tiga sampai lima keputusan
Tulis sebagai pilihan, bukan tema. "Mengulang format dua hari atau beralih ke sesi online singkat" adalah keputusan. "Umpan balik pelatihan" adalah tema.
Sebutkan perbandingan yang harus Anda buat
Tim, lokasi, sif, periode waktu, pengguna baru versus pengguna lama. Perbandingan menentukan rumusan kata sekaligus opsi jawaban, jadi putuskan sekarang, bukan nanti.
Buat draf luaran dalam satu halaman
Buat sketsa tabel dan grafik yang benar-benar Anda rencanakan. Jika Anda tidak dapat menggambar luaran yang diisi oleh sebuah butir, butir itu tidak punya tugas.
Inilah langkah yang ditempatkan paling awal oleh panduan metodologi, dan dengan alasan yang sama: hanya langkah inilah yang memberi tahu Anda kapan harus berhenti menambah pertanyaan.16, 17
Baca setiap draf butir dan lengkapi kalimat ini: "Jika semua orang menjawab B, bukan A, kami akan ..." Jika Anda tidak dapat melengkapinya, hapus butir itu atau tulis ulang sampai Anda bisa.
Langkah 2. Ubah setiap keputusan menjadi satu butir, dan pilih formatnya dengan sengaja
Format pertanyaan adalah keputusan pengukuran, bukan preferensi tata letak. Pilih format yang dapat dijawab pembaca dan dapat dipakai oleh luaran yang Anda rencanakan.
| Jika luarannya | Gunakan | Contoh pokok pertanyaan |
|---|---|---|
| Angka yang akan Anda pantau dari waktu ke waktu | Butir rating tertutup, dengan label di setiap titik | "Seberapa mudah atau sulit menyelesaikan penyiapan tanpa bantuan?" |
| Daftar urutan prioritas hal yang perlu diperbaiki | Pilihan tunggal, lalu satu pertanyaan lanjutan | "Satu perubahan mana yang paling membantu Anda?" lalu "Mengapa yang itu?" |
| Jumlah atau tingkat | Rentang tertutup yang tidak tumpang tindih | "Dalam 30 hari terakhir, berapa kali Anda menghubungi tim dukungan?" |
| Kata-kata yang belum pernah Anda dengar | Satu kotak teks terbuka yang terarah | "Apa alasan utama Anda menghubungi kami hari ini?" |
| Kelayakan untuk butir berikutnya | Pertanyaan penyaring ditambah logika lompat | "Apakah Anda menggunakan tab laporan dalam 30 hari terakhir?" |
Butir tertutup lebih murah dianalisis dan lebih mudah dibandingkan antargelombang. Butir terbuka menemukan hal-hal yang terlupa oleh daftar opsi Anda. Alasan praktis butir tertutup mendominasi adalah biaya: jawaban terbuka memerlukan skema pengodean dan lebih dari satu pengode sebelum bermakna.1 Gunakan satu atau dua butir terbuka, di tempat yang benar-benar bermanfaat, dan biarkan sisanya tertutup. Panduan kami tentang pertanyaan pilihan ganda serta pertanyaan terbuka dan pertanyaan tertutup membahas setiap format lebih dalam.
Satu peringatan tentang skala persetujuan. Jika Anda bisa menanyakan sesuatu secara langsung, tanyakan secara langsung. Dalam eksperimen dengan empat sampel, butir dengan opsi jawaban yang khusus untuk konstruknya mencapai koefisien reliabilitas 0,87 hingga 0,93, sedangkan isi yang sama yang ditanyakan sebagai pernyataan setuju atau tidak setuju hanya mencapai 0,36 hingga 0,73.4 Itu selisih yang besar untuk format yang kebanyakan dipilih karena kebiasaan. Dua efek respons yang sudah punya nama menjelaskan sebagian besar selisih itu. Kecenderungan menyetujui (acquiescence) adalah dorongan untuk setuju apa pun isi pernyataannya, sehingga format ini menambahkan kecondongan yang tidak bisa Anda pisahkan setelahnya. Satisficing adalah pembaca yang hanya bekerja secukupnya untuk menghasilkan jawaban yang lolos, bukan jawaban yang akurat, dan satu kolom pernyataan setuju atau tidak setuju membuat hal itu sangat mudah dilakukan. Keduanya makin parah seiring kuesioner makin panjang. Jika Anda memang memerlukan format ini, ikuti panduan skala Likert kami.
Langkah 3. Tulis pokok pertanyaan yang benar-benar bisa dijawab
Banyak butir yang buruk sebenarnya tidak samar. Butir-butir itu tidak bisa dijawab. Butir itu meminta ingatan yang tidak dimiliki siapa pun, atau pengetahuan yang tidak pernah diberikan kepada responden.
Beri setiap pertanyaan perilaku sebuah jendela waktu
"Seberapa sering Anda menghubungi tim dukungan?" tidak punya patokan, sehingga dua orang dengan perilaku yang sama persis akan menjawab berbeda. Sebutkan jendela waktunya, dan sesuaikan dengan seberapa sering perilaku itu terjadi.
| Yang Anda inginkan | Sulit dijawab | Bisa dijawab |
|---|---|---|
| Frekuensi | "Seberapa sering Anda menghubungi tim dukungan?" | "Dalam 30 hari terakhir, berapa kali Anda menghubungi tim dukungan?" |
| Perilaku terkini | "Apakah Anda berolahraga secara teratur?" | "Dalam 7 hari terakhir, pada berapa hari Anda berolahraga setidaknya 30 menit?" |
| Satu kejadian | "Apakah proses orientasi awal berjalan lancar?" | "Mengingat penyiapan terakhir Anda, seberapa mudah atau sulit menyelesaikannya tanpa bantuan?" |
Gunakan kata-kata yang dipakai pembaca Anda
- Pilih kata yang umum. "Bantuan" lebih baik daripada "asistensi". "Beli" lebih baik daripada "melakukan pembelian". Kata yang lebih sederhana juga lebih mudah diterjemahkan.
- Definisikan setiap istilah yang tidak bisa dihindari. Jika butir bergantung pada kata "insiden" atau "kasus", jelaskan apa yang termasuk di dalam pokok pertanyaan itu sendiri.
- Tulis kepanjangan akronim sekali. Setelah itu, gunakan akronimnya. Jangan menganggap singkatan internal dipahami semua orang.
- Tanyakan apa yang terjadi, bukan mengapa. Orang dapat melaporkan kejadian. Mereka biasanya tidak dapat melaporkan penyebabnya di dalam organisasi Anda.
Satu gagasan per butir
Butir yang menyembunyikan dua pertanyaan menghasilkan jawaban yang tidak bisa Anda baca. Seseorang yang menyukai harganya tetapi membenci kualitasnya tidak punya opsi yang jujur, dan apa pun yang dipilihnya, Anda tidak akan tahu bagian mana yang mendorongnya.
Seberapa puas Anda dengan harga dan kualitasnya?
Gunakan dua butir. "Seberapa puas Anda dengan kualitasnya?" dan "Seberapa puas Anda dengan harganya?"
Perlu jujur soal buktinya di sini. Memecah pertanyaan ganda hampir menjadi aturan universal, tetapi literatur eksperimen langsung di baliknya masih tipis dan baru. Uji yang paling jelas menemukan bahwa butir ganda (double-barreled) dan versi tulis ulangnya yang berisi satu gagasan tidak mengukur hal yang sama, dan versi satu gagasan lebih valid.15 Anggap aturan ini masuk akal dan beralasan kuat, bukan temuan mapan selama empat puluh tahun seperti efek rumusan kata pada langkah 5.
Langkah 4. Susun opsi jawaban dan skala yang bisa Anda analisis
Banyak kuesioner gagal di daftar jawaban, bukan di pokok pertanyaannya. Dua uji menangkap sebagian besar masalahnya. Opsi tidak boleh tumpang tindih, dan tidak boleh ada orang yang kehilangan pilihan yang jujur.
Berapa usia Anda? 18 sampai 30, 30 sampai 40, 40 sampai 55, 55 ke atas
Berapa usia Anda? 18 sampai 29, 30 sampai 39, 40 sampai 54, 55 atau lebih, Memilih untuk tidak menjawab
Skala rating
| Pilihan | Yang harus dilakukan | Alasannya |
|---|---|---|
| Jumlah titik | Lima sampai tujuh untuk sikap | Reliabilitas dan validitas naik tajam hingga sekitar tujuh titik, lalu mendatar, dan reliabilitas test-retest turun lagi setelah sepuluh titik.5, 1 |
| Label | Beri label setiap titik bila memungkinkan | Angka saja maknanya bisa bergeser. Dua orang membaca "6 dari 10" secara berbeda; keduanya membaca "Cukup mudah" dengan cara yang sama. |
| Arah | Pertahankan arah yang sama dari awal sampai akhir | Membalik arah di tengah kuesioner menghasilkan salah klik yang tampak seperti perubahan pendapat sungguhan. |
| Titik tengah | Sertakan bila posisi netral memang nyata | Menghapusnya tidak mengungkap kecondongan tersembunyi. Orang memilih secara acak di sekitar tempat titik itu seharusnya berada.1 |
| Tidak berlaku | Pisahkan dari titik tengah | Jika tidak, orang yang tidak dapat menilai ikut terhitung netral, yang diam-diam menggeser rata-rata Anda. |
Titik tengah dan "tidak tahu" bukanlah dua sakelar yang berdiri sendiri, padahal begitulah sebagian besar saran memperlakukannya. Menawarkan opsi "tidak tahu" di samping titik tengah mengurangi porsi yang memilih titik tengah sekitar 7 hingga 17 poin persentase, bergantung pada butirnya.6 Dengan kata lain, sebagian besar tumpukan jawaban netral Anda berasal dari orang yang tidak punya pandangan, bukan orang yang berada di tengah. Putuskan kedua opsi itu bersamaan. Panduan kami tentang pertanyaan skala rating membahas detail tata letaknya.
Pada satu butir sikap, 15 persen memilih opsi "tidak tahu" ketika opsi itu ditawarkan. Pada butir terkait dalam wawancara yang sama tanpa opsi itu, hanya 3 dan 4 persen yang tidak memberi jawaban substantif, dan jawaban-jawaban itu tetap memprediksi bagaimana orang kemudian memberikan suara.7 Jalan keluar yang mudah akan dipakai, dan sebagian yang terkumpul di sana sebenarnya adalah pendapat sungguhan.
Langkah 5. Jaga rumusan tetap netral dan periksa biasnya
Inilah langkah dengan bukti terbanyak di belakangnya, dan efek terukur terbesar. Eksperimen sampel terpisah telah menggeser hasil hingga puluhan poin persentase untuk pendapat dasar yang sama, murni dengan mengganti kata-kata.
Dalam General Social Survey 1985, 65,2 persen warga Amerika mengatakan terlalu sedikit dana yang dibelanjakan untuk "bantuan bagi orang miskin". Ketika ditanya tentang program yang sama dengan label "welfare" (tunjangan kesejahteraan), hanya 19,8 persen yang mengatakan terlalu sedikit. Itu selisih 45 poin dari satu kata, dan hasilnya terulang tahun berikutnya dengan 62,8 berbanding 23,1.2, 3
Pembingkaian melakukan hal yang sama. Dukungan untuk aksi militer di Irak mencapai 68 persen, dan turun menjadi 43 persen ketika pertanyaan yang sama ditambahi "meskipun itu berarti pasukan AS mungkin menderita ribuan korban".8
Ini adalah eksperimen sampel terpisah: dua separuh acak dari survei yang sama, masing-masing dengan satu rumusan. Desain itulah yang mengubah "rumusan kata itu penting" dari opini menjadi pengukuran.
Apa yang harus dihilangkan
| Pola | Mengarahkan | Netral |
|---|---|---|
| Kata sifat di dalam pokok pertanyaan | "Seberapa membantu tim dukungan kami yang luar biasa?" | "Seberapa membantu atau tidak membantu tim dukungan kami?" |
| Hanya satu arah yang ditawarkan | "Seberapa menjengkelkan proses pendaftarannya?" | "Seberapa mudah atau sulit proses pendaftarannya?" |
| Daftar jawaban yang berat sebelah | "Seberapa puas Anda?" dengan opsi positif saja | Jumlah opsi negatif dan positif yang sama |
| Perilaku yang diasumsikan | "Bagaimana Anda menggunakan tab laporan?" | "Apakah Anda menggunakan tab laporan dalam 30 hari terakhir?" |
Bias juga datang dari responden, bukan hanya dari rumusan kata. Tiga kebiasaan menimbulkan sebagian besar kerusakan. Keinginan sosial (social desirability) adalah menjawab dengan cara yang terlihat lebih baik. Kecenderungan menyetujui (acquiescence) adalah setuju apa pun isi pernyataannya. Satisficing adalah bekerja secukupnya untuk menghasilkan jawaban yang lolos, bukan jawaban yang akurat. Panduan kami tentang bias respons membahas ketiganya.
Langkah 6. Urutkan butir, lalu tulis pengantar singkat
Urutan bukan sekadar kosmetik. Pertanyaan sebelumnya dapat mengubah jawaban atas pertanyaan berikutnya, dan efeknya terukur. Dukungan terhadap perjanjian hukum bagi pasangan sesama jenis mencapai 45 persen ketika butir itu muncul setelah pertanyaan tentang pernikahan, dan 37 persen ketika berdiri sendiri.9 Tidak ada yang berubah pada butir itu selain apa yang muncul sebelumnya.
Urutan yang berhasil
Penyaring
Pastikan orang tersebut memenuhi syarat sebelum Anda menanyakan hal lain. Arahkan yang lain langsung keluar.
Pemanasan
Butir faktual yang mudah, yang menunjukkan bahwa kuesioner ini membahas sesuatu yang mereka kenal.
Blok inti
Kelompokkan menurut topik. Gunakan skala yang sama di dalam satu blok agar tidak ada yang perlu mempelajarinya ulang.
Diagnostik
Alasan dan hambatan yang menjelaskan rating di atasnya.
Butir sensitif dan segmen
Terakhir, dan hanya yang benar-benar akan Anda gunakan. Lihat pertanyaan demografis untuk pola rumusannya.
Penutup
Satu kotak terbuka "ada lagi yang ingin disampaikan", lalu ucapan terima kasih dan apa yang terjadi selanjutnya.
Pengantar yang bisa Anda salin
Batasi hingga lima baris. Orang datang untuk menjawab, bukan untuk membaca.
Tujuan: Kami mengumpulkan umpan balik untuk meningkatkan [proses atau layanan].
Waktu: Sekitar [X] menit.
Privasi: Jawaban Anda [anonim atau rahasia], dan [siapa] yang akan melihat hasilnya.
Sukarela: Anda dapat melewati pertanyaan mana pun.
Kontak: Ada pertanyaan? [nama dan email].
Berhati-hatilah dengan perkiraan waktu, karena perkiraan itu mengubah siapa yang ikut serta. Ketika kuesioner yang sama diumumkan berdurasi 10, 20, atau 30 menit, porsi orang yang mulai mengisi turun dari 75 ke 64,9 ke 62,4 persen, dan porsi yang menyelesaikan di antara mereka yang mulai turun dari 68,2 ke 56,8 ke 46,8 persen.10 Menyebutkan durasi adalah hal yang benar. Pastikan saja angkanya berasal dari pretest Anda.
Katakan dengan jelas siapa yang melihat jawaban mentah dan berapa lama Anda menyimpannya, dan pastikan hal itu sesuai dengan komitmen privasi Anda yang sebenarnya. Persetujuan dan kejelasan tujuan adalah bagian dari pengembangan kuesioner, bukan urusan administrasi yang ditempelkan belakangan.17
Langkah 7. Pretest dengan orang, studi pilot dengan data, lalu luncurkan
Di sinilah kuesioner benar-benar menjadi lebih baik. Pretest memberi tahu Anda apa yang menurut orang dimaksud oleh sebuah butir. Studi pilot memberi tahu Anda seperti apa datanya ketika mereka menjawabnya. Keduanya tugas yang berbeda dan Anda memerlukan keduanya.16, 19 Buat studi pilot di pembuat survei gratis kami dan uji urutan pertanyaan, opsi jawaban, dan percabangannya di ponsel sebelum membagikannya ke seluruh sampel Anda.
Bacakan dengan suara keras
Minta seseorang membacakan setiap butir dengan suara keras. Bagian mana pun yang membuat mereka tersandung, membaca ulang, atau merumuskan ulang adalah calon untuk ditulis ulang.
Gali maknanya
Tanyakan "apa arti pertanyaan ini bagi Anda?" dan "bagaimana Anda sampai pada jawaban itu?" Yang Anda uji adalah pemahaman, bukan pendapat.
Ukur waktunya
Catat berapa lama pengisian sebenarnya. Angka itu masuk ke pengantar Anda, dan biasanya lebih lama daripada perkiraan Anda.
Tulis ulang dan ulangi
Satu putaran jarang cukup untuk instrumen baru. Perbaiki, lalu uji perbaikannya pada orang yang baru.
Berapa banyak wawancara pretest
Lebih banyak daripada yang Anda kira. Pemodelan pretest wawancara kognitif menemukan bahwa masalah pertanyaan yang nyata terus bermunculan seiring bertambahnya jumlah wawancara, tanpa titik datar yang jelas tempat Anda bisa berhenti dengan aman.14 Anggap angka tetap apa pun sebagai anggaran, bukan cakupan, dan gunakan untuk orang-orang yang mirip dengan responden Anda yang sebenarnya.
Untuk apa studi pilot
- Cakupan opsi. Jika "Lainnya" atau "Memilih untuk tidak menjawab" banyak dipilih, ada yang kurang dalam daftar Anda.
- Penggunaan skala. Jawaban yang menumpuk di satu ujung biasanya berarti rumusan kata yang mendorongnya ke sana.
- Straightlining. Jawaban yang sama persis di sepanjang satu blok. Dalam data panel, angkanya berkisar 15 sampai 40 persen pada blok yang memang memungkinkan pola itu, dan di bawah 2 persen pada blok yang tidak.13
- Logika. Pastikan orang hanya melihat pertanyaan lanjutan yang berlaku bagi mereka.
- Titik berhenti. Catat butir tempat orang berhenti mengisi. Butir itulah biasanya masalahnya, bukan panjang kuesioner.
Keduanya adalah dua angka berbeda yang menjawab dua pertanyaan berbeda, dan menganggap yang satu sebagai yang lain adalah kesalahan yang umum dan mahal. Tiga puluh orang sudah cukup untuk mengungkap daftar opsi yang rusak, pokok pertanyaan yang dibaca berbeda oleh setiap orang, atau cabang logika yang tidak pernah terpicu. Hanya itulah fungsi studi pilot. Jumlah itu sama sekali tidak cukup untuk memperkirakan persentase, atau untuk membedakan dua kelompok dengan keyakinan apa pun. Perbaiki instrumen dengan studi pilot, lalu tentukan ukuran studi yang sebenarnya secara terpisah dengan panduan ukuran sampel kami.
Bersiaplah untuk tingkat respons yang rendah saat Anda meluncurkannya: untuk panel online nonprobabilitas, tingkat 10 persen atau lebih rendah kini sudah umum.21
Contoh lengkap: satu kuesioner, disusun melalui ketujuh langkah
Setiap panduan tentang topik ini menunjukkan perbaikan pertanyaan satu per satu. Hampir tidak ada yang menunjukkan penyusunan satu kuesioner utuh. Jadi, inilah satu kuesioner lengkap, dari keputusan di bagian atas hingga instrumen di bagian bawah, dengan langkah-langkah di atas secara berurutan.
Sebuah tim operasional berisi sekitar 40 orang mengikuti pelatihan keselamatan selama dua hari pada bulan Mei. Manajemen harus memilih format untuk putaran berikutnya, dan tidak ada yang punya data. Hanya itu informasi awalnya. Sekarang jalankan langkah-langkahnya.
| Langkah | Yang dihasilkan di sini |
|---|---|
| 1. Keputusan dulu | Tiga keputusan: mempertahankan format dua hari atau beralih ke sesi online singkat; modul mana yang ditulis ulang lebih dulu; apakah materinya memang digunakan dalam pekerjaan. Semua yang ada di bawah ini mengarah ke salah satunya. |
| 2. Butir dan format | Sembilan butir. Dua hitungan tertutup, dua rating berlabel, tiga daftar pilihan tunggal, satu kotak terbuka yang terarah, satu kotak terbuka penutup. Satu penyaring di bagian atas. |
| 3. Rumusan yang bisa dijawab | Setiap butir perilaku diberi jendela waktu yang jelas ("dalam 30 hari sejak pelatihan"). "Daftar periksa" didefinisikan di dalam pokok pertanyaan, bukan diasumsikan. |
| 4. Opsi dan skala | Hitungan memakai rentang yang tidak tumpang tindih. Kedua rating memakai lima titik yang sama dengan arah yang sama. "Saya belum menggunakannya" dipisahkan dari titik tengah. |
| 5. Hilangkan arahan | "Seberapa berguna daftar periksa baru yang luar biasa itu" menjadi "Seberapa berguna atau tidak berguna". Butir format menawarkan kedua opsi ditambah "keduanya bisa" dan "keduanya tidak bisa", sehingga tidak mendorong jawaban yang diinginkan. |
| 6. Urutan dan pembuka | Penyaring, lalu perilaku, lalu rating, lalu keputusan format, lalu hambatan, lalu sif, lalu penutup terbuka. Sif diletakkan menjelang akhir karena itulah satu-satunya butir yang mungkin tidak ingin dijawab orang. |
| 7. Pretest dan studi pilot | Dibacakan dengan suara keras bersama empat orang. Dua di antaranya mengira "daftar periksa" adalah dokumen lain, sehingga Q2 ditambahi kata-kata "daftar periksa satu halaman dari Modul 2". Satu perbaikan itu saja sudah menjadi alasan lengkap untuk langkah 7. |
Kuesioner yang sudah jadi
Sembilan butir dan satu penyaring. Salin, lalu ganti kata bendanya. Jangan salin perkiraan waktunya: dapatkan angka itu dari sesi membaca keras Anda sendiri.
Kuesioner pascapelatihan: 10 butir
- Q0. Apakah Anda mengikuti pelatihan keselamatan pada 12 dan 13 Mei? Pilihan tunggal, penyaringPenyaring, bukan pemanasan. Siapa pun yang menjawab "Tidak" harus langsung diarahkan ke akhir. Tanpa butir ini, Anda tidak dapat membedakan orang yang tidak hadir dari peserta yang tidak puas.
- Q1. Dalam 30 hari sejak pelatihan, berapa kali Anda menggunakan daftar periksa satu halaman dari Modul 2 dalam pekerjaan nyata? Pilihan tunggal, hitunganJendela waktu yang jelas dan dokumen yang jelas. Rentangnya tidak tumpang tindih, sehingga orang yang menggunakannya tiga kali hanya punya satu tempat untuk memilih. Butir ini sendiri sudah menjawab keputusan ketiga.
- Q2. Seberapa mudah atau sulit daftar periksa itu digunakan dalam pekerjaan nyata? Rating lima titik, label lengkap1Sangat sulit2345Sangat mudahKedua arah ada di dalam pokok pertanyaan, sehingga tidak ada yang disiratkan. "Saya belum menggunakannya" berada di luar skala, bukan di dalamnya, sehingga orang yang tidak dapat menilai tidak terhitung sebagai netral.
- Q3. Bagian pelatihan mana yang paling sulit diikuti? Pilihan tunggal, dengan jalan keluarButir ini menjawab keputusan kedua. "Tidak ada yang sulit diikuti" sama pentingnya dengan modul-modulnya: tanpa opsi itu, semua orang dipaksa menyebutkan masalah yang mungkin tidak ada.
- Q4. Apa yang membuat bagian itu sulit diikuti? Teks terbuka, hanya ditampilkan jika sebuah modul dipilih di Q3Jawaban singkatSatu-satunya butir terbuka yang layak mendapat tempat. Butir ini ditujukan pada jawaban tertentu, dilewati oleh kebanyakan orang, dan hanya butir inilah yang akan memberi tahu Anda cara menulis ulang modulnya.
- Q5. Jika pelatihan yang sama diadakan lagi, format mana yang memungkinkan Anda mengikuti seluruhnya? Pilihan tunggal, seimbangButir keputusan. Butir ini menanyakan kehadiran, yang bisa dijawab orang, bukan preferensi, yang mengundang tebakan. "Keduanya bisa" dan "keduanya tidak bisa" sama-sama jawaban yang nyata dan sama-sama bisa ditindaklanjuti.
- Q6. Apa yang akan menyulitkan Anda untuk hadir? Pilih semua yang sesuai. Pilihan ganda, dengan jalan keluarPilih-semua menuntut usaha, jadi gunakan seperlunya. Di sini penggunaannya beralasan karena hambatannya bisa menumpuk: seseorang bisa menghadapi dua sekaligus, dan memaksakan satu jawaban akan menyembunyikan hal itu.
- Q7. Seberapa besar atau kecil kemungkinan Anda merekomendasikan pelatihan ini kepada rekan di tim Anda? Rating lima titik, skala yang sama dengan Q21Sangat tidak mungkin2345Sangat mungkinLima titik yang sama, arah yang sama dengan Q2. Memakai ulang satu skala berarti tidak ada yang perlu mempelajarinya ulang, dan kedua butir bisa ditampilkan berdampingan dalam grafik yang sama.
- Q8. Sif mana yang biasanya Anda jalani? Pilihan tunggal, ditempatkan di akhirMenjelang akhir, karena inilah satu-satunya butir yang mungkin tidak ingin dijawab orang. Butir ini ada hanya karena rencana analisisnya membandingkan sif. Jika tidak, butir ini akan dihapus.
- Q9. Ada hal lain yang perlu kami ketahui sebelum memilih formatnya? Teks terbuka, opsionalOpsionalKotak penutup. Kotak ini menangkap apa yang terlewat oleh daftar opsi, dan merupakan peringatan dini termurah yang akan Anda dapatkan tentang pertanyaan yang seharusnya Anda ajukan.
Opsi jawaban di atas hanya ditampilkan, tidak dapat diklik. Opsi itu adalah gambaran instrumen, bukan formulir yang berfungsi. Tidak ada yang dikumpulkan di sini. Saat dicetak, catatan-catatannya dihilangkan dan Anda mendapatkan sepuluh butirnya saja, sehingga fitur "simpan sebagai PDF" di browser Anda mengubahnya menjadi dokumen yang bisa dibagikan.
Instrumen ini ditulis untuk contoh di atas. Jika Anda tidak ingin memulai dari halaman kosong, Anda dapat memulai dari templat yang sudah ada dan mengubah butirnya agar sesuai dengan keputusan Anda sendiri.
Periksa butir yang sudah Anda tulis
Tempelkan pertanyaan yang sedang Anda kerjakan. Alat ini menjalankan pemeriksaan yang sama seperti yang dijelaskan langkah-langkah di atas, dan memberi tahu mana yang dilanggarnya. Ini daftar periksa, bukan vonis: alat ini membaca pola dalam kata-kata, tidak dapat membaca maksud Anda, dan butir yang ditandai terkadang justru butir yang tepat.
Rancang untuk berkas analisis, bukan untuk slide
Batasan ini berlaku di setiap langkah, itulah sebabnya ia tidak termasuk dalam tujuh langkah. Kuesioner juga merupakan spesifikasi data. Jika jawabannya tidak bisa dihitung dengan rapi, Anda hanya akan mendapat berminggu-minggu pekerjaan merapikan data dan angka yang tidak bisa Anda pertahankan.
- Satu konstruk per kolom. Jika Anda peduli pada kecepatan dan juga ketepatan, ukur keduanya dengan dua butir. Konstruk yang digabung tidak bisa dipisahkan lagi nanti.
- Seragamkan jendela waktunya. Mencampur "minggu lalu" di satu butir dan "tahun lalu" di butir berikutnya membuat keduanya mustahil ditampilkan dalam grafik yang sama.
- Buat kode lebih dulu untuk apa pun yang akan Anda kelompokkan. Nama departemen dalam teks bebas akan datang sebagai empat puluh ejaan untuk enam departemen. Berikan daftar.
- Putuskan arti data kosong sebelum peluncuran. Dilewati, "memilih untuk tidak menjawab", dan "tidak berlaku" adalah tiga hal yang berbeda, dan memerlukan tiga kode yang berbeda.
Rencanakan perbandingan dan presisinya pada saat yang sama. Instrumen yang sempurna pun tidak dapat menyelamatkan studi yang mengumpulkan terlalu sedikit jawaban untuk membedakan dua kelompok, yang merupakan pertanyaan ukuran sampel, dan titik ketika suatu perbedaan dianggap nyata adalah pertanyaan signifikansi statistik.
Rancang untuk ponsel, bukan untuk laptop tempat Anda membuatnya
Batasan lintas langkah yang kedua. Asumsikan ponsel, dengan koneksi seluler, dan gangguan di tengah jalan.
Ponsel lebih lambat daripada desktop untuk instrumen yang sama. Dalam eksperimen silang ketika orang yang sama menjawab di kedua perangkat, median waktu penyelesaian adalah 17,7 menit di ponsel pintar dibandingkan 10,5 menit di PC.11 Itu 69 persen lebih lama untuk isi yang identik, jadi kuesioner yang waktunya diukur di laptop sedang diukur di perangkat yang salah.
Anggapan refleks bahwa jawaban dari ponsel lebih buruk hanya sebagian benar, dan perlu dinyatakan secara akurat. Satu perbandingan langsung menemukan bahwa responden seluler menulis jawaban terbuka yang lebih pendek dan melewatkan lebih banyak butir, tetapi responden PC-lah yang lebih sering melakukan straightlining pada pertanyaan berbentuk kisi.12 Masalah ponsel adalah usaha dan gangguan, bukan kecerobohan.
- Pecah kisi-kisinya. Matriks lebar di layar kecil adalah pola terburuk yang ada, dan di situlah straightlining terjadi.
- Buat opsi cukup pendek agar tidak terbungkus ke baris baru. Opsi yang memanjang hingga dua baris tidak lagi bisa dibandingkan sekilas.
- Tampilkan pertanyaan lanjutan hanya bila berlaku. Logika lompat mengurangi kesan panjang lebih banyak daripada memotong butir.
- Buat area ketuk yang lega. Tombol radio dengan jarak yang nyata di antaranya, bukan tumpukan yang rapat.
- Gunakan bilah kemajuan hanya jika jujur. Bilah yang melompat mundur karena logika lompat lebih buruk daripada tanpa bilah sama sekali.
Apakah kuesioner itu kualitatif atau kuantitatif?
Keduanya, bergantung pada isinya. Instrumen bukanlah metode. Kuesioner yang terdiri atas butir tertutup dengan opsi tetap menghasilkan data kuantitatif. Kuesioner yang terdiri atas pertanyaan terbuka menghasilkan data kualitatif. Sebagian besar instrumen nyata berisi sedikit dari keduanya, dan kesalahannya bukan karena tidak memilih, melainkan karena tidak memutuskan.
| Pilihan desain | Tujuan kuantitatif | Tujuan kualitatif |
|---|---|---|
| Yang Anda cari | Seberapa besar, berapa banyak, bagaimana perbedaannya antarkelompok | Mengapa, dengan kata-kata siapa, dan apa yang tidak terpikir untuk Anda tanyakan |
| Butir | Sebagian besar tertutup, format ditetapkan sejak awal | Sebagian besar pertanyaan terbuka dengan pertanyaan lanjutan |
| Aturan rumusan | Sama untuk semua orang, tanpa pengecualian | Konsisten, tetapi sebuah pertanyaan boleh mengundang penjelasan lebih lanjut |
| Berapa banyak orang | Cukup untuk perbandingan yang Anda rencanakan | Cukup sampai jawaban baru tidak lagi menambah tema baru |
| Yang dihasilkan | Hitungan, persentase, perbedaan antarkelompok | Tema yang sudah dikodekan, kutipan, hipotesis untuk diuji berikutnya |
| Risiko utama | Jawaban yang tepat untuk pertanyaan yang rumusannya buruk | Jawaban yang kaya tetapi tidak bisa Anda kodekan secara konsisten |
Untuk proyek penelitian, bentuk campuran biasanya yang tepat: sejumlah kecil butir tertutup yang memikul pengukuran, dan satu atau dua pertanyaan terbuka yang menjelaskan angka-angkanya. Langkah yang paling banyak berubah adalah langkah 2, karena jawaban terbuka memerlukan skema pengodean, dan skema pengodean memerlukan lebih dari satu pengode sebelum dapat dipercaya.1 Jika yang Anda pilih adalah bentuk studinya, bukan butirnya, keputusan itu berada satu tingkat di atas, dalam desain penelitian survei.
Aturan mana yang terbukti, dan mana yang hanya diulang-ulang
Saran tentang kuesioner disalin dari satu halaman ke halaman lain sampai setiap aturan terdengar sama mapannya. Kenyataannya tidak. Sebagian aturan ini bertumpu pada eksperimen sampel terpisah selama puluhan tahun. Sebagian lain bertumpu pada satu studi baru, dan beberapa angka yang beredar luas tidak bertumpu pada apa pun. Berikut posisi sebenarnya setiap klaim di halaman ini.
| Klaim | Angkanya | Tingkat | Sumber |
|---|---|---|---|
| Rumusan kata mengubah hasil | 65,2% vs 19,8% mengatakan dana yang dibelanjakan "terlalu sedikit", untuk program yang sama yang diberi label "bantuan bagi orang miskin" atau "welfare" | A | Rasinski 1989; Smith 19872, 3 |
| Pembingkaian mengubah hasil | Dukungan 68% vs 43%, dengan dan tanpa klausa tentang korban | A | Pew Research Center8 |
| Urutan mengubah hasil | Dukungan 45% vs 37%, butir yang sama, posisi berbeda | A | Pew Research Center 20039 |
| Opsi khusus per butir mengungguli setuju atau tidak setuju | Reliabilitas 0,87 hingga 0,93 vs 0,36 hingga 0,73 | A | Saris dan rekan 20104 |
| Durasi yang disebutkan mengubah partisipasi | Penyelesaian di antara yang mulai mengisi turun 68,2% ke 56,8% ke 46,8% pada durasi yang disebutkan 10, 20, dan 30 menit | A | Galesic dan Bosnjak 200910 |
| Opsi "tidak tahu" yang ditawarkan akan dipilih | 15% memilihnya; hanya 3% dan 4% yang melewatkan butir sebanding tanpa opsi itu | A | Gilljam dan Granberg 19937 |
| Ponsel butuh waktu lebih lama | Median 17,7 vs 10,5 menit, orang yang sama, kedua perangkat | A | Antoun dan rekan 201711 |
| Lima sampai tujuh titik skala | Indeks naik hingga sekitar 7 titik, lalu mendatar; reliabilitas turun lagi setelah 10 | B | Preston dan Colman 20005, 1 |
| Opsi "tidak tahu" menarik orang menjauh dari titik tengah | Pilihan titik tengah turun sekitar 7 hingga 17 poin | B | Wetzelhutter 20206 |
| Straightlining umum terjadi di tempat yang memungkinkan | 15% hingga 40% pada blok yang memungkinkan, di bawah 2% di tempat lain | B | Schonlau dan Toepoel 201513 |
| Jawaban dari ponsel tidak sekadar lebih buruk | Jawaban terbuka lebih pendek di ponsel, tetapi lebih banyak straightlining di PC | B | Mavletova 201312 |
| Pecah butir ganda | Tidak ada persentase yang jelas; kedua versi tidak mengukur hal yang sama | B | Menold 202015 |
| Pretest tidak punya titik berhenti yang aman | Masalah terus muncul seiring jumlah wawancara bertambah | B | Blair dan Conrad 201114 |
Arti tingkat: A eksperimen yang direplikasi atau sintesis dari seluruh literatur. B satu studi yang kuat. C banyak diulang tetapi diperdebatkan atau tidak dapat dilacak, itulah sebabnya tidak ada klaim di halaman ini yang bertingkat C.
Angka yang sengaja tidak kami gunakan
Masing-masing angka ini umum dalam saran tentang kuesioner. Kami menelusuri setiap angka sampai ke sumbernya dan tidak memakainya.
"Rentang perhatian kini 8 detik, lebih pendek daripada ikan mas koki"
Berasal dari laporan pemasaran tahun 2015 yang mengutip situs penghasil konten massal, yang sumber-sumbernya sendiri tidak dapat ditunjukkan ketika jurnalis menanyakannya.24 Perbandingan dengan ikan mas koki juga rekaan.
"Lima sampai tujuh wawancara pretest menangkap 75 hingga 85 persen masalah"
Ini adalah hasil uji kegunaan tentang bug perangkat lunak22 yang dicangkokkan ke wawancara kognitif. Studi survei yang sebenarnya tidak menemukan titik datar seperti itu.14
"Rata-rata tingkat respons survei adalah [pilih sebuah angka]"
Setidaknya empat angka yang saling bertentangan beredar, masing-masing dengan definisi tersembunyi yang berbeda tentang siapa yang ditanya. Yang tersedia adalah rentang berdasarkan jenis sampel yang memiliki dasar kuat.21
"Jaga agar di bawah 10 menit, atau Anda kehilangan responden"
Arahnya benar, tetapi tebingnya tidak ada. Kurva yang terukur adalah penurunan yang konsisten dari durasi yang disebutkan 10 hingga 30 menit, tanpa ambang batas.10
"Tujuh plus atau minus dua, jadi gunakan skala 7 titik"
Makalah Miller tahun 1956 membahas memori jangka pendek untuk daftar, bukan berapa banyak titik yang dapat dibedakan seseorang pada sebuah skala.23 Bukti nyata tentang jumlah titik skala tetap mengarah ke lima sampai tujuh.5
"Pertanyaan ganda merusak data Anda"
Aturannya masuk akal, buktinya tipis. Kami hanya menemukan satu uji acak khusus untuk aturan ini, dibandingkan puluhan uji untuk efek rumusan kata dan urutan.15 Kami menyatakannya di langkah 3 alih-alih melebih-lebihkan.
Kasus khusus yang diam-diam merusak kuesioner
Butir sensitif
Pendapatan, kesehatan, masalah kinerja, dan apa pun yang mungkin dibaca atasan. Butir seperti ini menambah jumlah orang yang berhenti mengisi sekaligus pelaporan yang keliru ketika kepercayaan rendah. Letakkan di akhir, jelaskan dalam satu baris mengapa Anda menanyakannya, dan tawarkan cara yang nyata untuk menolak menjawab. "Memilih untuk tidak menjawab" adalah data. Jawaban kosong bukan.
"Tidak berlaku" bukan "netral"
Jangan biarkan orang yang tidak dapat menilai mendarat di tengah skala Anda. Beri mereka opsi terpisah di luar skala, atau arahkan mereka melewati butir itu dengan logika lompat. Jika tidak, rata-rata Anda bergeser karena alasan yang tidak ada hubungannya dengan pendapat.
Efek urutan dalam daftar panjang
Opsi di dekat bagian atas daftar panjang lebih sering dipilih di layar. Acak urutan merek, alasan, dan isu, dan pertahankan urutan tetap hanya bila urutan itu bermakna, seperti tangga frekuensi atau serangkaian tanggal.
Kalimat negatif
"Apakah Anda setuju bahwa proses orientasi awal tidak sulit?" memaksa pembaca mengurai dua negasi sebelum bisa menjawab. Tulis versi positifnya dan biarkan skala yang membawa arahnya.
Terjemahan
Hindari idiom, metafora olahraga, dan singkatan lokal, karena semuanya tidak bertahan saat diterjemahkan dan menyingkirkan pembaca yang memakai bahasa Anda sebagai bahasa kedua. Jika Anda menerjemahkan, gunakan terjemahan balik, dan minta seseorang yang memahami topiknya, bukan hanya bahasanya, untuk meninjaunya.
Gelombang berulang
Jika Anda berencana membandingkan putaran ini dengan putaran berikutnya, bekukan rumusannya sekarang. Memperbaiki butir di antara gelombang berarti perubahan yang Anda ukur mungkin adalah hasil suntingan Anda sendiri. Pertahankan rumusan lama, tambahkan rumusan yang lebih baik di sampingnya selama satu gelombang, lalu beralih.
Daftar periksa tinjauan, sebelum Anda mengirim apa pun
Daftar periksa tinjauan kuesioner
- Keputusan. Setiap butir mengarah ke keputusan yang Anda tuliskan di langkah 1.
- Format. Format setiap butir dipilih berdasarkan luaran yang diisinya, bukan karena kebiasaan.
- Jendela waktu. Setiap butir perilaku menyebutkan periode waktu, dan periode itu sesuai dengan perilakunya.
- Istilah. Jargon didefinisikan di dalam pokok pertanyaan. Kepanjangan akronim ditulis sekali.
- Satu gagasan. Tidak ada butir yang menyembunyikan dua atribut, dua objek, atau dua kerangka waktu.
- Opsi. Rentang tidak tumpang tindih, daftar mencakup jawaban yang realistis, dan ada jalan keluar.
- Skala. Titik sama, arah sama, berlabel, dengan "tidak berlaku" diletakkan di luar skala.
- Rumusan netral. Tidak ada kata sifat di dalam pokok pertanyaan, dan kedua arah ditawarkan.
- Urutan. Penyaring di awal, butir sensitif di akhir, satu skala per blok.
- Pengantar. Tujuan, waktu yang jujur, privasi, sukarela, kontak. Lima baris.
- Ponsel. Sudah dibuka di ponsel sungguhan, tanpa kisi lebar, tanpa opsi yang terbungkus ke baris baru.
- Membaca keras. Seseorang di luar proyek membaca setiap butir dan memahami masing-masing sesuai maksudnya.
- Waktu. Angka dalam pengantar Anda berasal dari sesi membaca keras itu, bukan dari tebakan.
- Kode. Dilewati, menolak menjawab, dan tidak berlaku memiliki tiga kode terpisah.
Pertanyaan yang sering diajukan
Apa langkah pertama dalam merancang kuesioner?
Menuliskan keputusan-keputusan yang harus didukung oleh hasilnya. Bukan topiknya, melainkan keputusannya. Sebelum Anda bisa mengatakan apa yang akan Anda lakukan secara berbeda bergantung pada jawabannya, Anda tidak punya cara untuk membedakan butir yang perlu dari butir yang opsional, dan draf akan terus membesar sampai seseorang bosan.
Apa perbedaan antara kuesioner dan survei?
Kuesioner adalah instrumennya: daftar butir beserta opsi jawabannya. Survei adalah keseluruhan studi di sekitarnya, termasuk siapa yang Anda tanya, bagaimana Anda menjangkau mereka, berapa banyak yang Anda perlukan, dan apa yang Anda lakukan dengan hasilnya. Anda dapat menjalankan satu survei dengan beberapa kuesioner, dan kuesioner yang sama dalam beberapa survei.
Berapa banyak pertanyaan yang sebaiknya ada dalam kuesioner?
Sesedikit yang dibutuhkan keputusan Anda. Mengejar jumlah target adalah langkah yang keliru; sebaiknya targetkan waktu penyelesaian, dan dapatkan angka waktu itu dari sesi membaca keras Anda sendiri, bukan dari aturan praktis. Durasi yang disebutkan memengaruhi siapa yang ikut serta: dalam eksperimen terkontrol, penyelesaian di antara orang yang mulai mengisi turun dari 68,2 persen pada durasi yang disebutkan 10 menit menjadi 46,8 persen pada durasi yang disebutkan 30 menit.
Berapa lama waktu yang sebaiknya dibutuhkan untuk mengisi kuesioner?
Cukup singkat sehingga waktu yang disebutkan tidak membuat orang enggan, dan cukup jujur sehingga sesuai dengan kenyataan. Tidak ada tepi tebing pada menit tertentu. Hubungan yang terukur adalah penurunan partisipasi yang konsisten seiring bertambahnya durasi yang disebutkan, sehingga setiap butir yang Anda pertahankan membuat Anda kehilangan sedikit respons, dan Anda harus bisa menyebutkan apa yang dibeli oleh masing-masing butir.
Apakah kuesioner itu kualitatif atau kuantitatif?
Bisa keduanya, dan sebagian besar berisi sedikit dari keduanya. Butir tertutup dengan opsi tetap menghasilkan data kuantitatif. Pertanyaan terbuka menghasilkan data kualitatif. Yang penting adalah memutuskan fungsi sebuah butir sebelum Anda menulisnya, karena keduanya memerlukan aturan rumusan yang berbeda, jumlah responden yang berbeda, dan analisis yang sama sekali berbeda.
Apakah saya perlu menyertakan titik tengah netral pada skala rating?
Sertakan bila "netral" adalah posisi yang nyata terhadap hal yang Anda ukur. Menghapusnya tidak memaksa keluar pendapat yang tersembunyi; orang memilih kurang lebih secara acak di antara titik-titik terdekat dengan tengah. Putuskan juga titik tengah dan opsi "tidak tahu" secara bersamaan, karena menawarkan "tidak tahu" mengurangi penggunaan titik tengah sekitar 7 hingga 17 poin persentase.
Kapan saya sebaiknya menawarkan opsi "Tidak tahu"?
Ketika responden mungkin memang tidak memiliki informasinya, seperti nama paket, tanggal, atau detail teknis. Hindari pada pertanyaan tentang pengalaman mereka sendiri, yang hampir semua orang bisa menjawabnya. Jalan keluar yang mudah akan dipakai: pada satu butir sikap, 15 persen memilih "tidak tahu" ketika opsi itu ditawarkan, sementara hanya 3 sampai 4 persen yang melewatkan butir sebanding yang tidak menawarkannya.
Berapa banyak pertanyaan terbuka yang sebaiknya saya gunakan?
Satu atau dua, di tempat yang benar-benar bermanfaat, biasanya sebagai pertanyaan lanjutan untuk jawaban tertutup tertentu dan sebagai penampung serba guna di bagian penutup. Jawaban terbuka adalah satu-satunya cara mendengar apa yang terlupa oleh daftar opsi Anda, tetapi jawaban itu memerlukan skema pengodean dan lebih dari satu pengode sebelum hasilnya bermakna, dan biaya itu nyata.
Bagaimana cara menguji kuesioner sebelum mengirimkannya?
Dalam dua tahap. Pretest memeriksa pemahaman: minta orang membacakan setiap butir dengan suara keras dan memberi tahu Anda apa yang menurut mereka dimaksud serta bagaimana mereka memilih jawabannya. Studi pilot adalah uji coba langsung berskala kecil yang memeriksa datanya: titik berhenti, cakupan opsi, perilaku skala, dan apakah analisis yang Anda rencanakan benar-benar berjalan. Lakukan pretest lebih dulu, karena pretest-lah yang mengubah rumusan kata.
Jenis desain penelitian apa yang menggunakan kuesioner?
Kuesioner adalah instrumen pengumpulan data, bukan desain, sehingga muncul di berbagai desain. Studi potong lintang menggunakannya pada satu titik waktu. Studi tren dan panel mengulanginya dari waktu ke waktu. Eksperimen menggunakannya untuk mengukur hasil setelah sebuah perlakuan. Memilih di antara semua itu adalah keputusan desain studi yang berada satu tingkat di atas rumusan butir.
Bagaimana cara memvalidasi kuesioner?
Beberapa butir baru yang mengukur sesuatu yang konkret memerlukan pretest, bukan validasi psikometrik. Skala yang dimaksudkan untuk mengukur sesuatu yang abstrak, dan untuk dibandingkan antarkelompok atau dipakai ulang oleh orang lain, memerlukan lebih banyak: tinjauan isi oleh ahli, studi pilot yang cukup besar untuk memeriksa bahwa butir-butirnya saling konsisten, dan bukti bahwa skornya berhubungan dengan sesuatu di luar skala sesuai prediksi Anda. Jika sudah ada instrumen tervalidasi untuk konstruk Anda, gunakan instrumen itu alih-alih menulis sendiri.
Cara panduan ini disusun, dan apa yang tidak dibahasnya
Urutan tujuh langkah ini mengikuti proses pengembangan yang dijelaskan dalam literatur metodologi kuesioner16, 17, 18, 20, bukan kerangka kerja vendor tertentu. Setiap angka yang dikutip di halaman ini berasal dari eksperimen yang diterbitkan atau laporan metodologis resmi, yang tercantum di bawah. Setiap angka dinilai tingkat buktinya sebelum digunakan, dan tingkatnya ditampilkan di samping klaim dalam tabel bukti.
Klaim yang tidak dapat kami lacak sampai ke sumber primer tidak kami gunakan, dan yang paling umum di antaranya disebutkan dalam "angka yang sengaja tidak kami gunakan" agar Anda dapat mengenalinya di tempat lain. Ketika sebuah aturan masuk akal tetapi bukti langsungnya tipis, seperti memecah butir ganda, halaman ini menyatakannya alih-alih meminjam keyakinan dari temuan yang lebih kuat.
Sebagian besar bukti eksperimen di sini berasal dari survei yang dijalankan di Amerika Serikat dan Eropa Barat, sebagian besar pada sampel populasi umum dan panel web. Besar efek untuk rumusan kata dan urutan tidak akan berlaku tanpa perubahan untuk setiap bahasa, topik, atau populasi, dan tidak ada yang diuji pada responden Anda. Anggap angka-angka ini sebagai bukti bahwa efek-efek tersebut nyata dan bisa besar, bukan sebagai konstanta yang bisa langsung Anda pakai.
Contoh lengkap di atas adalah kasus rekaan yang dibuat untuk menunjukkan ketujuh langkah di satu tempat. Contoh itu bukan laporan studi nyata, dan pretest yang dijelaskan di dalamnya bersifat ilustratif.
Halaman ini membahas instrumennya. Halaman ini tidak membahas siapa yang harus ditanya, berapa banyak yang harus ditanya, atau cara menganalisis jawaban yang masuk. Itu tugas-tugas terpisah, yang dibahas dalam pengambilan sampel, ukuran sampel, dan signifikansi statistik.
SuperSurvey membuat perangkat lunak survei, jadi kami punya kepentingan komersial agar orang menjalankan survei. Panduan ini gratis dibaca, dan sarannya berlaku untuk platform survei apa pun. Alat pemeriksa butir berjalan sepenuhnya di browser Anda dan tidak mengirim apa pun ke mana pun. Tautan ke pembuat survei dan pustaka templat kami menawarkan cara untuk menerapkan kuesioner Anda.
Referensi
- Krosnick, J. A., & Presser, S. (2010). Question and questionnaire design. Dalam P. V. Marsden & J. D. Wright (Ed.), Handbook of Survey Research (edisi ke-2, bab 9). Emerald.
- Rasinski, K. A. (1989). The effect of question wording on public support for government spending. Public Opinion Quarterly, 53(3), 388-394. doi.org/10.1086/269158
- Smith, T. W. (1987). That which we call welfare by any other name would smell sweeter. Public Opinion Quarterly, 51(1), 75-83. doi.org/10.1086/269015
- Saris, W. E., Revilla, M., Krosnick, J. A., & Shaeffer, E. M. (2010). Comparing questions with agree/disagree response options to questions with item-specific response options. Survey Research Methods, 4(1), 61-79. doi.org/10.18148/srm/2010.v4i1.2682
- Preston, C. C., & Colman, A. M. (2000). Optimal number of response categories in rating scales. Acta Psychologica, 104(1), 1-15. doi.org/10.1016/S0001-6918(99)00050-5
- Wetzelhutter, D. (2020). Scale-sensitive response behavior: consequences of offering versus omitting a "don't know" option and/or a middle category. Survey Practice, 13(1). doi.org/10.29115/SP-2020-0012
- Gilljam, M., & Granberg, D. (1993). Should we take don't know for an answer? Public Opinion Quarterly, 57(3), 348-357. doi.org/10.1086/269380
- Pew Research Center. Writing survey questions. Penjelasan metode. pewresearch.org/writing-survey-questions
- Pew Research Center (2003, 18 November). Religious beliefs underpin opposition to homosexuality, Part 2: Gay marriage. pewresearch.org/politics/2003/11/18/part-2-gay-marriage
- Galesic, M., & Bosnjak, M. (2009). Effects of questionnaire length on participation and indicators of response quality in a web survey. Public Opinion Quarterly, 73(2), 349-360. doi.org/10.1093/poq/nfp031
- Antoun, C., Couper, M. P., & Conrad, F. G. (2017). Effects of mobile versus PC web on survey response quality. Public Opinion Quarterly, 81(S1), 280-306. doi.org/10.1093/poq/nfw088
- Mavletova, A. (2013). Data quality in PC and mobile web surveys. Social Science Computer Review, 31(6), 725-743. doi.org/10.1177/0894439313485201
- Schonlau, M., & Toepoel, V. (2015). Straightlining in web survey panels over time. Survey Research Methods, 9(2), 125-137. doi.org/10.18148/srm/2015.v9i2.6128
- Blair, J., & Conrad, F. G. (2011). Sample size for cognitive interview pretesting. Public Opinion Quarterly, 75(4), 636-658. doi.org/10.1093/poq/nfr035
- Menold, N. (2020). Double barreled questions: an analysis of the similarity of elements and effects on measurement quality. Journal of Official Statistics, 36(4), 855-886. doi.org/10.2478/jos-2020-0041
- Rattray, J., & Jones, M. C. (2007). Essential elements of questionnaire design and development. Journal of Clinical Nursing, 16(2), 234-243. doi.org/10.1111/j.1365-2702.2006.01573.x
- Boparai, J. K., Singh, S., & Kathuria, P. (2019). How to design and validate a questionnaire: a guide. Current Clinical Pharmacology, 13(4), 210-215. doi.org/10.2174/1574884713666180807151328
- Slattery, E. L., Voelker, C. C. J., Nussenbaum, B., Rich, J. T., Paniello, R. C., & Neely, J. G. (2011). A practical guide to surveys and questionnaires. Otolaryngology-Head and Neck Surgery, 144(6), 831-837. doi.org/10.1177/0194599811399724
- Edwards, P. (2010). Questionnaires in clinical trials: guidelines for optimal design and administration. Trials, 11, 2. doi.org/10.1186/1745-6215-11-2
- Stone, D. H. (1993). Design a questionnaire. BMJ, 307(6914), 1264-1266. pmc.ncbi.nlm.nih.gov/articles/PMC1679392
- American Association for Public Opinion Research (2022). Data quality metrics for online samples: considerations for study design and analysis. Laporan gugus tugas. laporan gugus tugas aapor.org (PDF)
- Nielsen, J., & Landauer, T. K. (1993). A mathematical model of the finding of usability problems. Proceedings of ACM INTERCHI '93, 206-213. doi.org/10.1145/169059.169166
- Miller, G. A. (1956). The magical number seven, plus or minus two. Psychological Review, 63(2), 81-97. doi.org/10.1037/h0043158
- Maybin, S. (2017, 10 Maret). Busting the attention span myth. BBC News. bbc.com/news/health-38896790
Setiap DOI di atas diperiksa melalui DOI resolver, dan setiap tautan diperiksa responsnya, pada 21 Agustus 2026.