Ý chính
- Bắt đầu từ một quyết định, không phải một chủ đề. Hãy ghi lại những gì bạn sẽ làm khác đi tùy theo câu trả lời. Mục hỏi nào không thể thay đổi một quyết định đều là ứng viên để xóa bỏ.
- Một ý, một mục hỏi, một khung thời gian. Nếu một câu hỏi ẩn chứa hai câu hỏi, bạn không thể biết nửa nào đã quyết định câu trả lời.
- Cách diễn đạt làm thay đổi con số. Một thí nghiệm chia đôi mẫu nghiên cứu đã làm mức ủng hộ cho cùng những chương trình của chính phủ chênh nhau 45 điểm phần trăm chỉ bằng cách đổi tên chúng, vì vậy diễn đạt trung lập là một lựa chọn về đo lường chứ không phải phép lịch sự.
- Thiết kế phương án trả lời cẩn thận như thiết kế câu hỏi. Các khoảng chồng lấn nhau, thiếu hạng mục và điểm giữa không có nhãn gây hại nhiều hơn một phần dẫn vụng về.
- Kiểm tra thử với con người, rồi khảo sát thí điểm với dữ liệu. Một buổi đọc to với vài người trả lời sẽ tìm ra những chỗ hiểu sai mà bạn không thể thấy từ vị trí người viết.
Thiết kế bảng câu hỏi là gì và điều nó không thể khắc phục
Thiết kế bảng câu hỏi là quá trình biến một mục tiêu nghiên cứu thành những câu hỏi mà mọi người có thể hiểu và trả lời chính xác. Quá trình này bao gồm cách diễn đạt, phương án trả lời, thứ tự, lời mở đầu và việc kiểm tra. Bảy bước dưới đây cho thấy các lựa chọn đó phối hợp với nhau thế nào trong một bảng câu hỏi hoàn chỉnh.
Một mục hỏi được thiết kế tốt khi hai người có cùng trải nghiệm đọc nó theo cùng một cách, có thể nhớ lại câu trả lời và chọn cùng một phương án để mô tả trải nghiệm đó. Mọi điều dưới đây đều là cách để tiến gần hơn tới điều đó.
Có hai điều nó không thể khắc phục. Nó không thể khắc phục việc hỏi sai đối tượng: đặt những câu hỏi hoàn hảo cho sai người thì bạn nhận được câu trả lời chính xác cho một câu hỏi không ai đặt ra. Đó là vấn đề chọn mẫu, không phải vấn đề diễn đạt. Nó cũng không thể khắc phục việc có quá ít lượt trả lời, vốn là vấn đề cỡ mẫu.
Cũng nên phân biệt hai từ hay bị dùng lẫn lộn. Bảng câu hỏi là công cụ đo, tức danh sách các mục hỏi và phương án trả lời. Khảo sát là toàn bộ nghiên cứu bao quanh nó: bạn hỏi ai, tiếp cận họ thế nào và làm gì với dữ liệu. Nếu bạn cần toàn bộ quy trình, hãy xem hướng dẫn của chúng tôi về thiết kế nghiên cứu khảo sát. Trang này chỉ tập trung vào công cụ đo.
7 bước thiết kế bảng câu hỏi
Người dùng tìm kiếm “bảy bước” nhiều hơn bất kỳ con số nào khác, và các danh sách hiện ra phần lớn là bản sao của một bài blog năm 2006 của một công ty dịch vụ mà trang gốc đã không còn. Vì vậy trình tự dưới đây không phải danh sách đó. Đây là quy trình xây dựng mà tài liệu phương pháp luận khảo sát thực sự mô tả16, 17, 20, được chia tại bảy điểm mà công việc thực sự thay đổi tính chất, kèm hai điều mà các bản sao kia bỏ sót: mỗi bước tạo ra gì và mỗi bước thường thất bại ở đâu.
| Bước | Điều bạn quyết định | Điều bạn tạo ra | Thường thất bại ở đâu |
|---|---|---|---|
| 1. Quyết định trước tiên | Kết quả phải giúp quyết định điều gì | Một danh sách ngắn các quyết định và những so sánh đứng sau chúng | Bắt đầu từ một chủ đề, nên không có gì cho bạn biết khi nào ngừng thêm mục hỏi |
| 2. Mục hỏi và định dạng | Một mục hỏi cho mỗi quyết định, cùng định dạng trả lời của nó | Bản nháp danh sách mục hỏi, mỗi mục ghi kèm định dạng | Chọn định dạng theo thói quen thay vì theo phân tích bạn cần |
| 3. Diễn đạt sao cho trả lời được | Cách diễn đạt phần dẫn của mỗi câu | Phần dẫn có thuật ngữ được định nghĩa và khung thời gian rõ ràng | Hỏi điều không ai nhớ nổi, hoặc giấu hai câu hỏi trong một |
| 4. Phương án và thang đo | Bộ phương án trả lời cho mọi mục hỏi đóng | Các phương án không chồng lấn và không bỏ rơi ai | Khoảng chồng lấn, không có phương án thoát, điểm giữa không có nhãn |
| 5. Cách diễn đạt trung lập | Những từ nào đang đẩy người trả lời về một đáp án | Phần dẫn trung lập và bộ phương án cân bằng | Tính từ trong phần dẫn và danh sách đáp án một chiều |
| 6. Thứ tự và lời mở đầu | Trình tự, cách nhóm và phần mở đầu | Một công cụ đo có thứ tự rõ ràng, kèm lời mở đầu ngắn | Mục hỏi nhạy cảm đặt quá sớm, và lời mở đầu không ai đọc |
| 7. Kiểm tra thử và khảo sát thí điểm | Liệu nó có hiệu quả với người thật hay không | Công cụ đo đã chỉnh sửa và ước tính thời gian trả lời | Bỏ qua bước này, hoặc coi một vòng là đủ |
Bước 3, 4 và 5 được tách riêng ở đây vì chúng thất bại theo những cách khác nhau và được sửa bằng những cách khác nhau. Trên thực tế bạn sẽ lặp lại chúng nhiều lần. Đường nét đứt trong sơ đồ là vòng lặp quan trọng nhất: những gì kiểm tra thử phát hiện thường đưa bạn trở lại bước 3.
Bước 1. Ghi lại các quyết định trước khi viết bất kỳ câu hỏi nào
Phần lớn bảng câu hỏi dài dòng đều bắt đầu từ một chủ đề. Bảng câu hỏi tốt bắt đầu từ một quyết định. Trước khi soạn một mục hỏi, hãy viết danh sách ngắn những việc bạn sẽ làm khác đi tùy theo kết quả thu về.
Liệt kê ba đến năm quyết định
Viết chúng thành các lựa chọn, không phải chủ đề. “Lặp lại hình thức hai ngày hay chuyển sang các buổi trực tuyến ngắn” là một quyết định. “Phản hồi về đào tạo” là một chủ đề.
Xác định những so sánh bạn phải thực hiện
Nhóm, địa điểm, ca làm việc, khoảng thời gian, lần đầu so với quay lại. Các so sánh quyết định cả cách diễn đạt lẫn phương án trả lời, vì vậy hãy chốt chúng ngay bây giờ chứ đừng để sau.
Phác thảo đầu ra trên một trang
Phác họa những bảng và biểu đồ bạn thực sự định làm. Nếu bạn không vẽ được đầu ra mà một mục hỏi cung cấp dữ liệu, mục hỏi đó không có nhiệm vụ gì.
Đây là bước mà các hướng dẫn phương pháp luận đặt lên đầu, và vì cùng một lý do: đó là điều duy nhất cho bạn biết khi nào ngừng thêm câu hỏi.16, 17
Đọc từng mục hỏi nháp và hoàn thành câu này: “Nếu mọi người trả lời B thay vì A, chúng tôi sẽ ...” Nếu bạn không hoàn thành được, hãy bỏ mục hỏi đó hoặc viết lại cho đến khi hoàn thành được.
Bước 2. Biến mỗi quyết định thành một mục hỏi và chọn định dạng có chủ đích
Định dạng câu hỏi là một quyết định đo lường, không phải sở thích trình bày. Hãy chọn định dạng mà người đọc có thể trả lời và đầu ra bạn dự định có thể sử dụng.
| Nếu đầu ra là | Dùng | Phần dẫn ví dụ |
|---|---|---|
| Một con số bạn sẽ theo dõi theo thời gian | Một mục hỏi thang đánh giá đóng, có nhãn đầy đủ | “Việc hoàn tất cài đặt mà không cần trợ giúp dễ hay khó đối với bạn?” |
| Danh sách xếp theo thứ tự những việc cần sửa | Một lựa chọn, sau đó một câu hỏi tiếp nối | “Thay đổi nào sẽ giúp bạn nhiều nhất?” rồi “Vì sao là thay đổi đó?” |
| Một số đếm hoặc một tỷ lệ | Các khoảng đóng không chồng lấn | “Trong 30 ngày qua, bạn đã liên hệ bộ phận hỗ trợ bao nhiêu lần?” |
| Ngôn từ bạn chưa từng nghe | Một ô trả lời mở có mục tiêu rõ | “Lý do chính khiến bạn liên hệ hôm nay là gì?” |
| Điều kiện để trả lời các mục hỏi sau | Một câu hỏi sàng lọc kèm logic bỏ qua | “Bạn có dùng tab báo cáo trong 30 ngày qua không?” |
Mục hỏi đóng rẻ hơn khi phân tích và dễ so sánh giữa các đợt hơn. Mục hỏi mở tìm ra những điều mà danh sách phương án của bạn bỏ sót. Lý do thực tế khiến mục hỏi đóng chiếm ưu thế là chi phí: câu trả lời mở cần một bộ mã hóa và nhiều hơn một người mã hóa trước khi chúng có ý nghĩa.1 Hãy dùng một hoặc hai mục hỏi mở, đặt ở nơi chúng thực sự đáng giá, và giữ phần còn lại là câu hỏi đóng. Các hướng dẫn của chúng tôi về câu hỏi trắc nghiệm và câu hỏi mở và câu hỏi đóng đi sâu hơn vào từng định dạng.
Một lưu ý về thang đo mức độ đồng ý. Nếu bạn có thể hỏi trực tiếp điều cần hỏi, hãy hỏi trực tiếp. Trong một thí nghiệm trên bốn mẫu nghiên cứu, các mục hỏi có phương án trả lời gắn với đúng khái niệm nghiên cứu đạt hệ số tin cậy từ 0,87 đến 0,93, trong khi cùng nội dung đó hỏi dưới dạng nhận định đồng ý hay không đồng ý chỉ đạt 0,36 đến 0,73.4 Đó là khoảng cách lớn đối với một định dạng mà phần lớn mọi người chọn theo thói quen. Hai hiệu ứng trả lời có tên gọi giải thích phần lớn khoảng cách đó. Xu hướng thuận theo là lực kéo khiến người ta đồng ý bất kể nhận định nói gì, nên định dạng này tạo ra một độ nghiêng mà về sau bạn không thể tách ra. Trả lời cho xong là khi người đọc chỉ bỏ công vừa đủ để đưa ra một câu trả lời tạm chấp nhận được thay vì một câu trả lời chính xác, và một cột nhận định đồng ý hay không đồng ý khiến việc đó rất dễ dàng. Cả hai đều tệ hơn khi bảng câu hỏi dài hơn. Nếu bạn thực sự cần định dạng này, hãy làm theo hướng dẫn của chúng tôi về thang đo Likert.
Bước 3. Viết phần dẫn mà mọi người thực sự trả lời được
Nhiều mục hỏi tồi không phải vì mơ hồ. Chúng không thể trả lời được. Chúng đòi hỏi trí nhớ mà không ai có, hoặc kiến thức mà người trả lời chưa bao giờ được cung cấp.
Gắn khung thời gian cho mọi câu hỏi về hành vi
“Bạn có thường xuyên liên hệ bộ phận hỗ trợ không?” không có mốc neo, nên hai người có hành vi giống hệt nhau sẽ trả lời khác nhau. Hãy nêu rõ khung thời gian và chọn nó phù hợp với tần suất hành vi xảy ra.
| Bạn muốn | Khó trả lời | Trả lời được |
|---|---|---|
| Một tần suất | “Bạn có thường xuyên liên hệ bộ phận hỗ trợ không?” | “Trong 30 ngày qua, bạn đã liên hệ bộ phận hỗ trợ bao nhiêu lần?” |
| Một hành vi gần đây | “Bạn có tập thể dục đều đặn không?” | “Trong 7 ngày qua, có bao nhiêu ngày bạn tập thể dục ít nhất 30 phút?” |
| Một lần trải nghiệm | “Quá trình làm quen ban đầu có suôn sẻ không?” | “Nghĩ về lần cài đặt gần đây nhất, việc hoàn tất mà không cần trợ giúp dễ hay khó đối với bạn?” |
Dùng những từ người đọc của bạn vẫn dùng
- Chọn từ thông dụng. “Giúp” tốt hơn “hỗ trợ”. “Mua” tốt hơn “mua sắm”. Từ ngữ giản dị hơn cũng dễ dịch hơn.
- Định nghĩa mọi thuật ngữ bạn không thể tránh. Nếu mục hỏi xoay quanh “sự cố” hay “trường hợp”, hãy nói rõ ngay trong phần dẫn điều gì được tính.
- Viết đầy đủ từ viết tắt một lần. Sau đó mới dùng lại. Đừng mặc định rằng mọi người đều hiểu cách viết tắt nội bộ.
- Hỏi điều gì đã xảy ra, không hỏi vì sao. Mọi người có thể kể lại sự việc. Họ thường không thể nêu nguyên nhân bên trong tổ chức của bạn.
Mỗi mục hỏi một ý
Một mục hỏi giấu hai câu hỏi sẽ tạo ra câu trả lời bạn không đọc được. Người rất thích giá nhưng ghét chất lượng không có phương án trung thực nào, và dù họ chọn gì, bạn cũng không biết nửa nào đã quyết định câu trả lời.
Bạn hài lòng đến mức nào với giá và chất lượng?
Thay vào đó là hai mục hỏi. “Bạn hài lòng đến mức nào với chất lượng?” và “Bạn hài lòng đến mức nào với giá?”
Cần thẳng thắn về bằng chứng ở đây. Tách câu hỏi kép gần như là quy tắc phổ quát, nhưng tài liệu thực nghiệm trực tiếp đứng sau nó còn mỏng và mới. Thử nghiệm rõ ràng nhất cho thấy một mục hỏi kép và bản viết lại chỉ một ý không đo cùng một thứ, và phiên bản một ý có độ giá trị cao hơn.15 Hãy coi quy tắc này là hợp lý và có cơ sở tốt, chứ không phải một phát hiện đã được khẳng định suốt bốn mươi năm như các hiệu ứng diễn đạt ở bước 5.
Bước 4. Xây dựng phương án trả lời và thang đo mà bạn phân tích được
Rất nhiều bảng câu hỏi thất bại ở danh sách đáp án chứ không phải ở phần dẫn. Hai phép thử bắt được phần lớn lỗi. Các phương án không được chồng lấn, và không được để ai thiếu một lựa chọn trung thực.
Bạn bao nhiêu tuổi? 18 đến 30, 30 đến 40, 40 đến 55, 55 trở lên
Bạn bao nhiêu tuổi? 18 đến 29, 30 đến 39, 40 đến 54, 55 trở lên, Không muốn trả lời
Thang đánh giá
| Lựa chọn | Nên làm gì | Vì sao |
|---|---|---|
| Số điểm trên thang | Năm đến bảy điểm cho thái độ | Độ tin cậy và độ giá trị tăng mạnh cho đến khoảng bảy điểm, sau đó chững lại, và độ tin cậy kiểm tra lặp lại giảm trở lại khi vượt quá mười điểm.5, 1 |
| Nhãn | Gắn nhãn cho mọi điểm khi có thể | Chỉ có con số thì dễ bị hiểu lệch. Hai người hiểu “6 trên 10” khác nhau; cả hai đều hiểu “Khá dễ” như nhau. |
| Chiều thang | Giữ nguyên từ đầu đến cuối | Đảo chiều giữa bảng câu hỏi tạo ra những cú nhấp nhầm trông như thay đổi quan điểm thật. |
| Điểm giữa | Có điểm giữa khi trung lập là một lập trường thực sự | Bỏ điểm giữa không làm lộ ra một khuynh hướng tiềm ẩn. Mọi người chọn ngẫu nhiên quanh vị trí lẽ ra là điểm giữa.1 |
| Không áp dụng | Tách riêng khỏi điểm giữa | Nếu không, những người không thể đánh giá sẽ bị tính là trung lập, âm thầm làm lệch giá trị trung bình của bạn. |
Điểm giữa và “không biết” không phải hai công tắc độc lập như phần lớn lời khuyên vẫn coi. Đưa phương án “không biết” bên cạnh điểm giữa đã làm tỷ lệ chọn điểm giữa giảm khoảng 7 đến 17 điểm phần trăm tùy mục hỏi.6 Nói cách khác, một phần đáng kể trong nhóm trung lập của bạn là những người không có ý kiến, chứ không phải những người ở giữa. Hãy quyết định cả hai phương án cùng lúc. Hướng dẫn của chúng tôi về câu hỏi thang đánh giá trình bày chi tiết cách bố trí.
Ở một mục hỏi về thái độ, 15 phần trăm chọn phương án “không biết” khi phương án này được đưa ra. Ở các mục hỏi liên quan trong cùng buổi phỏng vấn mà không có phương án đó, chỉ 3 và 4 phần trăm không đưa ra câu trả lời thực chất, và những câu trả lời đó vẫn dự đoán được cách mọi người bỏ phiếu sau này.7 Một lối thoát dễ dàng sẽ được dùng, và một phần những gì nó thu được vốn là ý kiến thật.
Bước 5. Giữ cách diễn đạt trung lập và kiểm tra sai lệch
Đây là bước có nhiều bằng chứng nhất và hiệu ứng đo được lớn nhất. Các thí nghiệm chia đôi mẫu nghiên cứu đã làm kết quả thay đổi hàng chục điểm phần trăm trên cùng một quan điểm gốc, chỉ bằng cách đổi từ ngữ.
Trong General Social Survey năm 1985, 65,2 phần trăm người Mỹ nói rằng chi tiêu cho “trợ giúp người nghèo” là quá ít. Khi được hỏi về cùng những chương trình đó dưới nhãn “phúc lợi xã hội”, chỉ 19,8 phần trăm nói là quá ít. Đó là khoảng cách 45 điểm chỉ vì một từ, và kết quả lặp lại vào năm sau với 62,8 so với 23,1.2, 3
Cách đóng khung vấn đề cũng có tác dụng tương tự. Mức ủng hộ hành động quân sự ở Iraq là 68 phần trăm, và giảm xuống 43 phần trăm khi cùng câu hỏi đó thêm vào “ngay cả khi điều đó có nghĩa là lực lượng Hoa Kỳ có thể chịu hàng nghìn thương vong”.8
Đây là các thí nghiệm chia đôi mẫu nghiên cứu: hai nửa ngẫu nhiên của cùng một cuộc khảo sát, mỗi nửa một cách diễn đạt. Chính thiết kế đó biến “cách diễn đạt có ảnh hưởng” từ một ý kiến thành một phép đo.
Cần loại bỏ những gì
| Kiểu lỗi | Có dẫn dắt | Trung lập |
|---|---|---|
| Tính từ trong phần dẫn | “Đội ngũ hỗ trợ xuất sắc của chúng tôi đã giúp ích cho bạn đến mức nào?” | “Đội ngũ hỗ trợ của chúng tôi giúp ích hay không giúp ích cho bạn đến mức nào?” |
| Chỉ đưa ra một chiều | “Việc đăng ký đã gây bực bội cho bạn đến mức nào?” | “Việc đăng ký dễ hay khó đối với bạn?” |
| Danh sách đáp án một chiều | “Bạn hài lòng đến mức nào?” chỉ với các phương án tích cực | Số phương án tiêu cực và tích cực bằng nhau |
| Mặc định hành vi | “Bạn dùng tab báo cáo như thế nào?” | “Bạn có dùng tab báo cáo trong 30 ngày qua không?” |
Sai lệch cũng đến từ người trả lời, không chỉ từ cách diễn đạt. Ba thói quen gây phần lớn thiệt hại. Mong muốn được đánh giá tốt là trả lời theo cách trông đẹp hơn. Xu hướng thuận theo là đồng ý bất kể nhận định nói gì. Trả lời cho xong là chỉ bỏ công vừa đủ để đưa ra một câu trả lời tạm chấp nhận được, thay vì một câu trả lời chính xác. Hướng dẫn của chúng tôi về sai lệch trả lời trình bày cả ba.
Bước 6. Sắp xếp thứ tự mục hỏi, rồi viết lời mở đầu ngắn
Thứ tự không phải chuyện hình thức. Một câu hỏi trước có thể làm thay đổi câu trả lời cho câu hỏi sau, và hiệu ứng đó đo được. Mức ủng hộ thỏa thuận pháp lý cho các cặp đôi đồng giới là 45 phần trăm khi mục hỏi đứng sau một câu hỏi về hôn nhân, và 37 phần trăm khi nó đứng riêng.9 Mục hỏi không hề thay đổi, chỉ có điều đứng trước nó là khác.
Một trình tự hiệu quả
Câu hỏi sàng lọc
Xác nhận người đó đủ điều kiện trước khi hỏi bất cứ điều gì khác. Chuyển tất cả những người còn lại thẳng đến cuối.
Khởi động
Các mục hỏi dễ, mang tính sự kiện, cho thấy bảng câu hỏi nói về điều họ quen thuộc.
Các khối chính
Nhóm theo chủ đề. Giữ cùng một thang đo trong một khối để không ai phải làm quen lại.
Chẩn đoán
Những lý do và trở ngại giải thích các mức đánh giá phía trên.
Mục hỏi nhạy cảm và phân nhóm
Đặt cuối cùng, và chỉ những mục bạn thực sự sẽ dùng. Xem câu hỏi nhân khẩu học để biết các mẫu diễn đạt.
Kết thúc
Một ô mở “còn điều gì khác không”, sau đó là lời cảm ơn và cho biết điều gì sẽ diễn ra tiếp theo.
Lời mở đầu bạn có thể sao chép
Giữ trong năm dòng. Mọi người đến để trả lời, không phải để đọc.
Mục đích: Chúng tôi thu thập ý kiến phản hồi để cải thiện [quy trình hoặc dịch vụ].
Thời gian: Khoảng [X] phút.
Quyền riêng tư: Câu trả lời của bạn được [ẩn danh hoặc bảo mật], và [ai] sẽ xem kết quả.
Tự nguyện: Bạn có thể bỏ qua bất kỳ câu hỏi nào.
Liên hệ: Có thắc mắc? [tên và email].
Hãy cẩn thận với thời gian ước tính, vì nó làm thay đổi ai sẽ tham gia. Khi cùng một bảng câu hỏi được thông báo dài 10, 20 hoặc 30 phút, tỷ lệ người bắt đầu giảm từ 75 xuống 64,9 rồi 62,4 phần trăm, và tỷ lệ người bắt đầu làm xong giảm từ 68,2 xuống 56,8 rồi 46,8 phần trăm.10 Nêu rõ độ dài là việc nên làm. Chỉ cần bảo đảm con số đó do bước kiểm tra thử của bạn tạo ra.
Hãy nói rõ ai xem câu trả lời gốc và bạn lưu giữ chúng bao lâu, và bảo đảm điều đó khớp với cam kết về quyền riêng tư thực tế của bạn. Sự đồng ý và sự rõ ràng về mục đích là một phần của quá trình xây dựng bảng câu hỏi, không phải thủ tục giấy tờ gắn thêm về sau.17
Bước 7. Kiểm tra thử với con người, khảo sát thí điểm với dữ liệu, rồi triển khai
Đây là lúc bảng câu hỏi thực sự được cải thiện. Kiểm tra thử cho bạn biết mọi người nghĩ mục hỏi có nghĩa là gì. Khảo sát thí điểm cho bạn biết dữ liệu trông ra sao khi họ trả lời. Đó là hai việc khác nhau và bạn cần cả hai.16, 19 Hãy dựng bản khảo sát thí điểm bằng công cụ tạo khảo sát miễn phí của chúng tôi và kiểm thử thứ tự câu hỏi, phương án trả lời và nhánh rẽ trên điện thoại trước khi chia sẻ với toàn bộ mẫu nghiên cứu.
Đọc to
Nhờ một người đọc to từng mục hỏi. Bất cứ chỗ nào họ vấp, đọc lại hoặc diễn đạt lại đều là chỗ cần viết lại.
Thăm dò ý nghĩa
Hỏi “câu hỏi này có nghĩa gì với bạn?” và “làm sao bạn đi đến câu trả lời đó?” Bạn đang kiểm tra mức độ hiểu, không phải ý kiến.
Bấm giờ
Ghi lại thời gian thực sự cần để trả lời. Con số đó sẽ đưa vào lời mở đầu, và nó thường dài hơn bạn đoán.
Viết lại và làm thêm vòng nữa
Với một công cụ đo mới, một vòng hiếm khi đủ. Sửa, rồi kiểm tra các chỗ đã sửa với một người mới.
Cần bao nhiêu buổi phỏng vấn kiểm tra thử
Nhiều hơn bạn nghĩ. Mô hình hóa việc kiểm tra thử bằng phỏng vấn nhận thức cho thấy các vấn đề thực sự của câu hỏi vẫn tiếp tục lộ ra khi số buổi phỏng vấn tăng lên, không có điểm bão hòa rõ ràng nào để bạn có thể yên tâm dừng lại.14 Hãy coi mọi con số cố định là ngân sách chứ không phải mức bao phủ, và dùng nó cho những người giống với người trả lời thực tế của bạn.
Khảo sát thí điểm để làm gì
- Độ bao phủ của phương án. Nếu “Khác” hoặc “Không muốn trả lời” được chọn nhiều, danh sách của bạn đang thiếu điều gì đó.
- Cách dùng thang đo. Câu trả lời dồn về một đầu thường có nghĩa là cách diễn đạt đã đẩy chúng về đó.
- Trả lời theo một hàng thẳng. Câu trả lời giống hệt nhau cho cả một khối. Trong dữ liệu panel, hiện tượng này chiếm từ 15 đến 40 phần trăm ở những khối mà đó là kiểu trả lời hợp lý, và dưới 2 phần trăm ở những khối không phải vậy.13
- Logic. Xác nhận mọi người chỉ thấy những câu hỏi tiếp nối áp dụng cho họ.
- Điểm bỏ dở. Ghi lại mục hỏi mà mọi người rời đi. Vấn đề thường nằm ở chính mục hỏi đó, không phải ở độ dài.
Đây là hai con số trả lời hai câu hỏi khác nhau, và coi con số này là con số kia là sai lầm phổ biến và tốn kém. Ba mươi người là đủ để phơi bày một danh sách phương án hỏng, một phần dẫn mà không ai đọc giống ai, hoặc một nhánh logic không bao giờ kích hoạt. Khảo sát thí điểm chỉ để làm vậy thôi. Nó còn xa mới đủ để ước tính một tỷ lệ phần trăm, hay để phân biệt hai nhóm với bất kỳ mức chắc chắn nào. Hãy sửa công cụ đo bằng khảo sát thí điểm, rồi xác định quy mô nghiên cứu thật một cách riêng biệt với hướng dẫn của chúng tôi về cỡ mẫu.
Hãy dự trù một tỷ lệ trả lời khiêm tốn khi bạn triển khai: với các panel trực tuyến chọn mẫu phi xác suất, tỷ lệ từ 10 phần trăm trở xuống giờ đã phổ biến.21
Ví dụ minh họa: một bảng câu hỏi, xây dựng qua cả bảy bước
Mọi hướng dẫn về chủ đề này đều cho thấy từng câu hỏi riêng lẻ được sửa. Gần như không hướng dẫn nào cho thấy một bảng câu hỏi được xây dựng. Vì vậy, dưới đây là một bảng câu hỏi hoàn chỉnh, từ quyết định ở trên cùng đến công cụ đo ở dưới cùng, áp dụng lần lượt các bước ở trên.
Một nhóm vận hành khoảng 40 người đã tham gia khóa đào tạo an toàn hai ngày vào tháng 5. Ban quản lý phải chọn hình thức cho đợt tiếp theo, và không ai có dữ liệu. Đó là toàn bộ yêu cầu. Giờ hãy đi qua các bước.
| Bước | Kết quả tạo ra ở đây |
|---|---|
| 1. Quyết định trước tiên | Ba quyết định: giữ hình thức hai ngày hay chuyển sang các buổi trực tuyến ngắn; viết lại học phần nào trước; tài liệu có thực sự được dùng trong công việc hay không. Mọi thứ dưới đây đều truy về một trong ba quyết định này. |
| 2. Mục hỏi và định dạng | Chín mục hỏi. Hai câu đếm dạng đóng, hai thang đánh giá có nhãn, ba danh sách một lựa chọn, một ô mở có mục tiêu, một ô mở kết thúc. Một câu hỏi sàng lọc ở đầu. |
| 3. Diễn đạt sao cho trả lời được | Mọi mục hỏi về hành vi đều có khung thời gian rõ ràng (“trong 30 ngày kể từ khóa đào tạo”). “Danh sách kiểm tra” được định nghĩa ngay trong phần dẫn thay vì mặc định là ai cũng hiểu. |
| 4. Phương án và thang đo | Các câu đếm dùng khoảng không chồng lấn. Cả hai thang đánh giá dùng cùng năm điểm theo cùng một chiều. “Tôi chưa dùng” được tách riêng khỏi điểm giữa. |
| 5. Bỏ yếu tố dẫn dắt | “Danh sách kiểm tra mới tuyệt vời hữu ích đến mức nào” được đổi thành “Hữu ích hay không hữu ích đến mức nào”. Mục hỏi về hình thức đưa ra cả hai phương án cùng “cách nào cũng được” và “không cách nào phù hợp”, nên không đẩy về một đáp án được ưu tiên. |
| 6. Thứ tự và lời mở đầu | Câu hỏi sàng lọc, rồi hành vi, rồi các thang đánh giá, rồi quyết định về hình thức, rồi trở ngại, rồi ca làm việc, rồi ô mở kết thúc. Ca làm việc nằm gần cuối vì đó là mục hỏi duy nhất mà mọi người có thể không muốn trả lời. |
| 7. Kiểm tra thử và khảo sát thí điểm | Đọc to với bốn người. Hai người hiểu “danh sách kiểm tra” là một tài liệu khác, nên câu 2 được thêm cụm “danh sách kiểm tra một trang trong Học phần 2”. Chỉ một chỗ sửa đó đã đủ chứng minh giá trị của bước 7. |
Bảng câu hỏi hoàn chỉnh
Chín mục hỏi và một câu hỏi sàng lọc. Hãy sao chép, rồi thay các danh từ. Đừng sao chép thời gian ước tính: hãy lấy con số đó từ buổi đọc to của chính bạn.
Bảng câu hỏi sau đào tạo: 10 mục hỏi
- Câu 0. Bạn có tham dự khóa đào tạo an toàn ngày 12 và 13 tháng 5 không? Một lựa chọn, câu hỏi sàng lọcĐây là câu hỏi sàng lọc, không phải câu khởi động. Ai trả lời “Không” cần được chuyển thẳng đến cuối. Thiếu câu này, bạn không thể phân biệt người không tham dự với người tham dự nhưng không hài lòng.
- Câu 1. Trong 30 ngày kể từ khóa đào tạo, bạn đã dùng danh sách kiểm tra một trang trong Học phần 2 cho công việc thực tế bao nhiêu lần? Một lựa chọn, số lầnKhung thời gian rõ ràng và tài liệu được gọi tên. Các khoảng không chồng lấn, nên người đã dùng ba lần chỉ có đúng một chỗ để chọn. Riêng mục hỏi này đã trả lời quyết định thứ ba.
- Câu 2. Danh sách kiểm tra dễ hay khó dùng trong công việc thực tế? Thang đánh giá năm điểm, có nhãn đầy đủ1Rất khó2345Rất dễCả hai chiều đều có trong phần dẫn, nên không có gì bị gợi ý. “Tôi chưa dùng” nằm ngoài thang đo thay vì bên trong, nên những người không thể đánh giá không bị tính là trung lập.
- Câu 3. Phần nào của khóa đào tạo khó theo dõi nhất? Một lựa chọn, có phương án thoátMục hỏi này trả lời quyết định thứ hai. “Không có phần nào khó theo dõi” quan trọng ngang với các học phần: thiếu nó, mọi người buộc phải nêu một vấn đề có thể không tồn tại.
- Câu 4. Điều gì khiến phần đó khó theo dõi? Trả lời mở, chỉ hiện nếu ở câu 3 đã chọn một học phầnCâu trả lời ngắn gọnMục hỏi mở duy nhất xứng đáng có mặt. Nó nhắm vào một câu trả lời cụ thể, phần lớn mọi người sẽ không gặp câu này, và đó là thứ duy nhất cho bạn biết cách viết lại học phần.
- Câu 5. Nếu khóa đào tạo này được tổ chức lại, hình thức nào giúp bạn tham dự đầy đủ? Một lựa chọn, cân bằngMục hỏi quyết định. Nó hỏi về khả năng tham dự, điều mọi người trả lời được, thay vì sở thích, điều dễ dẫn đến phỏng đoán. “Cách nào cũng được” và “không cách nào phù hợp” đều là câu trả lời thật và đều dẫn đến hành động cụ thể.
- Câu 6. Điều gì sẽ khiến bạn khó tham dự? Chọn tất cả các phương án phù hợp. Nhiều lựa chọn, có phương án thoátChọn tất cả tốn công sức, nên hãy dùng hạn chế. Ở đây nó hợp lý vì các trở ngại cộng dồn: một người có thể gặp hai trở ngại cùng lúc, và buộc chọn một câu trả lời sẽ che giấu điều đó.
- Câu 7. Khả năng bạn giới thiệu khóa đào tạo này cho một người trong nhóm là cao hay thấp? Thang đánh giá năm điểm, cùng thang với câu 21Rất thấp2345Rất caoCùng năm điểm, cùng chiều với câu 2. Dùng lại một thang đo nghĩa là không ai phải làm quen lại, và hai mục hỏi có thể đặt cạnh nhau trên cùng một biểu đồ.
- Câu 8. Bạn thường làm ca nào? Một lựa chọn, đặt ở cuốiGần cuối, vì đó là mục hỏi duy nhất mà mọi người có thể không muốn trả lời. Nó có mặt chỉ vì kế hoạch phân tích có so sánh giữa các ca. Nếu không, nó sẽ bị bỏ.
- Câu 9. Còn điều gì khác chúng tôi nên biết trước khi chọn hình thức không? Trả lời mở, không bắt buộcKhông bắt buộcÔ kết thúc. Nó bắt được những gì danh sách phương án bỏ sót, và là lời cảnh báo sớm rẻ nhất bạn có được về một câu hỏi lẽ ra bạn nên đặt ra.
Các phương án trả lời ở trên chỉ để hiển thị, không bấm chọn được. Đó là hình ảnh của công cụ đo, không phải một biểu mẫu hoạt động. Không có gì ở đây thu thập dữ liệu. Khi in, phần ghi chú bị lược bỏ và bạn nhận được riêng mười mục hỏi, vì vậy chức năng “lưu thành PDF” của trình duyệt sẽ biến trang này thành một tài liệu bạn có thể phát cho mọi người.
Công cụ đo này được viết cho ví dụ ở trên. Nếu không muốn bắt đầu từ trang trắng, bạn có thể bắt đầu từ một mẫu có sẵn và đổi các mục hỏi cho phù hợp với quyết định của riêng bạn.
Kiểm tra một mục hỏi bạn đã viết
Dán vào một câu hỏi bạn đang soạn. Công cụ này chạy đúng những bước kiểm tra mà các bước ở trên mô tả và cho bạn biết mục hỏi vi phạm những điểm nào. Đây là danh sách kiểm tra, không phải phán quyết: nó đọc các mẫu từ ngữ, không đọc được ý định của bạn, và một mục hỏi bị đánh dấu đôi khi lại là mục hỏi đúng.
Thiết kế cho tệp phân tích, không phải cho trang trình chiếu
Ràng buộc này áp dụng ở mọi bước, vì thế nó không phải một trong bảy bước. Bảng câu hỏi cũng là một bản đặc tả dữ liệu. Nếu không đếm được câu trả lời một cách gọn gàng, bạn sẽ mất hàng tuần dọn dẹp và nhận về một con số không thể bảo vệ.
- Mỗi khái niệm nghiên cứu một cột. Nếu bạn quan tâm cả tốc độ lẫn độ chính xác, hãy đo chúng bằng hai mục hỏi. Các khái niệm nghiên cứu đã gộp thì về sau không tách ra được.
- Chuẩn hóa khung thời gian. Trộn “tuần trước” ở một mục hỏi với “năm ngoái” ở mục kế tiếp khiến hai mục không thể đặt chung trên một biểu đồ.
- Mã hóa sẵn mọi thứ bạn sẽ dùng để phân nhóm. Tên phòng ban nhập tự do sẽ về thành bốn mươi cách viết của sáu phòng ban. Hãy đưa ra một danh sách.
- Quyết định thế nào là thiếu dữ liệu trước khi triển khai. Bỏ qua, “không muốn trả lời” và “không áp dụng” là ba điều khác nhau, và chúng cần ba mã khác nhau.
Hãy lập kế hoạch so sánh và độ chính xác cùng lúc. Ngay cả một công cụ đo hoàn hảo cũng không cứu được một nghiên cứu thu quá ít câu trả lời để phân biệt hai nhóm, đó là vấn đề cỡ mẫu, còn ngưỡng để một khác biệt được coi là thật là vấn đề ý nghĩa thống kê.
Thiết kế cho điện thoại, không phải cho chiếc laptop bạn dùng để soạn
Ràng buộc xuyên suốt thứ hai. Hãy giả định người trả lời dùng điện thoại, kết nối di động và bị gián đoạn giữa chừng.
Với cùng một công cụ đo, trả lời trên điện thoại chậm hơn trên máy tính. Trong một thí nghiệm chéo mà cùng những người trả lời trên cả hai thiết bị, thời gian hoàn thành trung vị là 17,7 phút trên điện thoại thông minh so với 10,5 phút trên PC.11 Tức là lâu hơn 69 phần trăm cho nội dung giống hệt nhau, nên bảng câu hỏi được bấm giờ trên laptop là đang được bấm giờ trên sai thiết bị.
Giả định theo phản xạ rằng câu trả lời trên điện thoại kém hơn chỉ đúng một phần, và cần nói cho chính xác. Một so sánh trực tiếp cho thấy người trả lời trên điện thoại viết câu trả lời mở ngắn hơn và bỏ qua nhiều mục hỏi hơn, nhưng chính người trả lời trên PC mới là những người trả lời theo một hàng thẳng nhiều hơn ở các câu hỏi dạng lưới.12 Vấn đề của điện thoại là công sức và sự gián đoạn, không phải sự cẩu thả.
- Chia nhỏ các lưới. Một ma trận rộng trên màn hình nhỏ là kiểu bố trí tệ nhất có thể, và đó chính là nơi việc trả lời theo một hàng thẳng xảy ra.
- Giữ phương án đủ ngắn để không xuống dòng. Phương án dài hai dòng không còn so sánh được trong nháy mắt.
- Chỉ hiện câu hỏi tiếp nối khi chúng phù hợp với người trả lời. Logic bỏ qua khiến bảng câu hỏi có cảm giác ngắn đi nhiều hơn so với việc cắt bớt mục hỏi.
- Làm vùng chạm thật rộng rãi. Nút chọn có khoảng cách thực sự giữa chúng, không xếp dày đặc.
- Chỉ dùng thanh tiến độ nếu nó trung thực. Một thanh tiến độ nhảy lùi vì logic bỏ qua còn tệ hơn không có thanh nào.
Bảng câu hỏi là định tính hay định lượng?
Cả hai, tùy vào những gì bạn đưa vào. Công cụ đo không phải là phương pháp. Bảng câu hỏi gồm các mục hỏi đóng với phương án cố định tạo ra dữ liệu định lượng. Bảng câu hỏi gồm các gợi ý mở tạo ra dữ liệu định tính. Phần lớn công cụ đo thực tế có cả hai, và sai lầm không nằm ở việc không chọn, mà ở việc không quyết định.
| Lựa chọn thiết kế | Mục tiêu định lượng | Mục tiêu định tính |
|---|---|---|
| Điều bạn muốn tìm | Bao nhiêu, mấy người, khác nhau thế nào giữa các nhóm | Vì sao, theo lời của ai, và những gì bạn chưa nghĩ tới để hỏi |
| Mục hỏi | Chủ yếu là câu hỏi đóng, định dạng cố định từ trước | Chủ yếu là gợi ý mở kèm câu hỏi tiếp nối |
| Quy tắc diễn đạt | Giống hệt nhau cho mọi người, không ngoại lệ | Nhất quán, nhưng một gợi ý có thể mời người trả lời nói thêm |
| Bao nhiêu người | Đủ cho các so sánh bạn dự định thực hiện | Đủ để câu trả lời mới không còn thêm chủ đề mới |
| Đầu ra | Số đếm, tỷ lệ phần trăm, khác biệt giữa các nhóm | Chủ đề đã mã hóa, trích dẫn, giả thuyết để kiểm định tiếp |
| Rủi ro chính | Câu trả lời chính xác cho một câu hỏi diễn đạt tồi | Câu trả lời phong phú mà bạn không có cách mã hóa nhất quán |
Với một dự án nghiên cứu, dạng kết hợp thường là lựa chọn đúng: một nhóm nhỏ mục hỏi đóng đảm nhận phần đo lường, và một hai gợi ý mở để giải thích các con số. Bước thay đổi nhiều nhất là bước 2, vì câu trả lời mở cần một bộ mã hóa, và bộ mã hóa cần nhiều hơn một người mã hóa trước khi có thể tin cậy.1 Nếu bạn đang chọn dạng nghiên cứu chứ không phải các mục hỏi, quyết định đó thuộc về một cấp cao hơn, trong thiết kế nghiên cứu khảo sát.
Quy tắc nào đã được chứng minh, quy tắc nào chỉ được lặp lại
Lời khuyên về bảng câu hỏi được sao chép từ trang này sang trang khác cho đến khi mọi quy tắc nghe đều chắc chắn như nhau. Thực ra không phải vậy. Một số quy tắc dựa trên hàng chục năm thí nghiệm chia đôi mẫu nghiên cứu. Một số khác chỉ dựa trên một nghiên cứu gần đây, và vài con số đang lưu hành rộng rãi không dựa trên điều gì cả. Dưới đây là mức độ vững chắc thực sự của từng nhận định trên trang này.
| Nhận định | Con số | Mức | Nguồn |
|---|---|---|---|
| Cách diễn đạt làm thay đổi kết quả | 65,2% so với 19,8% nói chi tiêu “quá ít”, cho cùng những chương trình mang nhãn “trợ giúp người nghèo” hoặc “phúc lợi xã hội” | A | Rasinski 1989; Smith 19872, 3 |
| Cách đóng khung làm thay đổi kết quả | 68% so với 43% ủng hộ, có và không có mệnh đề về thương vong | A | Pew Research Center8 |
| Thứ tự làm thay đổi kết quả | 45% so với 37% ủng hộ, cùng mục hỏi, khác vị trí | A | Pew Research Center 20039 |
| Phương án gắn với mục hỏi tốt hơn đồng ý hay không đồng ý | Độ tin cậy 0,87 đến 0,93 so với 0,36 đến 0,73 | A | Saris và cộng sự 20104 |
| Độ dài được thông báo làm thay đổi mức tham gia | Tỷ lệ hoàn thành trong số người bắt đầu giảm từ 68,2% xuống 56,8% rồi 46,8% với thời lượng thông báo 10, 20 và 30 phút | A | Galesic và Bosnjak 200910 |
| Phương án “không biết” được đưa ra thì sẽ được chọn | 15% chọn phương án này; chỉ 3% và 4% bỏ qua các mục hỏi tương đương khi không có nó | A | Gilljam và Granberg 19937 |
| Trả lời trên điện thoại lâu hơn | Trung vị 17,7 so với 10,5 phút, cùng những người, trên cả hai thiết bị | A | Antoun và cộng sự 201711 |
| Năm đến bảy điểm trên thang | Các chỉ số tăng đến khoảng 7 điểm rồi chững lại; độ tin cậy giảm trở lại khi vượt quá 10 | B | Preston và Colman 20005, 1 |
| Phương án “không biết” kéo mọi người ra khỏi điểm giữa | Tỷ lệ chọn điểm giữa giảm khoảng 7 đến 17 điểm | B | Wetzelhutter 20206 |
| Trả lời theo một hàng thẳng phổ biến ở nơi nó hợp lý | 15% đến 40% ở các khối hợp lý, dưới 2% ở nơi khác | B | Schonlau và Toepoel 201513 |
| Câu trả lời trên điện thoại không đơn giản là kém hơn | Câu trả lời mở ngắn hơn trên điện thoại, nhưng trả lời theo một hàng thẳng nhiều hơn trên PC | B | Mavletova 201312 |
| Tách mục hỏi kép | Không có tỷ lệ phần trăm rõ ràng; hai phiên bản không đo cùng một thứ | B | Menold 202015 |
| Kiểm tra thử không có điểm dừng an toàn | Vấn đề tiếp tục xuất hiện khi số buổi phỏng vấn tăng lên | B | Blair và Conrad 201114 |
Ý nghĩa các mức: A thí nghiệm đã được lặp lại hoặc tổng hợp từ toàn bộ tài liệu. B một nghiên cứu vững chắc. C được lặp lại rộng rãi nhưng còn tranh cãi hoặc không truy được nguồn, vì thế không có nhận định nào trên trang này mang mức này.
Những con số chúng tôi cố ý không dùng
Mỗi con số dưới đây đều phổ biến trong lời khuyên về bảng câu hỏi. Chúng tôi đã truy nguồn từng con số và loại bỏ chúng.
“Khoảng chú ý giờ chỉ còn 8 giây, ngắn hơn cá vàng”
Bắt nguồn từ một báo cáo marketing năm 2015 trích dẫn một trang web sản xuất nội dung hàng loạt, mà khi các nhà báo hỏi thì trang này không đưa ra được nguồn của chính mình.24 Phép so sánh với cá vàng cũng là bịa đặt.
“Năm đến bảy buổi phỏng vấn kiểm tra thử phát hiện 75 đến 85 phần trăm vấn đề”
Đây là một kết quả kiểm thử khả năng sử dụng về lỗi phần mềm22 bị đem áp sang phỏng vấn nhận thức. Nghiên cứu khảo sát thực tế không tìm thấy điểm bão hòa nào như vậy.14
“Tỷ lệ trả lời khảo sát trung bình là [chọn một con số]”
Có ít nhất bốn con số không tương thích đang lưu hành, mỗi con số ngầm định nghĩa khác nhau về việc ai được hỏi. Thay vào đó, đã có các khoảng giá trị có cơ sở theo từng loại mẫu nghiên cứu.21
“Giữ dưới 10 phút, không thì bạn sẽ mất người trả lời”
Chiều hướng thì đúng, nhưng không có vách đứng nào. Đường cong đo được là một độ dốc đều từ 10 đến 30 phút được thông báo, không có ngưỡng nào.10
“Bảy cộng trừ hai, nên hãy dùng thang 7 điểm”
Bài báo năm 1956 của Miller nói về trí nhớ ngắn hạn đối với danh sách, không phải về việc một người phân biệt được bao nhiêu điểm trên một thang đo.23 Dù sao thì bằng chứng thực sự về số điểm trên thang cũng đưa bạn đến năm đến bảy điểm.5
“Câu hỏi kép làm hỏng dữ liệu của bạn”
Quy tắc đúng, bằng chứng mỏng. Chúng tôi chỉ tìm được một thử nghiệm ngẫu nhiên chuyên biệt về nó, so với hàng chục thử nghiệm về hiệu ứng diễn đạt và thứ tự.15 Chúng tôi nói rõ điều đó ở bước 3 thay vì khẳng định quá mức.
Những trường hợp đặc biệt âm thầm làm hỏng bảng câu hỏi
Mục hỏi nhạy cảm
Thu nhập, sức khỏe, vấn đề về hiệu suất làm việc, và bất cứ điều gì quản lý có thể đọc. Khi mức tin tưởng thấp, những mục này làm tăng cả việc bỏ dở lẫn khai báo sai. Hãy đặt chúng ở cuối, nói trong một dòng lý do bạn hỏi, và đưa ra cách từ chối thực sự. “Không muốn trả lời” là dữ liệu. Một ô trống thì không.
“Không áp dụng” không phải là “trung lập”
Đừng để những người không thể đánh giá rơi vào giữa thang đo của bạn. Hãy cho họ một phương án riêng nằm ngoài thang đo, hoặc dùng logic bỏ qua để đưa họ qua mục hỏi đó. Nếu không, giá trị trung bình của bạn sẽ dịch chuyển vì một lý do chẳng liên quan gì đến ý kiến.
Hiệu ứng thứ tự trong danh sách dài
Trên màn hình, các phương án gần đầu một danh sách dài được chọn nhiều hơn. Hãy xáo trộn ngẫu nhiên thứ tự các thương hiệu, lý do và vấn đề, và chỉ giữ cố định thứ tự ở nơi nó có ý nghĩa, chẳng hạn một thang tần suất hoặc một loạt ngày tháng.
Câu phủ định
“Bạn có đồng ý rằng quá trình làm quen ban đầu không khó không?” buộc người đọc phải xử lý hai lần phủ định trước khi trả lời. Hãy viết phiên bản khẳng định và để thang đo thể hiện chiều hướng.
Dịch thuật
Tránh thành ngữ, ẩn dụ thể thao và cách nói tắt địa phương, vì chúng không giữ được qua bản dịch và loại trừ những người đọc dùng ngôn ngữ của bạn như ngôn ngữ thứ hai. Nếu dịch, hãy dùng phương pháp dịch ngược, và nhờ người hiểu cả chủ đề chứ không chỉ ngôn ngữ rà soát.
Các đợt lặp lại
Nếu bạn định so sánh đợt này với đợt sau, hãy cố định cách diễn đạt ngay bây giờ. Cải thiện một mục hỏi giữa các đợt nghĩa là thay đổi bạn đo được có thể chính là do bạn sửa. Giữ cách diễn đạt cũ, thêm cách diễn đạt tốt hơn bên cạnh trong một đợt, rồi mới chuyển hẳn.
Danh sách rà soát trước khi bạn gửi bất cứ thứ gì
Danh sách rà soát bảng câu hỏi
- Quyết định. Mọi mục hỏi đều truy về một quyết định bạn đã ghi lại ở bước 1.
- Định dạng. Định dạng của mỗi mục hỏi được chọn theo đầu ra mà nó cung cấp dữ liệu, không theo thói quen.
- Khung thời gian. Mọi mục hỏi về hành vi đều nêu một khoảng thời gian, và khoảng đó phù hợp với hành vi.
- Thuật ngữ. Biệt ngữ được định nghĩa trong phần dẫn. Từ viết tắt được viết đầy đủ một lần.
- Một ý. Không mục hỏi nào giấu hai thuộc tính, hai đối tượng hay hai khung thời gian.
- Phương án. Các khoảng không chồng lấn, danh sách bao quát các câu trả lời thực tế, và có phương án thoát.
- Thang đo. Cùng số điểm, cùng chiều, có nhãn, và “không áp dụng” nằm ngoài thang đo.
- Diễn đạt trung lập. Không có tính từ trong phần dẫn, và đưa ra cả hai chiều.
- Thứ tự. Câu hỏi sàng lọc trước, mục hỏi nhạy cảm sau, mỗi khối một thang đo.
- Lời mở đầu. Mục đích, thời gian trung thực, quyền riêng tư, tính tự nguyện, liên hệ. Năm dòng.
- Điện thoại. Đã mở trên điện thoại thật, không có lưới rộng, không có phương án xuống dòng.
- Đọc to. Một người ngoài dự án đã đọc mọi mục hỏi và hiểu từng mục đúng như dự định.
- Thời gian. Con số trong lời mở đầu đến từ buổi đọc to đó, không phải từ phỏng đoán.
- Mã. Bỏ qua, từ chối và không áp dụng có ba mã riêng biệt.
Câu hỏi thường gặp
Bước đầu tiên khi thiết kế bảng câu hỏi là gì?
Ghi lại những quyết định mà kết quả phải hỗ trợ. Không phải chủ đề, mà là các quyết định. Cho đến khi bạn nói được mình sẽ làm khác đi điều gì tùy theo câu trả lời, bạn không có cách nào phân biệt mục hỏi cần thiết với mục hỏi không bắt buộc, và bản nháp cứ dài ra cho đến khi có người chán.
Bảng câu hỏi và khảo sát khác nhau thế nào?
Bảng câu hỏi là công cụ đo: danh sách các mục hỏi và phương án trả lời của chúng. Khảo sát là toàn bộ nghiên cứu bao quanh nó, gồm việc bạn hỏi ai, tiếp cận họ thế nào, cần bao nhiêu người và làm gì với kết quả. Bạn có thể thực hiện một cuộc khảo sát với nhiều bảng câu hỏi, và dùng cùng một bảng câu hỏi trong nhiều cuộc khảo sát.
Một bảng câu hỏi nên có bao nhiêu câu hỏi?
Càng ít càng tốt, chỉ đủ cho những gì các quyết định của bạn đòi hỏi. Chạy theo một con số mục tiêu là sai hướng; hãy nhắm đến thời gian hoàn thành, và lấy con số đó từ buổi đọc to của chính bạn thay vì một quy tắc ước chừng. Độ dài được thông báo ảnh hưởng đến việc ai tham gia: trong một thí nghiệm có kiểm soát, tỷ lệ hoàn thành trong số người đã bắt đầu giảm từ 68,2 phần trăm khi thông báo 10 phút xuống 46,8 phần trăm khi thông báo 30 phút.
Hoàn thành một bảng câu hỏi nên mất bao lâu?
Đủ ngắn để thời gian được thông báo không làm mọi người nản, và đủ trung thực để khớp với thực tế. Không có vách đứng nào ở một phút cụ thể. Mối quan hệ đo được là mức tham gia giảm đều khi độ dài được thông báo tăng lên, nên mỗi mục hỏi bạn giữ lại đều làm bạn mất đi một chút lượt trả lời, và bạn nên nói được mỗi mục mang lại điều gì.
Bảng câu hỏi là định tính hay định lượng?
Có thể là một trong hai, và phần lớn có một chút của cả hai. Mục hỏi đóng với phương án cố định tạo ra dữ liệu định lượng. Gợi ý mở tạo ra dữ liệu định tính. Điều quan trọng là quyết định một mục hỏi dùng cho mục đích nào trước khi viết nó, vì hai loại cần quy tắc diễn đạt khác nhau, số người trả lời khác nhau và cách phân tích hoàn toàn khác nhau.
Tôi có nên đặt điểm giữa trung lập trên thang đánh giá không?
Hãy đặt khi “trung lập” là một lập trường thực sự về điều bạn đang đo. Bỏ điểm giữa không buộc một ý kiến tiềm ẩn lộ ra; mọi người chọn gần như ngẫu nhiên trong các điểm sát giữa. Hãy quyết định về điểm giữa và phương án “không biết” cùng lúc, vì đưa ra phương án “không biết” làm tỷ lệ chọn điểm giữa giảm khoảng 7 đến 17 điểm phần trăm.
Khi nào tôi nên đưa ra phương án “Không biết”?
Khi người trả lời có thể thực sự không có thông tin, chẳng hạn tên một gói, một ngày tháng hay một chi tiết kỹ thuật. Tránh dùng cho các câu hỏi về trải nghiệm của chính họ, nơi gần như ai cũng trả lời được. Một lối thoát dễ dàng sẽ được dùng: ở một mục hỏi về thái độ, 15 phần trăm chọn “không biết” khi phương án này được đưa ra, trong khi chỉ 3 đến 4 phần trăm bỏ qua các mục hỏi tương đương không có phương án đó.
Tôi nên dùng bao nhiêu câu hỏi mở?
Một hoặc hai, đặt ở nơi chúng thực sự đáng giá, thường là câu hỏi tiếp nối cho một câu trả lời đóng cụ thể và là ô tổng hợp ở cuối. Câu trả lời mở là cách duy nhất để nghe được những gì danh sách phương án của bạn bỏ sót, nhưng chúng cần một bộ mã hóa và nhiều hơn một người mã hóa trước khi kết quả có ý nghĩa, và chi phí đó là có thật.
Làm sao kiểm tra một bảng câu hỏi trước khi gửi đi?
Qua hai lượt. Kiểm tra thử đánh giá mức độ hiểu: nhờ mọi người đọc to từng mục hỏi và cho bạn biết họ nghĩ nó có nghĩa gì và họ đã chọn câu trả lời thế nào. Khảo sát thí điểm là một đợt chạy thật quy mô nhỏ để kiểm tra dữ liệu: điểm bỏ dở, độ bao phủ của phương án, cách dùng thang đo và liệu kế hoạch phân tích của bạn có thực sự khả thi. Hãy kiểm tra thử trước, vì đó là bước làm thay đổi cách diễn đạt.
Loại thiết kế nghiên cứu nào sử dụng bảng câu hỏi?
Bảng câu hỏi là công cụ thu thập dữ liệu, không phải một thiết kế, nên nó xuất hiện trong nhiều thiết kế. Nghiên cứu cắt ngang dùng bảng câu hỏi tại một thời điểm duy nhất. Nghiên cứu xu hướng và nghiên cứu panel lặp lại bảng câu hỏi theo thời gian. Thí nghiệm dùng bảng câu hỏi để đo kết quả sau một tác động. Chọn giữa các thiết kế đó là quyết định về thiết kế nghiên cứu, nằm ở cấp cao hơn cách diễn đạt các mục hỏi.
Làm sao để thẩm định một bảng câu hỏi?
Một vài mục hỏi mới đo điều gì đó cụ thể cần được kiểm tra thử, không cần thẩm định tâm trắc học. Một thang đo nhằm đo điều gì đó trừu tượng, và được so sánh giữa các nhóm hoặc được người khác dùng lại, cần nhiều hơn: chuyên gia rà soát nội dung, một khảo sát thí điểm đủ lớn để kiểm tra các mục hỏi có gắn kết với nhau không, và bằng chứng cho thấy điểm số liên hệ với một yếu tố bên ngoài theo đúng cách bạn dự đoán. Nếu đã có một công cụ đo được thẩm định cho khái niệm nghiên cứu của bạn, hãy dùng nó thay vì tự viết.
Cách hướng dẫn này được xây dựng và những gì nó không đề cập
Trình tự bảy bước tuân theo quy trình xây dựng được mô tả trong tài liệu phương pháp luận về bảng câu hỏi16, 17, 18, 20 chứ không theo khung của riêng một nhà cung cấp nào. Mọi con số trích dẫn trên trang này đều đến từ một thí nghiệm đã công bố hoặc một báo cáo phương pháp luận chính thức, được liệt kê bên dưới. Mỗi con số đều được chấm mức trước khi dùng, và mức đó được ghi cạnh nhận định trong bảng bằng chứng.
Những nhận định mà chúng tôi không truy được về nguồn gốc đã bị loại bỏ, và những nhận định phổ biến nhất trong số đó được nêu tên trong mục “những con số chúng tôi cố ý không dùng” để bạn nhận ra chúng ở nơi khác. Ở chỗ một quy tắc hợp lý nhưng bằng chứng trực tiếp còn mỏng, chẳng hạn việc tách mục hỏi kép, trang này nói rõ điều đó thay vì mượn độ tin cậy từ một phát hiện vững chắc hơn.
Phần lớn bằng chứng thực nghiệm ở đây đến từ các cuộc khảo sát thực hiện tại Hoa Kỳ và Tây Âu, chủ yếu trên mẫu nghiên cứu dân số chung và panel trực tuyến. Mức độ ảnh hưởng của diễn đạt và thứ tự sẽ không giữ nguyên khi áp dụng cho mọi ngôn ngữ, chủ đề hay tổng thể, và không bằng chứng nào được kiểm nghiệm trên chính người trả lời của bạn. Hãy coi các con số là bằng chứng cho thấy những hiệu ứng này có thật và có thể lớn, chứ không phải hằng số để bạn đem thay vào.
Ví dụ minh họa là một tình huống dựng sẵn nhằm thể hiện cả bảy bước ở cùng một chỗ. Đó không phải báo cáo về một nghiên cứu thật, và buổi kiểm tra thử được mô tả trong đó chỉ mang tính minh họa.
Trang này đề cập đến công cụ đo. Trang này không đề cập việc hỏi ai, hỏi bao nhiêu người hay phân tích những gì thu về thế nào. Đó là những việc riêng, được trình bày trong chọn mẫu, cỡ mẫu và ý nghĩa thống kê.
SuperSurvey làm phần mềm khảo sát, nên chúng tôi có lợi ích thương mại khi mọi người thực hiện khảo sát. Hướng dẫn này được đọc miễn phí, và lời khuyên trong đó áp dụng cho mọi nền tảng khảo sát. Công cụ kiểm tra mục hỏi chạy hoàn toàn trong trình duyệt của bạn và không gửi đi bất cứ thứ gì. Các liên kết đến công cụ tạo và thư viện mẫu của chúng tôi là những cách để đưa bảng câu hỏi vào thực tế.
Tài liệu tham khảo
- Krosnick, J. A., & Presser, S. (2010). Question and questionnaire design. In P. V. Marsden & J. D. Wright (Eds.), Handbook of Survey Research (2nd ed., ch. 9). Emerald.
- Rasinski, K. A. (1989). The effect of question wording on public support for government spending. Public Opinion Quarterly, 53(3), 388-394. doi.org/10.1086/269158
- Smith, T. W. (1987). That which we call welfare by any other name would smell sweeter. Public Opinion Quarterly, 51(1), 75-83. doi.org/10.1086/269015
- Saris, W. E., Revilla, M., Krosnick, J. A., & Shaeffer, E. M. (2010). Comparing questions with agree/disagree response options to questions with item-specific response options. Survey Research Methods, 4(1), 61-79. doi.org/10.18148/srm/2010.v4i1.2682
- Preston, C. C., & Colman, A. M. (2000). Optimal number of response categories in rating scales. Acta Psychologica, 104(1), 1-15. doi.org/10.1016/S0001-6918(99)00050-5
- Wetzelhutter, D. (2020). Scale-sensitive response behavior: consequences of offering versus omitting a "don't know" option and/or a middle category. Survey Practice, 13(1). doi.org/10.29115/SP-2020-0012
- Gilljam, M., & Granberg, D. (1993). Should we take don't know for an answer? Public Opinion Quarterly, 57(3), 348-357. doi.org/10.1086/269380
- Pew Research Center. Writing survey questions. Methods explainer. pewresearch.org/writing-survey-questions
- Pew Research Center (2003, November 18). Religious beliefs underpin opposition to homosexuality, Part 2: Gay marriage. pewresearch.org/politics/2003/11/18/part-2-gay-marriage
- Galesic, M., & Bosnjak, M. (2009). Effects of questionnaire length on participation and indicators of response quality in a web survey. Public Opinion Quarterly, 73(2), 349-360. doi.org/10.1093/poq/nfp031
- Antoun, C., Couper, M. P., & Conrad, F. G. (2017). Effects of mobile versus PC web on survey response quality. Public Opinion Quarterly, 81(S1), 280-306. doi.org/10.1093/poq/nfw088
- Mavletova, A. (2013). Data quality in PC and mobile web surveys. Social Science Computer Review, 31(6), 725-743. doi.org/10.1177/0894439313485201
- Schonlau, M., & Toepoel, V. (2015). Straightlining in web survey panels over time. Survey Research Methods, 9(2), 125-137. doi.org/10.18148/srm/2015.v9i2.6128
- Blair, J., & Conrad, F. G. (2011). Sample size for cognitive interview pretesting. Public Opinion Quarterly, 75(4), 636-658. doi.org/10.1093/poq/nfr035
- Menold, N. (2020). Double barreled questions: an analysis of the similarity of elements and effects on measurement quality. Journal of Official Statistics, 36(4), 855-886. doi.org/10.2478/jos-2020-0041
- Rattray, J., & Jones, M. C. (2007). Essential elements of questionnaire design and development. Journal of Clinical Nursing, 16(2), 234-243. doi.org/10.1111/j.1365-2702.2006.01573.x
- Boparai, J. K., Singh, S., & Kathuria, P. (2019). How to design and validate a questionnaire: a guide. Current Clinical Pharmacology, 13(4), 210-215. doi.org/10.2174/1574884713666180807151328
- Slattery, E. L., Voelker, C. C. J., Nussenbaum, B., Rich, J. T., Paniello, R. C., & Neely, J. G. (2011). A practical guide to surveys and questionnaires. Otolaryngology-Head and Neck Surgery, 144(6), 831-837. doi.org/10.1177/0194599811399724
- Edwards, P. (2010). Questionnaires in clinical trials: guidelines for optimal design and administration. Trials, 11, 2. doi.org/10.1186/1745-6215-11-2
- Stone, D. H. (1993). Design a questionnaire. BMJ, 307(6914), 1264-1266. pmc.ncbi.nlm.nih.gov/articles/PMC1679392
- American Association for Public Opinion Research (2022). Data quality metrics for online samples: considerations for study design and analysis. Báo cáo của nhóm công tác. báo cáo nhóm công tác trên aapor.org (PDF)
- Nielsen, J., & Landauer, T. K. (1993). A mathematical model of the finding of usability problems. Proceedings of ACM INTERCHI '93, 206-213. doi.org/10.1145/169059.169166
- Miller, G. A. (1956). The magical number seven, plus or minus two. Psychological Review, 63(2), 81-97. doi.org/10.1037/h0043158
- Maybin, S. (2017, March 10). Busting the attention span myth. BBC News. bbc.com/news/health-38896790
Mọi DOI ở trên đều đã được đối chiếu với hệ thống phân giải DOI, và mọi liên kết đều đã được kiểm tra còn hoạt động, vào ngày 21 tháng 8 năm 2026.