Τα βασικά σημεία
- Ξεκινήστε από μια απόφαση, όχι από ένα θέμα. Καταγράψτε τι θα κάνετε διαφορετικά ανάλογα με τις απαντήσεις. Κάθε ερώτημα που δεν μπορεί να αλλάξει μια απόφαση είναι υποψήφιο για διαγραφή.
- Μία ιδέα, ένα ερώτημα, ένα χρονικό πλαίσιο. Αν μια ερώτηση κρύβει δύο ερωτήσεις, δεν μπορείτε να ξέρετε ποιο μισό καθόρισε την απάντηση.
- Η διατύπωση μετακινεί τους αριθμούς. Ένα πείραμα διαχωρισμένου δείγματος μετέβαλε την υποστήριξη για τα ίδια κυβερνητικά προγράμματα κατά 45 ποσοστιαίες μονάδες απλώς αλλάζοντας το όνομά τους· η ουδέτερη διατύπωση είναι επομένως επιλογή μέτρησης και όχι ζήτημα ευγένειας.
- Σχεδιάστε τις απαντήσεις με την ίδια προσοχή που σχεδιάζετε την ερώτηση. Διαστήματα που επικαλύπτονται, κατηγορίες που λείπουν και ένα μεσαίο σημείο χωρίς ετικέτα κάνουν μεγαλύτερη ζημιά από μια άκομψη εκφώνηση.
- Κάντε προέλεγχο με ανθρώπους και έπειτα πιλοτική έρευνα με δεδομένα. Μια ανάγνωση φωναχτά με λίγους συμμετέχοντες εντοπίζει τις παρανοήσεις που δεν βλέπετε από τη θέση του συντάκτη.
Τι είναι η κατασκευή ερωτηματολογίου και τι δεν μπορεί να διορθώσει
Η κατασκευή ερωτηματολογίου είναι η διαδικασία με την οποία ένας ερευνητικός στόχος μετατρέπεται σε ερωτήσεις που οι άνθρωποι μπορούν να κατανοήσουν και να απαντήσουν με ακρίβεια. Περιλαμβάνει τη διατύπωση, τις επιλογές απάντησης, τη σειρά, την εισαγωγή και τη δοκιμή. Τα επτά βήματα παρακάτω δείχνουν πώς λειτουργούν μαζί αυτές οι επιλογές σε ένα ολοκληρωμένο ερωτηματολόγιο.
Ένα ερώτημα είναι καλά σχεδιασμένο όταν δύο άνθρωποι με την ίδια εμπειρία το διαβάζουν με τον ίδιο τρόπο, μπορούν να ανακαλέσουν την απάντηση από τη μνήμη τους και διαλέγουν την ίδια επιλογή για να την περιγράψουν. Ό,τι ακολουθεί είναι τρόποι να πλησιάσετε αυτόν τον στόχο.
Δύο πράγματα δεν μπορεί να διορθώσει. Δεν μπορεί να διορθώσει το λάθος κοινό: αν κάνετε τέλειες ερωτήσεις στους λάθος ανθρώπους, παίρνετε ακριβείς απαντήσεις σε μια ερώτηση που δεν έθεσε κανείς. Αυτό είναι πρόβλημα δειγματοληψίας, όχι διατύπωσης. Ούτε μπορεί να διορθώσει τις πολύ λίγες υποβολές, που είναι πρόβλημα μεγέθους δείγματος.
Αξίζει επίσης να ξεχωρίσουμε δύο λέξεις που χρησιμοποιούνται εναλλακτικά. Το ερωτηματολόγιο είναι το εργαλείο: ο κατάλογος των ερωτημάτων και των επιλογών απάντησης. Η έρευνα είναι ολόκληρη η μελέτη γύρω από αυτό: ποιους ρωτάτε, πώς τους προσεγγίζετε και τι κάνετε με τα δεδομένα. Αν χρειάζεστε την ευρύτερη διαδικασία, την καλύπτει ο οδηγός μας για τον ερευνητικό σχεδιασμό. Αυτή η σελίδα μένει στο εργαλείο.
Τα 7 βήματα της κατασκευής ερωτηματολογίου
Όσοι κάνουν αναζητήσεις ζητούν «επτά βήματα» συχνότερα από οποιονδήποτε άλλον αριθμό, και οι λίστες που εμφανίζονται είναι κυρίως αντίγραφα μιας ανάρτησης ιστολογίου ενός γραφείου του 2006, της οποίας η αρχική σελίδα δεν υπάρχει πια. Γι’ αυτό η σειρά παρακάτω δεν είναι εκείνη η λίστα. Είναι η διαδικασία ανάπτυξης που περιγράφει πράγματι η βιβλιογραφία της μεθοδολογίας ερευνών16, 17, 20, χωρισμένη στα επτά σημεία όπου η δουλειά αλλάζει πραγματικά μορφή, μαζί με τα δύο πράγματα που παραλείπουν εκείνα τα αντίγραφα: τι παράγει κάθε βήμα και πού συνήθως αποτυγχάνει.
| Βήμα | Τι αποφασίζετε | Τι παράγετε | Πού συνήθως αποτυγχάνει |
|---|---|---|---|
| 1. Πρώτα οι αποφάσεις | Τι πρέπει να κρίνουν τα αποτελέσματα | Μια σύντομη λίστα αποφάσεων και οι συγκρίσεις πίσω από αυτές | Ξεκινάτε από ένα θέμα, οπότε τίποτα δεν σας λέει πότε να σταματήσετε να προσθέτετε ερωτήματα |
| 2. Ερωτήματα και μορφές | Ένα ερώτημα ανά απόφαση και η μορφή απάντησής του | Ένας πρόχειρος κατάλογος ερωτημάτων, με τη μορφή δίπλα σε καθένα | Επιλέγετε τη μορφή από συνήθεια και όχι με βάση την ανάλυση που χρειάζεστε |
| 3. Διατύπωση που απαντιέται | Πώς διατυπώνεται κάθε εκφώνηση | Εκφωνήσεις με ορισμένους όρους και δηλωμένο χρονικό πλαίσιο | Ζητάτε ανάκληση που κανείς δεν έχει ή κρύβετε δύο ερωτήσεις σε μία |
| 4. Επιλογές και κλίμακες | Το σύνολο απαντήσεων για κάθε κλειστό ερώτημα | Επιλογές που δεν επικαλύπτονται και δεν αφήνουν κανέναν χωρίς απάντηση | Διαστήματα που επικαλύπτονται, καμία επιλογή διαφυγής, μεσαίο σημείο χωρίς ετικέτα |
| 5. Ουδέτερη διατύπωση | Ποιες λέξεις σπρώχνουν προς μια απάντηση | Ουδέτερες εκφωνήσεις και ισορροπημένα σύνολα επιλογών | Επίθετα στην εκφώνηση και μονόπλευρες λίστες απαντήσεων |
| 6. Σειρά και εισαγωγή | Σειρά, ομαδοποίηση και το εισαγωγικό κείμενο | Ένα εργαλείο με τα ερωτήματα στη σωστή σειρά και σύντομη εισαγωγή | Ευαίσθητα ερωτήματα πολύ νωρίς και μια εισαγωγή που δεν διαβάζει κανείς |
| 7. Προέλεγχος και πιλοτική έρευνα | Αν λειτουργεί σε πραγματικούς ανθρώπους | Ένα αναθεωρημένο εργαλείο και μια εκτίμηση χρόνου | Παραλείπεται ή ένας γύρος θεωρείται αρκετός |
Τα βήματα 3, 4 και 5 εμφανίζονται χωριστά εδώ, επειδή αποτυγχάνουν με διαφορετικούς τρόπους και διορθώνονται με διαφορετικές κινήσεις. Στην πράξη θα τα περάσετε περισσότερες από μία φορές. Η διακεκομμένη γραμμή στο διάγραμμα είναι ο βρόχος που μετράει περισσότερο: τα ευρήματα του προελέγχου συνήθως σας στέλνουν πίσω στο βήμα 3.
Βήμα 1. Καταγράψτε τις αποφάσεις πριν γράψετε έστω και μία ερώτηση
Τα περισσότερα φουσκωμένα ερωτηματολόγια ξεκινούν από ένα θέμα. Τα καλά ξεκινούν από μια απόφαση. Πριν γράψετε ένα ερώτημα, καταγράψτε τη σύντομη λίστα με όσα θα κάνετε διαφορετικά ανάλογα με το τι θα προκύψει.
Καταγράψτε τρεις έως πέντε αποφάσεις
Γράψτε τις ως επιλογές, όχι ως θέματα. «Επανάληψη της διήμερης μορφής ή μετάβαση σε σύντομες διαδικτυακές συνεδρίες» είναι απόφαση. «Σχόλια για την εκπαίδευση» είναι θέμα.
Ονομάστε τις συγκρίσεις που πρέπει να κάνετε
Ομάδες, τοποθεσίες, βάρδιες, χρονικές περίοδοι, νέοι έναντι επανερχόμενων. Οι συγκρίσεις καθορίζουν τόσο τη διατύπωση όσο και τις επιλογές απάντησης, γι’ αυτό αποφασίστε τες τώρα και όχι αργότερα.
Σχεδιάστε τα αποτελέσματα σε μία σελίδα
Σκιαγραφήστε τους πραγματικούς πίνακες και τα γραφήματα που περιμένετε να φτιάξετε. Αν δεν μπορείτε να σχεδιάσετε το αποτέλεσμα που τροφοδοτεί ένα ερώτημα, αυτό το ερώτημα δεν έχει λόγο ύπαρξης.
Αυτό είναι το βήμα που οι οδηγοί μεθοδολογίας βάζουν πρώτο, και για τον ίδιο λόγο: είναι το μόνο που σας λέει πότε να σταματήσετε να προσθέτετε ερωτήσεις.16, 17
Διαβάστε κάθε πρόχειρο ερώτημα και συμπληρώστε αυτή την πρόταση: «Αν όλοι απαντήσουν Β αντί για Α, θα ...» Αν δεν μπορείτε να τη συμπληρώσετε, διαγράψτε το ερώτημα ή ξαναγράψτε το μέχρι να μπορείτε.
Βήμα 2. Μετατρέψτε κάθε απόφαση σε ένα ερώτημα και επιλέξτε τη μορφή του συνειδητά
Η μορφή της ερώτησης είναι απόφαση μέτρησης, όχι προτίμηση διάταξης. Επιλέξτε τη μορφή που μπορεί να απαντήσει ο αναγνώστης και που μπορεί να αξιοποιήσει το αποτέλεσμα που σχεδιάζετε.
| Αν το αποτέλεσμα είναι | Χρησιμοποιήστε | Παράδειγμα εκφώνησης |
|---|---|---|
| Ένας αριθμός που θα παρακολουθείτε στον χρόνο | Ένα κλειστό ερώτημα αξιολόγησης, με ετικέτα σε κάθε σημείο | «Πόσο εύκολο ή δύσκολο ήταν να ολοκληρώσετε τη ρύθμιση χωρίς βοήθεια;» |
| Μια ιεραρχημένη λίστα με όσα πρέπει να διορθωθούν | Μία επιλογή και μετά μία συμπληρωματική ερώτηση | «Ποια αλλαγή θα σας βοηθούσε περισσότερο;» και μετά «Γιατί αυτή;» |
| Ένα πλήθος ή ένα ποσοστό | Κλειστά διαστήματα που δεν επικαλύπτονται | «Τις τελευταίες 30 ημέρες, πόσες φορές επικοινωνήσατε με την υποστήριξη;» |
| Διατυπώσεις που δεν έχετε ακούσει ακόμη | Ένα στοχευμένο πλαίσιο ανοιχτού κειμένου | «Ποιος ήταν ο κύριος λόγος που επικοινωνήσατε μαζί μας σήμερα;» |
| Καταλληλότητα για επόμενα ερωτήματα | Μια ερώτηση διαλογής μαζί με λογική παράλειψης | «Χρησιμοποιήσατε την καρτέλα αναφορών τις τελευταίες 30 ημέρες;» |
Τα κλειστά ερωτήματα κοστίζουν λιγότερο στην ανάλυση και συγκρίνονται ευκολότερα μεταξύ κύκλων. Τα ανοιχτά ερωτήματα βρίσκουν όσα ξέχασε η λίστα επιλογών σας. Ο πρακτικός λόγος που κυριαρχούν τα κλειστά ερωτήματα είναι το κόστος: οι ανοιχτές απαντήσεις χρειάζονται σχήμα κωδικοποίησης και περισσότερους από έναν κωδικοποιητές πριν αποκτήσουν νόημα.1 Χρησιμοποιήστε ένα ή δύο ανοιχτά ερωτήματα, εκεί όπου πραγματικά αποδίδουν, και κρατήστε τα υπόλοιπα κλειστά. Οι οδηγοί μας για τις ερωτήσεις πολλαπλής επιλογής και τις ερωτήσεις ανοιχτού και κλειστού τύπου εμβαθύνουν σε κάθε μορφή.
Μια προειδοποίηση για τις κλίμακες συμφωνίας. Αν μπορείτε να ρωτήσετε κάτι ευθέως, ρωτήστε το ευθέως. Σε ένα πείραμα με τέσσερα δείγματα, τα ερωτήματα με επιλογές απάντησης ειδικές για την εννοιολογική κατασκευή που μετρούσαν έφτασαν συντελεστές αξιοπιστίας 0,87 έως 0,93, ενώ το ίδιο περιεχόμενο διατυπωμένο ως δηλώσεις συμφωνίας ή διαφωνίας έφτασε μόνο 0,36 έως 0,73.4 Είναι μεγάλη διαφορά για μια μορφή που οι περισσότεροι επιλέγουν από συνήθεια. Δύο γνωστά φαινόμενα απόκρισης εξηγούν μεγάλο μέρος της. Η συναινετική απόκριση είναι η τάση να συμφωνεί κανείς ό,τι κι αν λέει η δήλωση, οπότε η μορφή προσθέτει μια κλίση που δεν μπορείτε να διαχωρίσετε εκ των υστέρων. Η ελάχιστη προσπάθεια (satisficing) είναι όταν ο αναγνώστης κάνει μόνο όση δουλειά χρειάζεται για μια απάντηση που «περνάει» και όχι για μια ακριβή, και μια στήλη από δηλώσεις συμφωνίας ή διαφωνίας το κάνει αυτό πολύ εύκολο. Και τα δύο χειροτερεύουν όσο μεγαλώνει το ερωτηματολόγιο. Αν χρειάζεστε οπωσδήποτε αυτή τη μορφή, ακολουθήστε τις οδηγίες μας για την κλίμακα Likert.
Βήμα 3. Γράψτε μια εκφώνηση που οι άνθρωποι μπορούν πράγματι να απαντήσουν
Πολλά κακά ερωτήματα δεν είναι ασαφή. Είναι αδύνατο να απαντηθούν. Ζητούν ανάκληση που κανείς δεν έχει ή γνώσεις που ο συμμετέχων δεν απέκτησε ποτέ.
Δώστε σε κάθε ερώτηση συμπεριφοράς ένα χρονικό πλαίσιο
Το «Πόσο συχνά επικοινωνείτε με την υποστήριξη;» δεν έχει σημείο αναφοράς, οπότε δύο άνθρωποι με την ίδια ακριβώς συμπεριφορά θα απαντήσουν διαφορετικά. Ορίστε το χρονικό πλαίσιο και προσαρμόστε το στο πόσο συχνά συμβαίνει η συμπεριφορά.
| Θέλετε | Δύσκολο να απαντηθεί | Απαντιέται |
|---|---|---|
| Μια συχνότητα | «Πόσο συχνά επικοινωνείτε με την υποστήριξη;» | «Τις τελευταίες 30 ημέρες, πόσες φορές επικοινωνήσατε με την υποστήριξη;» |
| Μια πρόσφατη συμπεριφορά | «Γυμνάζεστε τακτικά;» | «Τις τελευταίες 7 ημέρες, πόσες ημέρες γυμναστήκατε για τουλάχιστον 30 λεπτά;» |
| Ένα μεμονωμένο περιστατικό | «Ήταν ομαλή η διαδικασία έναρξης;» | «Με βάση την πιο πρόσφατη ρύθμιση που κάνατε, πόσο εύκολο ή δύσκολο ήταν να την ολοκληρώσετε χωρίς βοήθεια;» |
Χρησιμοποιήστε τις λέξεις που χρησιμοποιούν οι αναγνώστες σας
- Προτιμήστε την κοινή λέξη. Το «βοήθεια» είναι καλύτερο από το «αρωγή». Το «αγοράζω» είναι καλύτερο από το «προμηθεύομαι». Οι απλούστερες λέξεις μεταφράζονται επίσης ευκολότερα.
- Ορίστε κάθε όρο που δεν μπορείτε να αποφύγετε. Αν το ερώτημα εξαρτάται από τη λέξη «συμβάν» ή «περίπτωση», πείτε μέσα στην ίδια την εκφώνηση τι μετράει ως τέτοιο.
- Αναλύστε ένα ακρωνύμιο μία φορά. Μετά χρησιμοποιήστε το ξανά. Μην υποθέτετε ότι όλοι γνωρίζουν τις εσωτερικές συντομογραφίες σας.
- Ρωτήστε τι συνέβη, όχι γιατί. Οι άνθρωποι μπορούν να αναφέρουν γεγονότα. Συνήθως δεν μπορούν να αναφέρουν τις αιτίες μέσα στον οργανισμό σας.
Μία ιδέα ανά ερώτημα
Ένα ερώτημα που κρύβει δύο ερωτήσεις δίνει μια απάντηση που δεν μπορείτε να ερμηνεύσετε. Όποιος λάτρεψε την τιμή και μίσησε την ποιότητα δεν έχει καμία ειλικρινή επιλογή, και ό,τι κι αν διαλέξει, δεν θα ξέρετε ποιο μισό καθόρισε την απάντηση.
Πόσο ικανοποιημένοι είστε από την τιμή και την ποιότητα;
Αντί γι’ αυτό, δύο ερωτήματα: «Πόσο ικανοποιημένοι είστε από την ποιότητα;» και «Πόσο ικανοποιημένοι είστε από την τιμή;»
Αξίζει να είμαστε ειλικρινείς για τα δεδομένα εδώ. Ο διαχωρισμός των διπλών ερωτήσεων είναι σχεδόν καθολικός κανόνας, αλλά η άμεση πειραματική βιβλιογραφία που τον στηρίζει είναι περιορισμένη και πρόσφατη. Η σαφέστερη δοκιμή βρήκε ότι ένα διπλό ερώτημα και η αναδιατύπωσή του με μία ιδέα δεν μετρούσαν το ίδιο πράγμα και ότι η εκδοχή με μία ιδέα ήταν πιο έγκυρη.15 Αντιμετωπίστε τον κανόνα ως βάσιμο και καλά τεκμηριωμένο, όχι ως εδραιωμένο εύρημα σαράντα ετών όπως τα φαινόμενα διατύπωσης του βήματος 5.
Βήμα 4. Φτιάξτε επιλογές απάντησης και κλίμακες που μπορείτε να αναλύσετε
Πολλά ερωτηματολόγια αποτυγχάνουν στη λίστα απαντήσεων και όχι στην εκφώνηση. Δύο έλεγχοι εντοπίζουν τα περισσότερα προβλήματα. Οι επιλογές δεν πρέπει να επικαλύπτονται και δεν πρέπει να αφήνουν κανέναν χωρίς ειλικρινή επιλογή.
Πόσων ετών είστε; 18 έως 30, 30 έως 40, 40 έως 55, 55 και άνω
Πόσων ετών είστε; 18 έως 29, 30 έως 39, 40 έως 54, 55 ή περισσότερα, Προτιμώ να μην απαντήσω
Κλίμακες αξιολόγησης
| Επιλογή | Τι να κάνετε | Γιατί |
|---|---|---|
| Αριθμός σημείων | Πέντε έως επτά για στάσεις και απόψεις | Η αξιοπιστία και η εγκυρότητα ανεβαίνουν απότομα μέχρι περίπου τα επτά σημεία, μετά σταθεροποιούνται, και η αξιοπιστία επαναληπτικής μέτρησης πέφτει ξανά πάνω από τα δέκα.5, 1 |
| Ετικέτες | Βάλτε ετικέτα σε κάθε σημείο όταν μπορείτε | Οι σκέτοι αριθμοί μετατοπίζονται. Δύο άνθρωποι διαβάζουν διαφορετικά το «6 στα 10»· και οι δύο διαβάζουν το ίδιο το «Αρκετά εύκολο». |
| Κατεύθυνση | Κρατήστε την ίδια σε όλο το ερωτηματολόγιο | Η αλλαγή κατεύθυνσης στη μέση του ερωτηματολογίου προκαλεί λάθος κλικ που μοιάζουν με πραγματικές αλλαγές γνώμης. |
| Μεσαίο σημείο | Συμπεριλάβετέ το όταν η ουδέτερη θέση είναι πραγματική θέση | Η αφαίρεσή του δεν αποκαλύπτει κάποια κρυφή κλίση. Οι άνθρωποι διαλέγουν τυχαία κοντά στο σημείο όπου θα βρισκόταν.1 |
| Δεν ισχύει | Κρατήστε το χωριστά από το μεσαίο σημείο | Διαφορετικά, όσοι δεν μπορούν να κρίνουν μετρώνται ως ουδέτεροι, κάτι που μετακινεί αθόρυβα τον μέσο όρο σας. |
Το μεσαίο σημείο και το «δεν ξέρω» δεν είναι ανεξάρτητοι διακόπτες, όπως τα αντιμετωπίζουν οι περισσότερες συμβουλές. Όταν δόθηκε η επιλογή «δεν ξέρω» μαζί με ένα μεσαίο σημείο, το ποσοστό που διάλεγε το μεσαίο σημείο μειώθηκε κατά περίπου 7 έως 17 ποσοστιαίες μονάδες, ανάλογα με το ερώτημα.6 Με άλλα λόγια, μεγάλο μέρος των ουδέτερων απαντήσεών σας προέρχεται από ανθρώπους που δεν έχουν άποψη, όχι από ανθρώπους που βρίσκονται στη μέση. Αποφασίστε για τις δύο επιλογές μαζί. Ο οδηγός μας για τις ερωτήσεις κλίμακας αξιολόγησης καλύπτει τις λεπτομέρειες της διάταξης.
Σε ένα ερώτημα στάσης, το 15 τοις εκατό διάλεξε την επιλογή «δεν ξέρω» όταν προσφερόταν. Σε συναφή ερωτήματα της ίδιας συνέντευξης χωρίς αυτή την επιλογή, μόνο το 3 και το 4 τοις εκατό δεν έδωσαν ουσιαστική απάντηση, και αυτές οι απαντήσεις προέβλεπαν ακόμη πώς ψήφισαν αργότερα οι άνθρωποι.7 Μια εύκολη διέξοδος χρησιμοποιείται, και μέρος όσων συγκεντρώνει ήταν πραγματική άποψη.
Βήμα 5. Κρατήστε τη διατύπωση ουδέτερη και ελέγξτε τη για μεροληψία
Αυτό είναι το βήμα με τα περισσότερα τεκμήρια και τα μεγαλύτερα μετρημένα αποτελέσματα. Πειράματα διαχωρισμένου δείγματος έχουν μετακινήσει αποτελέσματα κατά δεκάδες ποσοστιαίες μονάδες για την ίδια υποκείμενη άποψη, αλλάζοντας μόνο τις λέξεις.
Στη General Social Survey του 1985, το 65,2 τοις εκατό των Αμερικανών είπε ότι δαπανώνται πολύ λίγα για τη «βοήθεια προς τους φτωχούς». Όταν ρωτήθηκαν για τα ίδια προγράμματα με την ετικέτα «κοινωνική πρόνοια» (welfare), μόνο το 19,8 τοις εκατό είπε πολύ λίγα. Πρόκειται για διαφορά 45 μονάδων από μία λέξη, και επαναλήφθηκε την επόμενη χρονιά με 62,8 έναντι 23,1.2, 3
Το πλαίσιο της ερώτησης κάνει το ίδιο. Η υποστήριξη για στρατιωτική επέμβαση στο Ιράκ ήταν 68 τοις εκατό και έπεσε στο 43 τοις εκατό όταν η ίδια ερώτηση πρόσθεσε «ακόμη κι αν αυτό σήμαινε ότι οι αμερικανικές δυνάμεις μπορεί να είχαν χιλιάδες απώλειες».8
Πρόκειται για πειράματα διαχωρισμένου δείγματος: δύο τυχαία μισά της ίδιας έρευνας, το καθένα με μία διατύπωση. Αυτός ο σχεδιασμός είναι που μετατρέπει το «η διατύπωση έχει σημασία» από γνώμη σε μέτρηση.
Τι να αφαιρέσετε
| Μοτίβο | Κατευθυνόμενη | Ουδέτερη |
|---|---|---|
| Επίθετο στην εκφώνηση | «Πόσο χρήσιμη ήταν η εξαιρετική ομάδα υποστήριξής μας;» | «Πόσο χρήσιμη ή μη χρήσιμη ήταν η ομάδα υποστήριξής μας;» |
| Προσφέρεται μόνο μία κατεύθυνση | «Πόσο εκνευριστική ήταν η εγγραφή;» | «Πόσο εύκολη ή δύσκολη ήταν η εγγραφή;» |
| Μονόπλευρη λίστα απαντήσεων | «Πόσο ικανοποιημένοι είστε;» μόνο με θετικές επιλογές | Ίσος αριθμός αρνητικών και θετικών επιλογών |
| Δεδομένη συμπεριφορά | «Πώς χρησιμοποιείτε την καρτέλα αναφορών;» | «Χρησιμοποιήσατε την καρτέλα αναφορών τις τελευταίες 30 ημέρες;» |
Η μεροληψία δεν προέρχεται μόνο από τη διατύπωση αλλά και από τον συμμετέχοντα. Τρεις συνήθειες κάνουν τη μεγαλύτερη ζημιά. Η κοινωνική επιθυμητότητα είναι η απάντηση με τον τρόπο που φαίνεται καλύτερος. Η συναινετική απόκριση είναι η συμφωνία ό,τι κι αν λέει η δήλωση. Η ελάχιστη προσπάθεια (satisficing) είναι να κάνει κανείς μόνο όση δουλειά χρειάζεται για μια απάντηση που «περνάει» και όχι για μια ακριβή. Ο οδηγός μας για τη μεροληψία απόκρισης καλύπτει και τις τρεις.
Βήμα 6. Βάλτε τα ερωτήματα σε σειρά και μετά γράψτε μια σύντομη εισαγωγή
Η σειρά δεν είναι διακοσμητική. Μια προηγούμενη ερώτηση μπορεί να αλλάξει την απάντηση σε μια επόμενη, και το φαινόμενο είναι μετρήσιμο. Η υποστήριξη για νομικές συμφωνίες συμβίωσης ομόφυλων ζευγαριών ήταν 45 τοις εκατό όταν το ερώτημα ακολουθούσε μια ερώτηση για τον γάμο και 37 τοις εκατό όταν στεκόταν μόνο του.9 Τίποτα στο ερώτημα δεν άλλαξε εκτός από ό,τι προηγούνταν.
Μια σειρά που λειτουργεί
Ερώτηση διαλογής
Επιβεβαιώστε ότι το άτομο πληροί τις προϋποθέσεις πριν το ρωτήσετε οτιδήποτε άλλο. Οδηγήστε όλους τους άλλους κατευθείαν στο τέλος.
Προθέρμανση
Εύκολα, πραγματολογικά ερωτήματα που δείχνουν ότι το ερωτηματολόγιο αφορά κάτι που αναγνωρίζουν.
Βασικές ενότητες
Ομαδοποιήστε ανά θέμα. Κρατήστε την ίδια κλίμακα μέσα σε μια ενότητα, ώστε κανείς να μη χρειάζεται να τη μάθει ξανά.
Διαγνωστικά
Οι λόγοι και τα εμπόδια που εξηγούν τις αξιολογήσεις πιο πάνω.
Ευαίσθητα ερωτήματα και τμήματα
Στο τέλος, και μόνο όσα θα χρησιμοποιήσετε πραγματικά. Δείτε τις δημογραφικές ερωτήσεις για τα μοτίβα διατύπωσης.
Κλείσιμο
Ένα ανοιχτό πλαίσιο «κάτι άλλο», έπειτα ένα ευχαριστώ και τι θα ακολουθήσει.
Μια εισαγωγή που μπορείτε να αντιγράψετε
Περιορίστε τη σε πέντε γραμμές. Οι άνθρωποι ήρθαν να απαντήσουν, όχι να διαβάσουν.
Σκοπός: Συλλέγουμε σχόλια για να βελτιώσουμε [διαδικασία ή υπηρεσία].
Χρόνος: Περίπου [X] λεπτά.
Απόρρητο: Οι απαντήσεις σας είναι [ανώνυμες ή εμπιστευτικές] και τα αποτελέσματα θα τα δει [ποιος].
Εθελοντική συμμετοχή: Μπορείτε να παραλείψετε οποιαδήποτε ερώτηση.
Επικοινωνία: Απορίες; [όνομα και email].
Προσέξτε την εκτίμηση χρόνου, γιατί αλλάζει το ποιος συμμετέχει. Όταν το ίδιο ερωτηματολόγιο ανακοινώθηκε ως διάρκειας 10, 20 ή 30 λεπτών, το ποσοστό όσων ξεκίνησαν έπεσε από 75 σε 64,9 και σε 62,4 τοις εκατό, και το ποσοστό όσων το ολοκλήρωσαν από όσους ξεκίνησαν έπεσε από 68,2 σε 56,8 και σε 46,8 τοις εκατό.10 Η αναφορά της διάρκειας είναι το σωστό. Απλώς φροντίστε ο αριθμός να προέρχεται από τον προέλεγχό σας.
Πείτε καθαρά ποιος βλέπει τις ακατέργαστες απαντήσεις και για πόσο καιρό τις κρατάτε, και βεβαιωθείτε ότι αυτό συμφωνεί με τις πραγματικές δεσμεύσεις σας για το απόρρητο. Η συγκατάθεση και η σαφήνεια για τον σκοπό είναι μέρος της ανάπτυξης του ερωτηματολογίου, όχι γραφειοκρατία που προστίθεται εκ των υστέρων.17
Βήμα 7. Κάντε προέλεγχο με ανθρώπους, πιλοτική έρευνα με δεδομένα και μετά ξεκινήστε
Εδώ είναι που τα ερωτηματολόγια βελτιώνονται πραγματικά. Ο προέλεγχος σας λέει τι πιστεύουν οι άνθρωποι ότι σημαίνει το ερώτημα. Η πιλοτική έρευνα σας λέει πώς μοιάζουν τα δεδομένα όταν το απαντούν. Είναι διαφορετικές δουλειές και χρειάζεστε και τις δύο.16, 19 Φτιάξτε την πιλοτική έρευνα στο δωρεάν εργαλείο δημιουργίας ερωτηματολογίων μας και δοκιμάστε τη σειρά των ερωτήσεων, τις επιλογές απάντησης και τις διακλαδώσεις σε κινητό πριν τη μοιραστείτε με ολόκληρο το δείγμα σας.
Διαβάστε το φωναχτά
Ζητήστε από κάποιον να διαβάσει κάθε ερώτημα φωναχτά. Ό,τι τον κάνει να σκοντάψει, να το ξαναδιαβάσει ή να το διατυπώσει αλλιώς είναι υποψήφιο για αναδιατύπωση.
Διερευνήστε το νόημα
Ρωτήστε «τι σημαίνει για εσάς αυτή η ερώτηση;» και «πώς καταλήξατε σε αυτή την απάντηση;» Ελέγχετε την κατανόηση, όχι τη γνώμη.
Χρονομετρήστε το
Καταγράψτε πόσο χρόνο παίρνει πραγματικά. Αυτός ο αριθμός μπαίνει στην εισαγωγή σας και συνήθως είναι μεγαλύτερος απ’ όσο υποθέσατε.
Ξαναγράψτε και επαναλάβετε
Ένας γύρος σπάνια αρκεί για ένα νέο εργαλείο. Διορθώστε και μετά δοκιμάστε τις διορθώσεις σε κάποιον καινούργιο.
Πόσες συνεντεύξεις προελέγχου
Περισσότερες απ’ όσες νομίζετε. Η μοντελοποίηση του προελέγχου με γνωστικές συνεντεύξεις έδειξε ότι πραγματικά προβλήματα στις ερωτήσεις συνέχιζαν να εμφανίζονται όσο αυξανόταν ο αριθμός των συνεντεύξεων, χωρίς καθαρό σημείο κορεσμού όπου μπορείτε να σταματήσετε με ασφάλεια.14 Αντιμετωπίστε κάθε σταθερό αριθμό ως προϋπολογισμό, όχι ως κάλυψη, και διαθέστε τον σε ανθρώπους που μοιάζουν με τους πραγματικούς συμμετέχοντές σας.
Σε τι χρησιμεύει η πιλοτική έρευνα
- Κάλυψη επιλογών. Αν το «Άλλο» ή το «Προτιμώ να μην απαντήσω» είναι δημοφιλή, κάτι λείπει από τη λίστα σας.
- Χρήση της κλίμακας. Απαντήσεις συγκεντρωμένες στο ένα άκρο συνήθως σημαίνουν ότι η διατύπωση τις έσπρωξε εκεί.
- Ίδια απάντηση σε όλη τη σειρά (straightlining). Πανομοιότυπες απαντήσεις σε ολόκληρη μια ενότητα. Σε δεδομένα πάνελ κυμαίνεται από 15 έως 40 τοις εκατό σε ενότητες όπου είναι εύλογο μοτίβο και κάτω από 2 τοις εκατό όπου δεν είναι.13
- Λογική. Βεβαιωθείτε ότι ο καθένας βλέπει μόνο τις συμπληρωματικές ερωτήσεις που τον αφορούν.
- Σημείο εγκατάλειψης. Σημειώστε το ερώτημα όπου οι άνθρωποι αποχωρούν. Συνήθως το πρόβλημα είναι αυτό το ερώτημα, όχι η διάρκεια.
Πρόκειται για δύο διαφορετικούς αριθμούς που απαντούν σε δύο διαφορετικά ερωτήματα, και η σύγχυσή τους είναι συνηθισμένο και ακριβό λάθος. Τριάντα άτομα αρκούν για να φανεί μια χαλασμένη λίστα επιλογών, μια εκφώνηση που ο καθένας διαβάζει αλλιώς ή ένας κλάδος λογικής που δεν ενεργοποιείται ποτέ. Μόνο γι’ αυτό υπάρχει η πιλοτική έρευνα. Δεν αρκούν σε καμία περίπτωση για να εκτιμήσετε ένα ποσοστό ή για να ξεχωρίσετε δύο ομάδες με οποιαδήποτε βεβαιότητα. Διορθώστε το εργαλείο με την πιλοτική έρευνα και μετά υπολογίστε χωριστά το μέγεθος της πραγματικής μελέτης με τον οδηγό μας για το μέγεθος δείγματος.
Υπολογίστε ένα συγκρατημένο ποσοστό απόκρισης όταν ξεκινήσετε: για τα μη πιθανοτικά διαδικτυακά πάνελ, ποσοστά 10 τοις εκατό ή χαμηλότερα είναι πλέον συνηθισμένα.21
Ένα ολοκληρωμένο παράδειγμα: ένα ερωτηματολόγιο, φτιαγμένο και στα επτά βήματα
Κάθε οδηγός για το θέμα δείχνει πώς διορθώνονται μεμονωμένες ερωτήσεις. Σχεδόν κανένας δεν δείχνει πώς χτίζεται ένα ερωτηματολόγιο. Ιδού λοιπόν ένα ολόκληρο, από την απόφαση στην αρχή μέχρι το εργαλείο στο τέλος, με τα παραπάνω βήματα στη σειρά.
Μια ομάδα λειτουργιών περίπου 40 ατόμων παρακολούθησε μια διήμερη εκπαίδευση ασφάλειας τον Μάιο. Η διοίκηση πρέπει να επιλέξει τη μορφή του επόμενου κύκλου, και κανείς δεν έχει δεδομένα. Αυτή είναι όλη η ανάθεση. Τώρα ακολουθήστε τα βήματα.
| Βήμα | Τι παρήγαγε εδώ |
|---|---|
| 1. Πρώτα οι αποφάσεις | Τρεις αποφάσεις: διατήρηση της διήμερης μορφής ή μετάβαση σε σύντομες διαδικτυακές συνεδρίες· ποια ενότητα θα ξαναγραφτεί πρώτη· αν το υλικό χρησιμοποιείται καθόλου στη δουλειά. Ό,τι ακολουθεί συνδέεται με μία από αυτές. |
| 2. Ερωτήματα και μορφές | Εννέα ερωτήματα. Δύο ερωτήματα πλήθους με κλειστά διαστήματα, δύο αξιολογήσεις με ετικέτες, τρεις λίστες μίας επιλογής, ένα στοχευμένο ανοιχτό πλαίσιο, ένα ανοιχτό πλαίσιο κλεισίματος. Μία ερώτηση διαλογής στην αρχή. |
| 3. Διατύπωση που απαντιέται | Κάθε ερώτημα συμπεριφοράς απέκτησε συγκεκριμένο χρονικό πλαίσιο («τις 30 ημέρες μετά την εκπαίδευση»). Η «λίστα ελέγχου» ορίζεται μέσα στην εκφώνηση και δεν θεωρείται δεδομένη. |
| 4. Επιλογές και κλίμακες | Οι μετρήσεις χρησιμοποιούν διαστήματα που δεν επικαλύπτονται. Και οι δύο αξιολογήσεις χρησιμοποιούν τα ίδια πέντε σημεία με την ίδια κατεύθυνση. Το «Δεν την έχω χρησιμοποιήσει ακόμη» είναι χωριστό από το μεσαίο σημείο. |
| 5. Χωρίς καθοδήγηση | Το «Πόσο χρήσιμη ήταν η εξαιρετική νέα λίστα ελέγχου» έγινε «Πόσο χρήσιμη ή όχι». Το ερώτημα της μορφής προσφέρει και τις δύο επιλογές μαζί με το «οποιαδήποτε» και το «καμία», ώστε να μη σπρώχνει προς μια προτιμώμενη απάντηση. |
| 6. Σειρά και εισαγωγή | Ερώτηση διαλογής, μετά συμπεριφορά, μετά αξιολογήσεις, μετά η απόφαση για τη μορφή, μετά το εμπόδιο, μετά η βάρδια, μετά το ανοιχτό κλείσιμο. Η βάρδια είναι κοντά στο τέλος, επειδή είναι το μόνο ερώτημα που κάποιοι μπορεί να μη θέλουν να απαντήσουν. |
| 7. Προέλεγχος και πιλοτική έρευνα | Ανάγνωση φωναχτά με τέσσερα άτομα. Δύο κατάλαβαν τη «λίστα ελέγχου» ως άλλο έγγραφο, οπότε η Ε2 απέκτησε τις λέξεις «τη λίστα ελέγχου μιας σελίδας από την Ενότητα 2». Αυτή η μία διόρθωση αρκεί ως επιχείρημα για το βήμα 7. |
Το τελικό ερωτηματολόγιο
Εννέα ερωτήματα και μια ερώτηση διαλογής. Αντιγράψτε το και αλλάξτε τα ουσιαστικά. Μην αντιγράψετε την εκτίμηση χρόνου: βγάλτε τη από τη δική σας ανάγνωση φωναχτά.
Ερωτηματολόγιο μετά την εκπαίδευση: 10 ερωτήματα
- Ε0. Παρακολουθήσατε την εκπαίδευση ασφάλειας στις 12 και 13 Μαΐου; Μία επιλογή, ερώτηση διαλογήςΕρώτηση διαλογής, όχι προθέρμανση. Όποιος απαντά «Όχι» πρέπει να οδηγείται κατευθείαν στο τέλος. Χωρίς αυτήν δεν μπορείτε να ξεχωρίσετε κάποιον που δεν παρακολούθησε από κάποιον που παρακολούθησε και έμεινε δυσαρεστημένος.
- Ε1. Τις 30 ημέρες μετά την εκπαίδευση, πόσες φορές χρησιμοποιήσατε τη λίστα ελέγχου μιας σελίδας από την Ενότητα 2 σε πραγματική εργασία; Μία επιλογή, πλήθος φορώνΣυγκεκριμένο χρονικό πλαίσιο και συγκεκριμένο έγγραφο. Τα διαστήματα δεν επικαλύπτονται, οπότε όποιος τη χρησιμοποίησε τρεις φορές έχει ακριβώς μία επιλογή. Αυτό το ερώτημα απαντά μόνο του στην τρίτη απόφαση.
- Ε2. Πόσο εύκολη ή δύσκολη ήταν η χρήση της λίστας ελέγχου σε πραγματική εργασία; Αξιολόγηση πέντε σημείων, με ετικέτα σε όλα1Πολύ δύσκολη2345Πολύ εύκοληΗ εκφώνηση περιέχει και τις δύο κατευθύνσεις, οπότε δεν υπονοείται τίποτα. Το «Δεν την έχω χρησιμοποιήσει ακόμη» βρίσκεται έξω από την κλίμακα και όχι μέσα της, ώστε όσοι δεν μπορούν να κρίνουν να μη μετρώνται ως ουδέτεροι.
- Ε3. Ποιο μέρος της εκπαίδευσης ήταν το πιο δύσκολο στην κατανόηση; Μία επιλογή, με διέξοδοΑυτό απαντά στη δεύτερη απόφαση. Το «Τίποτα δεν ήταν δύσκολο» μετράει όσο και οι ενότητες: χωρίς αυτό, όλοι αναγκάζονται να κατονομάσουν ένα πρόβλημα που ίσως δεν υπάρχει.
- Ε4. Τι έκανε αυτό το μέρος δύσκολο στην κατανόηση; Ανοιχτό κείμενο, εμφανίζεται μόνο αν επιλέχθηκε ενότητα στην Ε3Σύντομη απάντησηΤο μόνο ανοιχτό ερώτημα που αξίζει τη θέση του. Στοχεύει σε μια συγκεκριμένη απάντηση, παραλείπεται για τους περισσότερους και είναι το μόνο που θα σας πει πώς να ξαναγράψετε την ενότητα.
- Ε5. Αν η ίδια εκπαίδευση γινόταν ξανά, ποια μορφή θα σας επέτρεπε να την παρακολουθήσετε ολόκληρη; Μία επιλογή, ισορροπημένηΤο ερώτημα της απόφασης. Ρωτά για την παρακολούθηση, που οι άνθρωποι μπορούν να απαντήσουν, και όχι για την προτίμηση, που προκαλεί εικασίες. Το «οποιαδήποτε» και το «καμία» είναι και τα δύο πραγματικές απαντήσεις και οδηγούν και τα δύο σε ενέργεια.
- Ε6. Τι θα σας δυσκόλευε να παρακολουθήσετε; Επιλέξτε όλα όσα ισχύουν. Πολλαπλή επιλογή, με διέξοδοΗ επιλογή «όλα όσα ισχύουν» απαιτεί κόπο, γι’ αυτό χρησιμοποιήστε τη με φειδώ. Εδώ δικαιολογείται, επειδή τα εμπόδια αθροίζονται: κάποιος μπορεί να αντιμετωπίζει δύο ταυτόχρονα, και η υποχρεωτική μία απάντηση θα το έκρυβε.
- Ε7. Πόσο πιθανό ή απίθανο είναι να προτείνετε αυτή την εκπαίδευση σε κάποιον από την ομάδα σας; Αξιολόγηση πέντε σημείων, ίδια κλίμακα με την Ε21Πολύ απίθανο2345Πολύ πιθανόΊδια πέντε σημεία, ίδια κατεύθυνση με την Ε2. Η επαναχρησιμοποίηση μίας κλίμακας σημαίνει ότι κανείς δεν χρειάζεται να τη μάθει ξανά, και τα δύο ερωτήματα μπορούν να μπουν δίπλα δίπλα στο ίδιο γράφημα.
- Ε8. Σε ποια βάρδια εργάζεστε συνήθως; Μία επιλογή, προς το τέλοςΚοντά στο τέλος, γιατί είναι το μόνο ερώτημα που κάποιοι μπορεί να μη θέλουν να απαντήσουν. Βρίσκεται εδώ μόνο επειδή το σχέδιο ανάλυσης συγκρίνει βάρδιες. Αν δεν τις συνέκρινε, θα είχε αφαιρεθεί.
- Ε9. Υπάρχει κάτι άλλο που πρέπει να γνωρίζουμε πριν επιλέξουμε τη μορφή; Ανοιχτό κείμενο, προαιρετικόΠροαιρετικόΤο πλαίσιο κλεισίματος. Πιάνει ό,τι έχασαν οι λίστες επιλογών και είναι η φθηνότερη έγκαιρη προειδοποίηση που θα έχετε για μια ερώτηση που έπρεπε να είχατε κάνει.
Οι επιλογές απάντησης παραπάνω εμφανίζονται ενδεικτικά και δεν μπορείτε να τις επιλέξετε. Είναι εικόνα του εργαλείου, όχι φόρμα που λειτουργεί. Τίποτα εδώ δεν συλλέγει δεδομένα. Η εκτύπωση παραλείπει τις σημειώσεις και σας δίνει μόνο τα δέκα ερωτήματα, οπότε η «αποθήκευση ως PDF» του προγράμματος περιήγησής σας το μετατρέπει σε έγγραφο που μπορείτε να μοιράσετε.
Αυτό το εργαλείο γράφτηκε για το παραπάνω παράδειγμα. Αν προτιμάτε να μην ξεκινήσετε από λευκή σελίδα, μπορείτε να ξεκινήσετε από ένα υπάρχον πρότυπο και να προσαρμόσετε τα ερωτήματα στις δικές σας αποφάσεις.
Ελέγξτε ένα ερώτημα που έχετε ήδη γράψει
Επικολλήστε μια ερώτηση που επεξεργάζεστε. Το εργαλείο εκτελεί τους ίδιους ελέγχους που περιγράφουν τα παραπάνω βήματα και σας λέει ποιους από αυτούς δεν περνά η ερώτησή σας. Είναι λίστα ελέγχου, όχι ετυμηγορία: διαβάζει μοτίβα στις λέξεις, δεν μπορεί να διαβάσει την πρόθεσή σας, και ένα ερώτημα που επισημαίνεται είναι μερικές φορές το σωστό ερώτημα.
Σχεδιάστε για το αρχείο ανάλυσης, όχι για τη διαφάνεια
Αυτός ο περιορισμός ισχύει σε κάθε βήμα, γι’ αυτό δεν είναι ένα από τα επτά. Ένα ερωτηματολόγιο είναι επίσης προδιαγραφή δεδομένων. Αν οι απαντήσεις δεν μετρώνται καθαρά, έχετε εξασφαλίσει εβδομάδες τακτοποίησης και έναν αριθμό που δεν μπορείτε να υπερασπιστείτε.
- Μία εννοιολογική κατασκευή ανά στήλη. Αν σας ενδιαφέρουν η ταχύτητα και η ακρίβεια, μετρήστε τες με δύο ερωτήματα. Εννοιολογικές κατασκευές που συγχωνεύτηκαν δεν μπορούν να διαχωριστούν αργότερα.
- Τυποποιήστε τα χρονικά πλαίσια. Αν σε ένα ερώτημα βάλετε «την περασμένη εβδομάδα» και στο επόμενο «τον περασμένο χρόνο», τα δύο δεν μπορούν να μπουν στο ίδιο γράφημα.
- Κωδικοποιήστε εκ των προτέρων ό,τι θα χρησιμοποιήσετε για ομαδοποίηση. Ονόματα τμημάτων σε ελεύθερο κείμενο φτάνουν ως σαράντα γραφές για έξι τμήματα. Δώστε μια λίστα.
- Αποφασίστε τι σημαίνει «λείπει» πριν ξεκινήσετε. Η παράλειψη, το «προτιμώ να μην απαντήσω» και το «δεν ισχύει» είναι τρία διαφορετικά πράγματα και χρειάζονται τρεις διαφορετικούς κωδικούς.
Σχεδιάστε τις συγκρίσεις και την ακρίβεια ταυτόχρονα. Ούτε ένα τέλειο εργαλείο δεν μπορεί να σώσει μια μελέτη που συγκέντρωσε πολύ λίγες απαντήσεις για να ξεχωρίσει δύο ομάδες, κάτι που είναι ζήτημα μεγέθους δείγματος, και το σημείο στο οποίο μια διαφορά θεωρείται πραγματική είναι ζήτημα στατιστικής σημαντικότητας.
Σχεδιάστε για κινητά, όχι για τον φορητό υπολογιστή όπου το φτιάξατε
Ο δεύτερος οριζόντιος περιορισμός. Υποθέστε ένα κινητό, με σύνδεση δεδομένων κινητής και μια διακοπή στη μέση.
Τα κινητά είναι πιο αργά από τους υπολογιστές για το ίδιο εργαλείο. Σε ένα πείραμα διασταύρωσης όπου οι ίδιοι άνθρωποι απάντησαν και στις δύο συσκευές, ο διάμεσος χρόνος ολοκλήρωσης ήταν 17,7 λεπτά σε smartphone έναντι 10,5 λεπτών σε υπολογιστή.11 Αυτό σημαίνει 69 τοις εκατό περισσότερος χρόνος για το ίδιο περιεχόμενο, οπότε ένα ερωτηματολόγιο που χρονομετρήθηκε σε φορητό υπολογιστή χρονομετρήθηκε στη λάθος συσκευή.
Η αυτόματη υπόθεση ότι οι απαντήσεις από κινητό είναι χειρότερες ισχύει μόνο εν μέρει, και αξίζει να είμαστε ακριβείς. Μια άμεση σύγκριση βρήκε ότι όσοι απαντούσαν από κινητό έγραφαν συντομότερες ανοιχτές απαντήσεις και παρέλειπαν περισσότερα ερωτήματα, αλλά ότι όσοι απαντούσαν από υπολογιστή ήταν εκείνοι που έδιναν συχνότερα την ίδια απάντηση σε όλη τη σειρά στις ερωτήσεις πλέγματος.12 Το πρόβλημα του κινητού είναι ο κόπος και οι διακοπές, όχι η απροσεξία.
- Σπάστε τα πλέγματα. Ένα πλατύ πλέγμα σε μικρή οθόνη είναι το χειρότερο δυνατό μοτίβο, και εκεί ακριβώς εμφανίζεται η ίδια απάντηση σε όλη τη σειρά.
- Κρατήστε τις επιλογές αρκετά σύντομες ώστε να μην αναδιπλώνονται. Επιλογές που πιάνουν δύο γραμμές δεν συγκρίνονται πια με μια ματιά.
- Εμφανίζετε τις συμπληρωματικές ερωτήσεις μόνο όταν ισχύουν. Η λογική παράλειψης μειώνει την αντιληπτή διάρκεια περισσότερο από την αφαίρεση ερωτημάτων.
- Κάντε τους στόχους αφής μεγάλους. Κουμπιά επιλογής με πραγματική απόσταση μεταξύ τους, όχι μια πυκνή στοίβα.
- Χρησιμοποιήστε γραμμή προόδου μόνο αν είναι ειλικρινής. Μια γραμμή που πηγαίνει πίσω λόγω λογικής παράλειψης είναι χειρότερη από καμία γραμμή.
Είναι ένα ερωτηματολόγιο ποιοτικό ή ποσοτικό;
Και τα δύο, ανάλογα με το τι βάζετε μέσα. Το εργαλείο δεν είναι η μέθοδος. Ένα ερωτηματολόγιο από κλειστά ερωτήματα με σταθερές επιλογές παράγει ποσοτικά δεδομένα. Ένα ερωτηματολόγιο από ανοιχτές ερωτήσεις παράγει ποιοτικά δεδομένα. Τα περισσότερα πραγματικά εργαλεία κάνουν λίγο από τα δύο· το λάθος δεν βρίσκεται στο τι θα διαλέξετε, αλλά στο να μην αποφασίσετε.
| Επιλογή σχεδιασμού | Ποσοτικός στόχος | Ποιοτικός στόχος |
|---|---|---|
| Τι αναζητάτε | Πόσο, πόσοι, πώς διαφέρει μεταξύ ομάδων | Γιατί, με ποιανού τα λόγια, και τι δεν σκεφτήκατε να ρωτήσετε |
| Ερωτήματα | Κυρίως κλειστά, με μορφές καθορισμένες από πριν | Κυρίως ανοιχτές ερωτήσεις με συμπληρωματικές ερωτήσεις |
| Κανόνας διατύπωσης | Ίδια για όλους, χωρίς εξαιρέσεις | Συνεπής, αλλά μια ερώτηση μπορεί να ζητά ανάπτυξη |
| Πόσοι άνθρωποι | Αρκετοί για τις συγκρίσεις που σχεδιάζετε | Αρκετοί ώστε οι νέες απαντήσεις να μην προσθέτουν πια νέα θέματα |
| Τι προκύπτει | Πλήθη, ποσοστά, διαφορές μεταξύ ομάδων | Κωδικοποιημένα θέματα, αποσπάσματα, υποθέσεις για έλεγχο στη συνέχεια |
| Ο κύριος κίνδυνος | Ακριβείς απαντήσεις σε μια κακοδιατυπωμένη ερώτηση | Πλούσιες απαντήσεις χωρίς συνεπή τρόπο κωδικοποίησης |
Σε ένα ερευνητικό έργο, η μικτή μορφή είναι συνήθως η σωστή: ένα μικρό σύνολο κλειστών ερωτημάτων που φέρουν τη μέτρηση και μία ή δύο ανοιχτές ερωτήσεις που εξηγούν τους αριθμούς. Το βήμα που αλλάζει περισσότερο είναι το βήμα 2, γιατί οι ανοιχτές απαντήσεις χρειάζονται σχήμα κωδικοποίησης, και τα σχήματα κωδικοποίησης χρειάζονται περισσότερους από έναν κωδικοποιητές πριν τα εμπιστευτεί κανείς.1 Αν επιλέγετε τη μορφή της μελέτης και όχι τα ερωτήματα, αυτή η απόφαση ανήκει ένα επίπεδο πιο πάνω, στον ερευνητικό σχεδιασμό.
Ποιοι κανόνες είναι αποδεδειγμένοι και ποιοι απλώς επαναλαμβάνονται
Οι συμβουλές για τα ερωτηματολόγια αντιγράφονται από σελίδα σε σελίδα, ώσπου κάθε κανόνας ακούγεται εξίσου εδραιωμένος. Δεν είναι. Κάποιοι από αυτούς τους κανόνες στηρίζονται σε δεκαετίες πειραμάτων διαχωρισμένου δείγματος. Άλλοι στηρίζονται σε μία πρόσφατη μελέτη, και μερικοί από τους αριθμούς που κυκλοφορούν ευρέως δεν στηρίζονται σε τίποτα. Δείτε πού βρίσκεται πραγματικά κάθε ισχυρισμός αυτής της σελίδας.
| Ισχυρισμός | Ο αριθμός | Βαθμός | Πηγή |
|---|---|---|---|
| Η διατύπωση αλλάζει το αποτέλεσμα | 65,2% έναντι 19,8% είπαν ότι δαπανώνται «πολύ λίγα» για τα ίδια προγράμματα με την ετικέτα «βοήθεια προς τους φτωχούς» ή «κοινωνική πρόνοια» | A | Rasinski 1989· Smith 19872, 3 |
| Το πλαίσιο αλλάζει το αποτέλεσμα | Υποστήριξη 68% έναντι 43%, με και χωρίς τη φράση για τις απώλειες | A | Pew Research Center8 |
| Η σειρά αλλάζει το αποτέλεσμα | Υποστήριξη 45% έναντι 37%, ίδιο ερώτημα, διαφορετική θέση | A | Pew Research Center 20039 |
| Οι επιλογές ειδικές για το ερώτημα υπερέχουν της συμφωνίας ή διαφωνίας | Αξιοπιστία 0,87 έως 0,93 έναντι 0,36 έως 0,73 | A | Saris και συνεργάτες 20104 |
| Η δηλωμένη διάρκεια αλλάζει τη συμμετοχή | Η ολοκλήρωση μεταξύ όσων ξεκίνησαν έπεσε από 68,2% σε 56,8% και σε 46,8% για δηλωμένη διάρκεια 10, 20 και 30 λεπτών | A | Galesic και Bosnjak 200910 |
| Ένα «δεν ξέρω» που προσφέρεται χρησιμοποιείται | Το 15% το επέλεξε· μόνο το 3% και το 4% παρέλειψαν συγκρίσιμα ερωτήματα χωρίς αυτό | A | Gilljam και Granberg 19937 |
| Τα κινητά θέλουν περισσότερο χρόνο | 17,7 έναντι 10,5 λεπτά διάμεσος χρόνος, ίδιοι άνθρωποι, και οι δύο συσκευές | A | Antoun και συνεργάτες 201711 |
| Πέντε έως επτά σημεία κλίμακας | Οι δείκτες ανεβαίνουν μέχρι περίπου τα 7 σημεία και μετά σταθεροποιούνται· η αξιοπιστία πέφτει ξανά πάνω από τα 10 | B | Preston και Colman 20005, 1 |
| Η επιλογή «δεν ξέρω» απομακρύνει τους ανθρώπους από το μεσαίο σημείο | Η επιλογή του μεσαίου σημείου μειώθηκε κατά περίπου 7 έως 17 μονάδες | B | Wetzelhutter 20206 |
| Η ίδια απάντηση σε όλη τη σειρά είναι συχνή όπου είναι εύλογη | 15% έως 40% σε ενότητες όπου είναι εύλογη, κάτω από 2% αλλού | B | Schonlau και Toepoel 201513 |
| Οι απαντήσεις από κινητό δεν είναι απλώς χειρότερες | Συντομότερες ανοιχτές απαντήσεις στο κινητό, αλλά συχνότερα η ίδια απάντηση σε όλη τη σειρά στον υπολογιστή | B | Mavletova 201312 |
| Χωρίστε τις διπλές ερωτήσεις | Κανένα σαφές ποσοστό· οι δύο εκδοχές δεν μετρούσαν το ίδιο πράγμα | B | Menold 202015 |
| Ο προέλεγχος δεν έχει ασφαλές σημείο τερματισμού | Τα προβλήματα συνέχιζαν να εμφανίζονται όσο αυξάνονταν οι συνεντεύξεις | B | Blair και Conrad 201114 |
Τι σημαίνουν οι βαθμοί: A επαναλαμβανόμενο πείραμα ή σύνθεση όλης της βιβλιογραφίας. B μία ισχυρή μελέτη. C ευρέως επαναλαμβανόμενο αλλά αμφισβητούμενο ή χωρίς ανιχνεύσιμη πηγή, γι’ αυτό τίποτα σε αυτή τη σελίδα δεν έχει αυτόν τον βαθμό.
Αριθμοί που σκόπιμα δεν χρησιμοποιήσαμε
Καθένας από αυτούς είναι συνηθισμένος στις συμβουλές για ερωτηματολόγια. Αναζητήσαμε την πηγή του καθενός και τους αφήσαμε έξω.
«Η διάρκεια της προσοχής είναι πλέον 8 δευτερόλεπτα, μικρότερη από ενός χρυσόψαρου»
Προέρχεται από μια έκθεση μάρκετινγκ του 2015 που παρέπεμπε σε έναν ιστότοπο μαζικής παραγωγής περιεχομένου, του οποίου οι πηγές δεν μπόρεσαν να βρεθούν όταν τις ζήτησαν δημοσιογράφοι.24 Και η σύγκριση με το χρυσόψαρο είναι επινοημένη.
«Πέντε έως επτά συνεντεύξεις προελέγχου εντοπίζουν το 75 έως 85 τοις εκατό των προβλημάτων»
Πρόκειται για εύρημα δοκιμών ευχρηστίας για σφάλματα λογισμικού22 που μεταφέρθηκε στις γνωστικές συνεντεύξεις. Η πραγματική μελέτη για τις έρευνες δεν βρήκε τέτοιο σημείο κορεσμού.14
«Το μέσο ποσοστό απόκρισης σε έρευνες είναι [διαλέξτε έναν αριθμό]»
Κυκλοφορούν τουλάχιστον τέσσερα ασύμβατα νούμερα, το καθένα με διαφορετικό κρυφό ορισμό του ποιοι ρωτήθηκαν. Αντί γι’ αυτό, υπάρχουν τεκμηριωμένα εύρη ανά είδος δείγματος.21
«Κρατήστε το κάτω από 10 λεπτά, αλλιώς χάνετε κόσμο»
Η κατεύθυνση είναι σωστή, ο γκρεμός όχι. Η μετρημένη καμπύλη είναι μια σταθερή κλίση από 10 έως 30 δηλωμένα λεπτά, χωρίς κατώφλι.10
«Επτά συν ή πλην δύο, άρα χρησιμοποιήστε κλίμακα 7 σημείων»
Η εργασία του Miller του 1956 αφορά τη βραχυπρόθεσμη μνήμη για λίστες, όχι το πόσα σημεία μιας κλίμακας μπορεί να ξεχωρίσει κανείς.23 Τα πραγματικά δεδομένα για τα σημεία κλίμακας οδηγούν ούτως ή άλλως στα πέντε έως επτά.5
«Οι διπλές ερωτήσεις καταστρέφουν τα δεδομένα σας»
Βάσιμος κανόνας, ισχνή τεκμηρίωση. Βρήκαμε μία αποκλειστική τυχαιοποιημένη δοκιμή του, έναντι δεκάδων για τα φαινόμενα διατύπωσης και σειράς.15 Το λέμε στο βήμα 3 αντί να υπερβάλλουμε.
Ειδικές περιπτώσεις που χαλάνε αθόρυβα τα ερωτηματολόγια
Ευαίσθητα ερωτήματα
Εισόδημα, υγεία, προβλήματα απόδοσης και οτιδήποτε μπορεί να διαβάσει ένας προϊστάμενος. Αυτά αυξάνουν και τις διακοπές και τις ανακριβείς απαντήσεις όταν η εμπιστοσύνη είναι χαμηλή. Βάλτε τα προς το τέλος, εξηγήστε σε μία γραμμή γιατί ρωτάτε και προσφέρετε έναν πραγματικό τρόπο άρνησης. Το «Προτιμώ να μην απαντήσω» είναι δεδομένο. Ένα κενό δεν είναι.
Το «Δεν ισχύει» δεν είναι «ουδέτερο»
Μην αφήνετε όσους δεν μπορούν να κρίνουν να καταλήγουν στη μέση της κλίμακάς σας. Δώστε τους μια χωριστή επιλογή έξω από την κλίμακα ή παρακάμψτε για αυτούς το ερώτημα με λογική παράλειψης. Διαφορετικά ο μέσος όρος σας μετακινείται για λόγο που δεν έχει καμία σχέση με τη γνώμη.
Φαινόμενα σειράς μέσα σε μια μεγάλη λίστα
Οι επιλογές κοντά στην κορυφή μιας μεγάλης λίστας επιλέγονται συχνότερα στην οθόνη. Ανακατέψτε τυχαία τη σειρά των εμπορικών σημάτων, των λόγων και των ζητημάτων, και κρατήστε σταθερή τη σειρά μόνο όπου έχει νόημα, όπως σε μια κλίμακα συχνότητας ή ένα σύνολο ημερομηνιών.
Αρνήσεις
Το «Συμφωνείτε ότι η διαδικασία έναρξης δεν είναι δύσκολη;» αναγκάζει τον αναγνώστη να λύσει δύο αρνήσεις πριν απαντήσει. Γράψτε τη θετική εκδοχή και αφήστε την κλίμακα να δώσει την κατεύθυνση.
Μετάφραση
Αποφύγετε ιδιωματισμούς, αθλητικές μεταφορές και τοπικές συντομογραφίες, γιατί δεν επιβιώνουν στη μετάφραση και αποκλείουν τους αναγνώστες που χρησιμοποιούν τη γλώσσα σας ως δεύτερη. Αν μεταφράζετε, χρησιμοποιήστε αντίστροφη μετάφραση και ζητήστε έλεγχο από κάποιον που γνωρίζει το αντικείμενο και όχι μόνο τη γλώσσα.
Επαναλαμβανόμενοι κύκλοι
Αν σκοπεύετε να συγκρίνετε αυτόν τον κύκλο με τον επόμενο, παγώστε τη διατύπωση τώρα. Αν βελτιώσετε ένα ερώτημα ανάμεσα στους κύκλους, η αλλαγή που μετράτε μπορεί να είναι η δική σας διόρθωση. Κρατήστε την παλιά διατύπωση, προσθέστε τη βελτιωμένη δίπλα της για έναν κύκλο και μετά κάντε την αλλαγή.
Η λίστα ελέγχου πριν στείλετε οτιδήποτε
Λίστα ελέγχου ερωτηματολογίου
- Αποφάσεις. Κάθε ερώτημα συνδέεται με μια απόφαση που καταγράψατε στο βήμα 1.
- Μορφές. Η μορφή κάθε ερωτήματος επιλέχθηκε για το αποτέλεσμα που τροφοδοτεί, όχι από συνήθεια.
- Χρονικά πλαίσια. Κάθε ερώτημα συμπεριφοράς ορίζει χρονική περίοδο, και η περίοδος ταιριάζει στη συμπεριφορά.
- Όροι. Η ορολογία ορίζεται στην εκφώνηση. Τα ακρωνύμια αναλύονται μία φορά.
- Μία ιδέα. Κανένα ερώτημα δεν κρύβει δύο ιδιότητες, δύο αντικείμενα ή δύο χρονικά πλαίσια.
- Επιλογές. Τα διαστήματα δεν επικαλύπτονται, η λίστα καλύπτει τις ρεαλιστικές απαντήσεις και υπάρχει διέξοδος.
- Κλίμακες. Ίδια σημεία, ίδια κατεύθυνση, με ετικέτες, και το «δεν ισχύει» έξω από την κλίμακα.
- Ουδέτερη διατύπωση. Χωρίς επίθετα στην εκφώνηση, και με τις δύο κατευθύνσεις διαθέσιμες.
- Σειρά. Πρώτα η ερώτηση διαλογής, τα ευαίσθητα ερωτήματα προς το τέλος, μία κλίμακα ανά ενότητα.
- Εισαγωγή. Σκοπός, ειλικρινής διάρκεια, απόρρητο, εθελοντική συμμετοχή, επικοινωνία. Πέντε γραμμές.
- Κινητό. Ανοίχτηκε σε πραγματικό κινητό, χωρίς πλατιά πλέγματα, χωρίς επιλογές που αναδιπλώνονται.
- Ανάγνωση φωναχτά. Κάποιος εκτός του έργου διάβασε κάθε ερώτημα και κατάλαβε το καθένα όπως το εννοούσατε.
- Χρόνος. Ο αριθμός στην εισαγωγή σας προήλθε από αυτή την ανάγνωση φωναχτά, όχι από εικασία.
- Κωδικοί. Η παράλειψη, η άρνηση και το «δεν ισχύει» έχουν τρεις χωριστούς κωδικούς.
Συχνές ερωτήσεις
Ποιο είναι το πρώτο βήμα στην κατασκευή ενός ερωτηματολογίου;
Η καταγραφή των αποφάσεων που πρέπει να στηρίξουν τα αποτελέσματα. Όχι το θέμα, οι αποφάσεις. Μέχρι να μπορείτε να πείτε τι θα κάνετε διαφορετικά ανάλογα με τις απαντήσεις, δεν έχετε τρόπο να ξεχωρίσετε ένα απαραίτητο ερώτημα από ένα προαιρετικό, και το προσχέδιο μεγαλώνει μέχρι να βαρεθεί κάποιος.
Ποια είναι η διαφορά ανάμεσα σε ερωτηματολόγιο και έρευνα;
Το ερωτηματολόγιο είναι το εργαλείο: ο κατάλογος των ερωτημάτων και των επιλογών απάντησής τους. Η έρευνα είναι ολόκληρη η μελέτη γύρω από αυτό, όπως ποιους ρωτάτε, πώς τους προσεγγίζετε, πόσους χρειάζεστε και τι κάνετε με τα αποτελέσματα. Μπορείτε να κάνετε μία έρευνα με πολλά ερωτηματολόγια και να χρησιμοποιήσετε το ίδιο ερωτηματολόγιο σε πολλές έρευνες.
Πόσες ερωτήσεις πρέπει να έχει ένα ερωτηματολόγιο;
Όσο λιγότερες απαιτούν οι αποφάσεις σας. Το κυνήγι ενός αριθμού-στόχου είναι λάθος κίνηση· στοχεύστε αντί γι’ αυτό σε έναν χρόνο ολοκλήρωσης και βγάλτε τον από τη δική σας ανάγνωση φωναχτά και όχι από κάποιον εμπειρικό κανόνα. Η δηλωμένη διάρκεια επηρεάζει το ποιος συμμετέχει: σε ένα ελεγχόμενο πείραμα, η ολοκλήρωση μεταξύ όσων ξεκίνησαν έπεσε από 68,2 τοις εκατό με δηλωμένα 10 λεπτά σε 46,8 τοις εκατό με δηλωμένα 30 λεπτά.
Πόσο χρόνο πρέπει να χρειάζεται η συμπλήρωση ενός ερωτηματολογίου;
Αρκετά σύντομος ώστε ο δηλωμένος χρόνος να μην αποθαρρύνει, και αρκετά ειλικρινής ώστε να αντιστοιχεί στην πραγματικότητα. Δεν υπάρχει γκρεμός σε κάποιο συγκεκριμένο λεπτό. Η μετρημένη σχέση είναι μια σταθερή μείωση της συμμετοχής όσο αυξάνεται η δηλωμένη διάρκεια, οπότε κάθε ερώτημα που κρατάτε σας κοστίζει λίγη απόκριση, και πρέπει να μπορείτε να πείτε τι σας αποφέρει το καθένα.
Είναι ένα ερωτηματολόγιο ποιοτικό ή ποσοτικό;
Μπορεί να είναι και τα δύο, και τα περισσότερα είναι λίγο από τα δύο. Τα κλειστά ερωτήματα με σταθερές επιλογές παράγουν ποσοτικά δεδομένα. Οι ανοιχτές ερωτήσεις παράγουν ποιοτικά δεδομένα. Αυτό που μετράει είναι να αποφασίσετε σε τι χρησιμεύει ένα ερώτημα πριν το γράψετε, γιατί τα δύο χρειάζονται διαφορετικούς κανόνες διατύπωσης, διαφορετικό αριθμό συμμετεχόντων και εντελώς διαφορετική ανάλυση.
Πρέπει να βάλω ουδέτερο μεσαίο σημείο σε μια κλίμακα αξιολόγησης;
Βάλτε ένα όταν το «ουδέτερο» είναι πραγματική θέση απέναντι σε αυτό που μετράτε. Η αφαίρεσή του δεν αποσπά κάποια κρυφή γνώμη· οι άνθρωποι διαλέγουν λίγο πολύ τυχαία ανάμεσα στα σημεία που βρίσκονται πιο κοντά στη μέση. Αποφασίστε επίσης μαζί για το μεσαίο σημείο και για την επιλογή «δεν ξέρω», γιατί η προσφορά ενός «δεν ξέρω» μειώνει τη χρήση του μεσαίου σημείου κατά περίπου 7 έως 17 ποσοστιαίες μονάδες.
Πότε πρέπει να προσφέρω την επιλογή «Δεν ξέρω»;
Όταν ο συμμετέχων μπορεί πραγματικά να μην έχει την πληροφορία, όπως το όνομα ενός προγράμματος, μια ημερομηνία ή μια τεχνική λεπτομέρεια. Αποφύγετέ την σε ερωτήσεις για τη δική του εμπειρία, όπου σχεδόν όλοι μπορούν να απαντήσουν. Μια εύκολη διέξοδος χρησιμοποιείται: σε ένα ερώτημα στάσης, το 15 τοις εκατό επέλεξε «δεν ξέρω» όταν προσφερόταν, ενώ μόνο το 3 έως 4 τοις εκατό παρέλειψε συγκρίσιμα ερωτήματα που δεν το προσέφεραν.
Πόσες ερωτήσεις ανοιχτού τύπου πρέπει να χρησιμοποιήσω;
Μία ή δύο, εκεί όπου πραγματικά αποδίδουν, συνήθως ως συμπληρωματική ερώτηση σε μια συγκεκριμένη κλειστή απάντηση και ως γενική ερώτηση κλεισίματος. Οι ανοιχτές απαντήσεις είναι ο μόνος τρόπος να ακούσετε ό,τι ξέχασε η λίστα επιλογών σας, αλλά χρειάζονται σχήμα κωδικοποίησης και περισσότερους από έναν κωδικοποιητές πριν τα αποτελέσματα αποκτήσουν νόημα, και αυτό το κόστος είναι πραγματικό.
Πώς δοκιμάζεται ένα ερωτηματολόγιο πριν σταλεί;
Σε δύο περάσματα. Ο προέλεγχος ελέγχει την κατανόηση: ζητήστε από ανθρώπους να διαβάσουν κάθε ερώτημα φωναχτά και να σας πουν τι πιστεύουν ότι σημαίνει και πώς διάλεξαν την απάντησή τους. Η πιλοτική έρευνα είναι μια μικρή πραγματική εφαρμογή που ελέγχει τα δεδομένα: σημεία εγκατάλειψης, κάλυψη επιλογών, συμπεριφορά της κλίμακας και αν η ανάλυση που σχεδιάσατε λειτουργεί πράγματι. Κάντε πρώτα τον προέλεγχο, γιατί αυτός αλλάζει τη διατύπωση.
Ποιο είδος ερευνητικού σχεδιασμού χρησιμοποιεί ερωτηματολόγιο;
Το ερωτηματολόγιο είναι εργαλείο συλλογής δεδομένων, όχι σχεδιασμός, γι’ αυτό εμφανίζεται σε πολλούς σχεδιασμούς. Οι συγχρονικές μελέτες το χρησιμοποιούν σε ένα μόνο χρονικό σημείο. Οι μελέτες τάσεων και πάνελ το επαναλαμβάνουν στον χρόνο. Τα πειράματα το χρησιμοποιούν για να μετρήσουν τα αποτελέσματα μετά από μια παρέμβαση. Η επιλογή ανάμεσά τους είναι απόφαση σχεδιασμού της μελέτης, ένα επίπεδο πάνω από τη διατύπωση των ερωτημάτων.
Πώς επικυρώνεται ένα ερωτηματολόγιο;
Λίγα νέα ερωτήματα που μετρούν κάτι συγκεκριμένο χρειάζονται προέλεγχο, όχι ψυχομετρική επικύρωση. Μια κλίμακα που προορίζεται να μετρήσει κάτι αφηρημένο και να συγκριθεί μεταξύ ομάδων ή να επαναχρησιμοποιηθεί από άλλους χρειάζεται περισσότερα: αξιολόγηση του περιεχομένου από ειδικούς, μια πιλοτική έρευνα αρκετά μεγάλη ώστε να ελεγχθεί ότι τα ερωτήματα συνάδουν μεταξύ τους, και ενδείξεις ότι οι βαθμολογίες σχετίζονται με κάτι εξωτερικό με τον τρόπο που προβλέψατε. Αν υπάρχει ήδη επικυρωμένο εργαλείο για την εννοιολογική κατασκευή που μετράτε, χρησιμοποιήστε το αντί να γράψετε δικό σας.
Πώς γράφτηκε αυτός ο οδηγός και τι δεν καλύπτει
Η σειρά των επτά βημάτων ακολουθεί τη διαδικασία ανάπτυξης που περιγράφει η βιβλιογραφία της μεθοδολογίας ερωτηματολογίων16, 17, 18, 20 και όχι το πλαίσιο κάποιου συγκεκριμένου παρόχου. Κάθε αριθμός που αναφέρεται σε αυτή τη σελίδα προέρχεται από δημοσιευμένο πείραμα ή επίσημη μεθοδολογική έκθεση, που παρατίθενται παρακάτω. Ο καθένας βαθμολογήθηκε πριν χρησιμοποιηθεί, και ο βαθμός εμφανίζεται δίπλα στον ισχυρισμό στον πίνακα τεκμηρίωσης.
Οι ισχυρισμοί που δεν μπορέσαμε να ανιχνεύσουμε σε πρωτογενή πηγή αφέθηκαν έξω, και οι πιο συνηθισμένοι από αυτούς κατονομάζονται στην ενότητα «αριθμοί που σκόπιμα δεν χρησιμοποιήσαμε», ώστε να τους αναγνωρίζετε αλλού. Όπου ένας κανόνας είναι βάσιμος αλλά η άμεση τεκμηρίωση είναι ισχνή, όπως ο διαχωρισμός των διπλών ερωτήσεων, η σελίδα το λέει αντί να δανείζεται βεβαιότητα από ένα ισχυρότερο εύρημα.
Τα περισσότερα πειραματικά δεδομένα εδώ προέρχονται από έρευνες που έγιναν στις Ηνωμένες Πολιτείες και τη Δυτική Ευρώπη, κυρίως σε δείγματα του γενικού πληθυσμού και διαδικτυακών πάνελ. Τα μεγέθη επίδρασης για τη διατύπωση και τη σειρά δεν θα μεταφερθούν αμετάβλητα σε κάθε γλώσσα, θέμα ή πληθυσμό, και τίποτα από αυτά δεν δοκιμάστηκε στους δικούς σας συμμετέχοντες. Αντιμετωπίστε τους αριθμούς ως ένδειξη ότι αυτά τα φαινόμενα είναι πραγματικά και μπορεί να είναι μεγάλα, όχι ως σταθερές που μπορείτε να χρησιμοποιήσετε έτοιμες.
Το ολοκληρωμένο παράδειγμα είναι μια κατασκευασμένη περίπτωση, φτιαγμένη για να δείξει και τα επτά βήματα σε ένα σημείο. Δεν είναι αναφορά πραγματικής μελέτης, και ο προέλεγχος που περιγράφει είναι ενδεικτικός.
Αυτή η σελίδα καλύπτει το εργαλείο. Δεν καλύπτει ποιους να ρωτήσετε, πόσους να ρωτήσετε ή πώς να αναλύσετε όσα επιστρέψουν. Αυτές είναι χωριστές δουλειές, που καλύπτονται στη δειγματοληψία, στο μέγεθος δείγματος και στη στατιστική σημαντικότητα.
Η SuperSurvey φτιάχνει λογισμικό ερευνών, οπότε έχουμε εμπορικό συμφέρον να κάνουν οι άνθρωποι έρευνες. Αυτός ο οδηγός διαβάζεται δωρεάν, και οι συμβουλές του ισχύουν για οποιαδήποτε πλατφόρμα ερευνών. Ο έλεγχος ερωτημάτων εκτελείται εξ ολοκλήρου στο πρόγραμμα περιήγησής σας και δεν στέλνει τίποτα πουθενά. Οι σύνδεσμοι προς το εργαλείο δημιουργίας και τη βιβλιοθήκη προτύπων μας προσφέρουν τρόπους να εφαρμόσετε το ερωτηματολόγιο στην πράξη.
Βιβλιογραφία
- Krosnick, J. A., & Presser, S. (2010). Question and questionnaire design. Στο P. V. Marsden & J. D. Wright (Επιμ.), Handbook of Survey Research (2η έκδ., κεφ. 9). Emerald.
- Rasinski, K. A. (1989). The effect of question wording on public support for government spending. Public Opinion Quarterly, 53(3), 388-394. doi.org/10.1086/269158
- Smith, T. W. (1987). That which we call welfare by any other name would smell sweeter. Public Opinion Quarterly, 51(1), 75-83. doi.org/10.1086/269015
- Saris, W. E., Revilla, M., Krosnick, J. A., & Shaeffer, E. M. (2010). Comparing questions with agree/disagree response options to questions with item-specific response options. Survey Research Methods, 4(1), 61-79. doi.org/10.18148/srm/2010.v4i1.2682
- Preston, C. C., & Colman, A. M. (2000). Optimal number of response categories in rating scales. Acta Psychologica, 104(1), 1-15. doi.org/10.1016/S0001-6918(99)00050-5
- Wetzelhutter, D. (2020). Scale-sensitive response behavior: consequences of offering versus omitting a "don't know" option and/or a middle category. Survey Practice, 13(1). doi.org/10.29115/SP-2020-0012
- Gilljam, M., & Granberg, D. (1993). Should we take don't know for an answer? Public Opinion Quarterly, 57(3), 348-357. doi.org/10.1086/269380
- Pew Research Center. Writing survey questions. Επεξηγηματικό κείμενο μεθοδολογίας. pewresearch.org/writing-survey-questions
- Pew Research Center (2003, 18 Νοεμβρίου). Religious beliefs underpin opposition to homosexuality, Part 2: Gay marriage. pewresearch.org/politics/2003/11/18/part-2-gay-marriage
- Galesic, M., & Bosnjak, M. (2009). Effects of questionnaire length on participation and indicators of response quality in a web survey. Public Opinion Quarterly, 73(2), 349-360. doi.org/10.1093/poq/nfp031
- Antoun, C., Couper, M. P., & Conrad, F. G. (2017). Effects of mobile versus PC web on survey response quality. Public Opinion Quarterly, 81(S1), 280-306. doi.org/10.1093/poq/nfw088
- Mavletova, A. (2013). Data quality in PC and mobile web surveys. Social Science Computer Review, 31(6), 725-743. doi.org/10.1177/0894439313485201
- Schonlau, M., & Toepoel, V. (2015). Straightlining in web survey panels over time. Survey Research Methods, 9(2), 125-137. doi.org/10.18148/srm/2015.v9i2.6128
- Blair, J., & Conrad, F. G. (2011). Sample size for cognitive interview pretesting. Public Opinion Quarterly, 75(4), 636-658. doi.org/10.1093/poq/nfr035
- Menold, N. (2020). Double barreled questions: an analysis of the similarity of elements and effects on measurement quality. Journal of Official Statistics, 36(4), 855-886. doi.org/10.2478/jos-2020-0041
- Rattray, J., & Jones, M. C. (2007). Essential elements of questionnaire design and development. Journal of Clinical Nursing, 16(2), 234-243. doi.org/10.1111/j.1365-2702.2006.01573.x
- Boparai, J. K., Singh, S., & Kathuria, P. (2019). How to design and validate a questionnaire: a guide. Current Clinical Pharmacology, 13(4), 210-215. doi.org/10.2174/1574884713666180807151328
- Slattery, E. L., Voelker, C. C. J., Nussenbaum, B., Rich, J. T., Paniello, R. C., & Neely, J. G. (2011). A practical guide to surveys and questionnaires. Otolaryngology-Head and Neck Surgery, 144(6), 831-837. doi.org/10.1177/0194599811399724
- Edwards, P. (2010). Questionnaires in clinical trials: guidelines for optimal design and administration. Trials, 11, 2. doi.org/10.1186/1745-6215-11-2
- Stone, D. H. (1993). Design a questionnaire. BMJ, 307(6914), 1264-1266. pmc.ncbi.nlm.nih.gov/articles/PMC1679392
- American Association for Public Opinion Research (2022). Data quality metrics for online samples: considerations for study design and analysis. Έκθεση ομάδας εργασίας. aapor.org, έκθεση ομάδας εργασίας (PDF)
- Nielsen, J., & Landauer, T. K. (1993). A mathematical model of the finding of usability problems. Proceedings of ACM INTERCHI '93, 206-213. doi.org/10.1145/169059.169166
- Miller, G. A. (1956). The magical number seven, plus or minus two. Psychological Review, 63(2), 81-97. doi.org/10.1037/h0043158
- Maybin, S. (2017, 10 Μαρτίου). Busting the attention span myth. BBC News. bbc.com/news/health-38896790
Κάθε DOI παραπάνω ελέγχθηκε στην υπηρεσία επίλυσης DOI, και κάθε σύνδεσμος ελέγχθηκε ότι αποκρίνεται, στις 21 Αυγούστου 2026.