Das Wichtigste in Kürze
- Beginnen Sie mit einer Entscheidung, nicht mit einem Thema. Notieren Sie, was Sie je nach Antworten anders machen werden. Jedes Item, das keine Entscheidung verändern kann, ist ein Kandidat zum Streichen.
- Eine Idee, ein Item, ein Zeitraum. Wenn eine Frage zwei Fragen enthält, können Sie nicht erkennen, welche Hälfte die Antwort bestimmt hat.
- Formulierungen verschieben die Zahlen. In einem Split-Sample-Experiment veränderte sich die Zustimmung zu denselben staatlichen Programmen allein durch ihre Umbenennung um 45 Prozentpunkte – neutrale Formulierung ist also eine Messentscheidung und keine Höflichkeit.
- Gestalten Sie die Antwortoptionen so sorgfältig wie die Frage. Überlappende Bereiche, fehlende Kategorien und eine unbeschriftete Mitte richten mehr Schaden an als ein unelegant formulierter Fragestamm.
- Erst Pretest mit Menschen, dann Pilotstudie mit Daten. Lautes Vorlesen mit einer Handvoll Teilnehmer deckt Missverständnisse auf, die Sie vom Schreibtisch aus nicht sehen.
Was Fragebogenkonstruktion ist und was sie nicht beheben kann
Fragebogenkonstruktion ist der Prozess, ein Forschungsziel in Fragen zu übersetzen, die Menschen verstehen und zutreffend beantworten können. Dazu gehören Formulierung, Antwortoptionen, Reihenfolge, Einleitung und das Testen. Die sieben Schritte unten zeigen, wie diese Entscheidungen in einem vollständigen Fragebogen zusammenwirken.
Ein Item ist gut konstruiert, wenn zwei Personen mit derselben Erfahrung es gleich lesen, die Antwort aus dem Gedächtnis abrufen können und dieselbe Option wählen, um sie zu beschreiben. Alles Weitere auf dieser Seite dient dazu, diesem Ziel näherzukommen.
Zwei Dinge kann sie nicht beheben. Eine falsche Zielgruppe gleicht sie nicht aus: Stellen Sie den falschen Personen perfekte Fragen, erhalten Sie präzise Antworten auf eine Frage, die niemand gestellt hat. Das ist ein Problem der Stichprobenziehung, kein Formulierungsproblem. Ebenso wenig gleicht sie zu wenige Beantwortungen aus – das ist ein Problem der Stichprobengröße.
Es lohnt sich auch, zwei Begriffe zu trennen, die oft synonym verwendet werden. Der Fragebogen ist das Instrument: die Liste der Items und Antwortoptionen. Die Umfrage ist die gesamte Studie darum herum: wen Sie befragen, wie Sie diese Personen erreichen und was Sie mit den Daten tun. Den umfassenderen Prozess behandelt unser Leitfaden zum Forschungsdesign. Diese Seite bleibt beim Instrument.
Die 7 Schritte der Fragebogenkonstruktion
Suchende fragen häufiger nach sieben Schritten als nach jeder anderen Zahl, und die Listen, die sie finden, sind größtenteils Kopien eines einzigen Agentur-Blogbeitrags von 2006, dessen Originalseite nicht mehr online ist. Die Abfolge unten ist daher nicht diese Liste. Es ist der Entwicklungsprozess, den die Fachliteratur zur Umfragemethodik tatsächlich beschreibt16, 17, 20, aufgeteilt an den sieben Stellen, an denen sich die Arbeit wirklich verändert, und ergänzt um die zwei Dinge, die diese Kopien weglassen: was jeder Schritt hervorbringt und woran er gewöhnlich scheitert.
| Schritt | Was Sie entscheiden | Was Sie erarbeiten | Woran es meist scheitert |
|---|---|---|---|
| 1. Zuerst Entscheidungen | Was die Ergebnisse entscheiden sollen | Eine kurze Liste von Entscheidungen und den Vergleichen dahinter | Beginn bei einem Thema, sodass nichts anzeigt, wann Schluss mit neuen Items ist |
| 2. Items und Formate | Ein Item pro Entscheidung und sein Antwortformat | Eine Entwurfsliste der Items mit dem Format neben jedem | Das Format aus Gewohnheit wählen statt nach der Auswertung, die Sie brauchen |
| 3. Beantwortbare Formulierung | Wie jeder Fragestamm formuliert ist | Fragestämme mit definierten Begriffen und angegebenem Zeitraum | Nach Erinnerungen fragen, die niemand hat, oder zwei Fragen in einer verstecken |
| 4. Optionen und Skalen | Die Antwortvorgaben für jedes geschlossene Item | Optionen, die sich nicht überschneiden und niemanden ohne passende Wahl lassen | Überlappende Bereiche, keine Ausweichoption, eine unbeschriftete Mitte |
| 5. Neutrale Formulierung | Welche Wörter eine Antwort nahelegen | Neutrale Fragestämme und ausgewogene Antwortvorgaben | Adjektive im Fragestamm und einseitige Antwortlisten |
| 6. Reihenfolge und Einleitung | Abfolge, Gruppierung und der Einleitungstext | Ein geordnetes Instrument mit kurzer Einleitung | Heikle Items zu früh und eine Einleitung, die niemand liest |
| 7. Pretest und Pilotstudie | Ob es bei echten Menschen funktioniert | Ein überarbeitetes Instrument und eine Zeitschätzung | Ihn auslassen oder eine einzige Runde für ausreichend halten |
Die Schritte 3, 4 und 5 sind hier getrennt, weil sie auf unterschiedliche Weise scheitern und mit unterschiedlichen Mitteln behoben werden. In der Praxis durchlaufen Sie sie mehr als einmal. Die gestrichelte Linie im Diagramm ist die wichtigste Schleife: Was der Pretest findet, führt Sie meist zurück zu Schritt 3.
Schritt 1. Halten Sie die Entscheidungen fest, bevor Sie eine einzige Frage schreiben
Die meisten aufgeblähten Fragebögen beginnen bei einem Thema. Gute beginnen bei einer Entscheidung. Bevor Sie ein Item entwerfen, schreiben Sie die kurze Liste der Dinge auf, die Sie je nach Ergebnis anders machen werden.
Drei bis fünf Entscheidungen auflisten
Formulieren Sie sie als Wahlmöglichkeiten, nicht als Themen. „Das zweitägige Format wiederholen oder auf kurze Online-Sitzungen umstellen“ ist eine Entscheidung. „Feedback zur Schulung“ ist ein Thema.
Die nötigen Vergleiche benennen
Teams, Standorte, Schichten, Zeiträume, neue gegenüber wiederkehrenden Personen. Vergleiche bestimmen sowohl die Formulierung als auch die Antwortoptionen, legen Sie sie also jetzt fest und nicht später.
Die Ergebnisse auf einer Seite skizzieren
Skizzieren Sie die konkreten Tabellen und Diagramme, die Sie erstellen wollen. Wenn Sie das Ergebnis, in das ein Item einfließt, nicht zeichnen können, hat dieses Item keine Aufgabe.
Diesen Schritt stellen die Methodenleitfäden an den Anfang, und zwar aus demselben Grund: Er ist das Einzige, was Ihnen sagt, wann Sie aufhören sollten, Fragen hinzuzufügen.16, 17
Lesen Sie jedes Entwurfs-Item und vervollständigen Sie diesen Satz: „Wenn alle B statt A antworten, werden wir ...“ Wenn Sie ihn nicht vervollständigen können, streichen Sie das Item oder schreiben Sie es um, bis es gelingt.
Schritt 2. Machen Sie aus jeder Entscheidung ein Item und wählen Sie sein Format bewusst
Das Frageformat ist eine Messentscheidung, keine Layoutvorliebe. Wählen Sie das Format, das die Befragten beantworten können und das Ihre geplante Auswertung nutzen kann.
| Gewünschtes Ergebnis | Verwenden Sie | Beispielfrage |
|---|---|---|
| Eine Zahl, die Sie über die Zeit verfolgen | Ein geschlossenes Item mit Bewertungsskala, vollständig beschriftet | „Wie leicht oder schwer war es, die Einrichtung ohne Hilfe abzuschließen?“ |
| Eine Rangliste der Dinge, die zu beheben sind | Single Choice, dann eine Nachfrage | „Welche eine Änderung würde Ihnen am meisten helfen?“, dann „Warum gerade diese?“ |
| Eine Anzahl oder eine Quote | Geschlossene Bereiche ohne Überschneidung | „Wie oft haben Sie sich in den letzten 30 Tagen an den Support gewandt?“ |
| Formulierungen, die Sie noch nicht kennen | Ein gezieltes offenes Textfeld | „Was war heute der Hauptgrund für Ihre Kontaktaufnahme?“ |
| Eignung für spätere Items | Eine Filterfrage plus Sprunglogik | „Haben Sie in den letzten 30 Tagen den Berichte-Tab genutzt?“ |
Geschlossene Items sind günstiger auszuwerten und leichter über Erhebungswellen hinweg zu vergleichen. Offene Items finden, was Ihre Optionsliste vergessen hat. Der praktische Grund für die Dominanz geschlossener Items sind die Kosten: Offene Antworten brauchen ein Codierschema und mehr als eine codierende Person, bevor sie etwas aussagen.1 Setzen Sie ein oder zwei offene Items dort ein, wo sie sich lohnen, und halten Sie den Rest geschlossen. Unsere Leitfäden zu Multiple-Choice-Fragen und zu offenen und geschlossenen Fragen gehen tiefer auf jedes Format ein.
Eine Warnung zu Zustimmungsskalen: Wenn Sie etwas direkt fragen können, fragen Sie es direkt. In einem Experiment mit vier Stichproben erreichten Items mit konstruktspezifischen Antwortoptionen Reliabilitätskoeffizienten von 0,87 bis 0,93, während derselbe Inhalt, als Zustimmungsaussagen gestellt, nur 0,36 bis 0,73 erreichte.4 Das ist ein großer Abstand für ein Format, das die meisten aus Gewohnheit wählen. Zwei Antworteffekte mit eigenem Namen erklären einen Großteil davon. Akquieszenz ist die Neigung zuzustimmen, egal was die Aussage gerade besagt; das Format fügt also eine Schieflage hinzu, die Sie hinterher nicht herausrechnen können. Satisficing bedeutet, dass die befragte Person gerade so viel Aufwand treibt, dass eine Antwort durchgeht, statt eine zutreffende zu geben, und eine Spalte von Aussagen zum Zustimmen oder Ablehnen macht das sehr leicht. Beides nimmt zu, je länger der Fragebogen wird. Wenn Sie das Format doch brauchen, folgen Sie unseren Hinweisen zur Likert-Skala.
Schritt 3. Formulieren Sie einen Fragestamm, den Menschen tatsächlich beantworten können
Viele schlechte Items sind nicht vage. Sie sind unbeantwortbar. Sie fragen nach Erinnerungen, die niemand hat, oder nach Wissen, das den Teilnehmern nie vermittelt wurde.
Geben Sie jeder Verhaltensfrage ein Zeitfenster
„Wie oft wenden Sie sich an den Support?“ hat keinen Bezugspunkt, sodass zwei Personen mit identischem Verhalten unterschiedlich antworten. Benennen Sie das Zeitfenster und passen Sie es daran an, wie häufig das Verhalten vorkommt.
| Sie möchten | Schwer zu beantworten | Beantwortbar |
|---|---|---|
| Eine Häufigkeit | „Wie oft wenden Sie sich an den Support?“ | „Wie oft haben Sie sich in den letzten 30 Tagen an den Support gewandt?“ |
| Ein aktuelles Verhalten | „Treiben Sie regelmäßig Sport?“ | „An wie vielen der letzten 7 Tage haben Sie mindestens 30 Minuten Sport getrieben?“ |
| Ein einzelnes Ereignis | „Lief das Onboarding reibungslos?“ | „Wenn Sie an Ihre letzte Einrichtung denken: Wie leicht oder schwer war es, sie ohne Hilfe abzuschließen?“ |
Verwenden Sie die Wörter Ihrer Zielgruppe
- Wählen Sie das gängige Wort. „Hilfe“ ist besser als „Unterstützungsleistung“. „Kaufen“ ist besser als „erwerben“. Einfachere Wörter lassen sich zudem leichter übersetzen.
- Definieren Sie jeden Begriff, den Sie nicht vermeiden können. Wenn das Item an „Vorfall“ oder „Fall“ hängt, sagen Sie im Fragestamm selbst, was zählt.
- Schreiben Sie ein Akronym einmal aus. Verwenden Sie es danach weiter. Setzen Sie keine gemeinsame interne Kurzsprache voraus.
- Fragen Sie, was passiert ist, nicht warum. Menschen können Ereignisse berichten. Ursachen innerhalb Ihrer Organisation können sie meist nicht benennen.
Eine Idee pro Item
Ein Item, das zwei Fragen versteckt, liefert eine Antwort, die Sie nicht deuten können. Wer den Preis toll und die Qualität schlecht fand, hat keine ehrliche Option, und egal, was die Person wählt, Sie wissen nicht, welche Hälfte den Ausschlag gab.
Wie zufrieden sind Sie mit dem Preis und der Qualität?
Stattdessen zwei Items: „Wie zufrieden sind Sie mit der Qualität?“ und „Wie zufrieden sind Sie mit dem Preis?“
Zur Evidenz sollte man ehrlich sein. Doppelfragen aufzuteilen ist nahezu eine universelle Regel, doch die direkte experimentelle Literatur dazu ist dünn und jung. Der klarste Test ergab, dass ein Item mit zwei Fragen und seine Neufassung mit nur einer Idee nicht dasselbe messen und dass die Fassung mit einer Idee valider war.15 Betrachten Sie die Regel als solide und gut begründet, nicht als gesicherten Befund aus vierzig Jahren wie die Formulierungseffekte in Schritt 5.
Schritt 4. Entwickeln Sie Antwortoptionen und Skalen, die Sie auswerten können
Viele Fragebögen scheitern eher an der Antwortliste als am Fragestamm. Zwei Prüfungen finden das meiste davon: Optionen dürfen sich nicht überschneiden, und sie dürfen niemanden ohne ehrliche Wahl lassen.
Wie alt sind Sie? 18 bis 30, 30 bis 40, 40 bis 55, 55 und älter
Wie alt sind Sie? 18 bis 29, 30 bis 39, 40 bis 54, 55 oder älter, Keine Angabe
Bewertungsskalen
| Entscheidung | Was zu tun ist | Warum |
|---|---|---|
| Anzahl der Stufen | Fünf bis sieben für Einstellungen | Reliabilität und Validität steigen bis etwa sieben Stufen steil an, flachen dann ab, und die Test-Retest-Reliabilität sinkt jenseits von zehn wieder.5, 1 |
| Beschriftungen | Beschriften Sie nach Möglichkeit jede Stufe | Zahlen allein werden unterschiedlich gedeutet. Zwei Personen lesen „6 von 10“ verschieden; „Eher leicht“ lesen beide gleich. |
| Richtung | Durchgehend gleich halten | Ein Richtungswechsel mitten im Fragebogen erzeugt Fehlklicks, die wie echte Meinungsänderungen aussehen. |
| Mittelpunkt | Einen aufnehmen, wenn neutral eine echte Position ist | Ihn zu entfernen deckt keine verborgene Neigung auf. Die Leute wählen dann zufällig in der Nähe der Stelle, an der er gewesen wäre.1 |
| Nicht zutreffend | Getrennt vom Mittelpunkt halten | Sonst werden Personen, die nicht urteilen können, als neutral gezählt, was Ihren Durchschnitt unbemerkt verschiebt. |
Mittelpunkt und „Weiß nicht“ sind keine unabhängigen Schalter, auch wenn die meisten Ratschläge sie so behandeln. Eine „Weiß nicht“-Option neben einem Mittelpunkt senkte den Anteil, der den Mittelpunkt wählte, je nach Item um etwa 7 bis 17 Prozentpunkte.6 Mit anderen Worten: Ein guter Teil Ihrer neutralen Antworten stammt von Personen ohne Meinung, nicht von Personen in der Mitte. Entscheiden Sie über beide Optionen gemeinsam. Unser Leitfaden zu Fragen mit Bewertungsskala behandelt die Details der Gestaltung.
Bei einem Einstellungs-Item wählten 15 Prozent die Option „Weiß nicht“, wenn sie angeboten wurde. Bei verwandten Items im selben Interview ohne diese Option gaben nur 3 bzw. 4 Prozent keine inhaltliche Antwort, und diese Antworten sagten dennoch vorher, wie die Personen später wählten.7 Ein bequemer Ausweg wird genutzt, und ein Teil dessen, was er auffängt, war eine echte Meinung.
Schritt 5. Formulieren Sie neutral und prüfen Sie auf Verzerrungen
Für diesen Schritt gibt es die meiste Evidenz und die größten gemessenen Effekte. Split-Sample-Experimente haben Ergebnisse bei derselben zugrunde liegenden Meinung um zweistellige Prozentpunktwerte verschoben, allein durch andere Wörter.
Im General Social Survey von 1985 sagten 65,2 Prozent der Amerikaner, für „Unterstützung der Armen“ werde zu wenig ausgegeben. Bei denselben Programmen unter der Bezeichnung „Sozialhilfe“ sagten das nur 19,8 Prozent. Das ist ein Abstand von 45 Punkten durch ein einziges Wort, und er bestätigte sich im Folgejahr mit 62,8 gegenüber 23,1.2, 3
Framing wirkt genauso. Die Zustimmung zu einem Militäreinsatz im Irak lag bei 68 Prozent und fiel auf 43 Prozent, als dieselbe Frage den Zusatz erhielt: „selbst wenn das bedeuten würde, dass US-Streitkräfte Tausende Opfer erleiden könnten“.8
Das sind Split-Sample-Experimente: zwei zufällige Hälften derselben Umfrage, jede mit einer Formulierung. Erst dieses Design macht aus „Formulierung ist wichtig“ eine Messung statt einer Meinung.
Was Sie entfernen sollten
| Muster | Gelenkt | Neutral |
|---|---|---|
| Adjektiv im Fragestamm | „Wie hilfreich war unser hervorragendes Support-Team?“ | „Wie hilfreich oder wenig hilfreich war unser Support-Team?“ |
| Nur eine Richtung angeboten | „Wie frustrierend war die Registrierung?“ | „Wie leicht oder schwer war die Registrierung?“ |
| Einseitige Antwortliste | „Wie zufrieden sind Sie?“ mit ausschließlich positiven Optionen | Gleich viele negative und positive Optionen |
| Unterstelltes Verhalten | „Wie nutzen Sie den Berichte-Tab?“ | „Haben Sie in den letzten 30 Tagen den Berichte-Tab genutzt?“ |
Verzerrungen entstehen auch bei den Befragten, nicht nur durch die Formulierung. Drei Gewohnheiten richten den größten Schaden an. Soziale Erwünschtheit bedeutet, so zu antworten, wie es besser aussieht. Akquieszenz bedeutet, zuzustimmen, egal was die Aussage gerade besagt. Satisficing bedeutet, gerade so viel Aufwand zu treiben, dass eine Antwort durchgeht, statt eine zutreffende zu geben. Unser Leitfaden zur Antwortverzerrung behandelt alle drei.
Schritt 6. Ordnen Sie die Items und schreiben Sie dann eine kurze Einleitung
Die Reihenfolge ist keine Kosmetik. Eine frühere Frage kann die Antwort auf eine spätere verändern, und der Effekt ist messbar. Die Zustimmung zu rechtlich anerkannten Partnerschaften für gleichgeschlechtliche Paare lag bei 45 Prozent, wenn das Item auf eine Frage zur Ehe folgte, und bei 37 Prozent, wenn es allein stand.9 Am Item selbst änderte sich nichts außer dem, was davor kam.
Eine Abfolge, die funktioniert
Filterfrage
Stellen Sie sicher, dass die Person teilnahmeberechtigt ist, bevor Sie sie irgendetwas anderes fragen. Leiten Sie alle anderen direkt zum Ende.
Aufwärmfragen
Einfache, sachliche Items, die zeigen, dass es im Fragebogen um etwas geht, das die Befragten kennen.
Kernblöcke
Nach Themen gruppieren. Innerhalb eines Blocks dieselbe Skala beibehalten, damit niemand sie neu lernen muss.
Diagnostik
Die Gründe und Hindernisse, die die Bewertungen darüber erklären.
Heikle Items und Segmente
Zum Schluss, und nur die, die Sie tatsächlich verwenden. Formulierungsmuster finden Sie unter demografische Fragen.
Abschluss
Ein offenes Feld für „Sonst noch etwas?“, dann ein Dank und was als Nächstes passiert.
Eine Einleitung zum Kopieren
Beschränken Sie sie auf fünf Zeilen. Die Leute sind zum Antworten gekommen, nicht zum Lesen.
Zweck: Wir sammeln Feedback, um [Prozess oder Dienstleistung] zu verbessern.
Dauer: Etwa [X] Minuten.
Datenschutz: Ihre Antworten sind [anonym oder vertraulich], und [wer] sieht die Ergebnisse.
Freiwillig: Sie können jede Frage überspringen.
Kontakt: Fragen? [Name und E-Mail].
Gehen Sie mit der Zeitangabe sorgfältig um, denn sie verändert, wer teilnimmt. Als derselbe Fragebogen mit 10, 20 oder 30 Minuten Länge angekündigt wurde, sank der Anteil der Personen, die begannen, von 75 auf 64,9 und dann auf 62,4 Prozent, und der Anteil derer, die ihn auch beendeten, von 68,2 auf 56,8 und dann auf 46,8 Prozent.10 Eine Länge anzugeben ist richtig. Achten Sie nur darauf, dass die Zahl aus Ihrem Pretest stammt.
Sagen Sie klar, wer die Rohantworten sieht und wie lange Sie sie aufbewahren, und stellen Sie sicher, dass dies Ihren tatsächlichen Datenschutzzusagen entspricht. Einwilligung und Klarheit über den Zweck gehören zur Fragebogenentwicklung und sind kein nachträglich angehängter Papierkram.17
Schritt 7. Pretest mit Menschen, Pilotstudie mit Daten, dann Start
Hier werden Fragebögen tatsächlich besser. Ein Pretest zeigt Ihnen, was die Befragten unter dem Item verstehen. Eine Pilotstudie zeigt Ihnen, wie die Daten aussehen, wenn sie es beantworten. Das sind verschiedene Aufgaben, und Sie brauchen beide.16, 19 Erstellen Sie die Pilotversion in unserem kostenlosen Umfrage-Tool und testen Sie Fragereihenfolge, Antwortoptionen und Verzweigungen auf einem Smartphone, bevor Sie sie mit Ihrer gesamten Stichprobe teilen.
Laut vorlesen
Bitten Sie jemanden, jedes Item laut vorzulesen. Alles, worüber die Person stolpert, was sie erneut liest oder umformuliert, ist ein Kandidat für eine Überarbeitung.
Die Bedeutung erfragen
Fragen Sie: „Was bedeutet diese Frage für Sie?“ und „Wie sind Sie auf diese Antwort gekommen?“ Sie testen das Verständnis, nicht die Meinung.
Die Zeit messen
Halten Sie fest, wie lange es wirklich dauert. Diese Zahl kommt in Ihre Einleitung, und sie ist meist länger, als Sie geschätzt haben.
Überarbeiten und wiederholen
Bei einem neuen Instrument reicht eine Runde selten aus. Beheben Sie die Probleme und testen Sie die Korrekturen dann mit einer neuen Person.
Wie viele Pretest-Interviews
Mehr, als Sie denken. Eine Modellierung kognitiver Pretest-Interviews ergab, dass mit wachsender Zahl der Interviews immer weiter echte Frageprobleme auftauchten, ohne ein klares Plateau, an dem man sicher aufhören kann.14 Betrachten Sie jede feste Zahl als Budget, nicht als Abdeckung, und setzen Sie es bei Personen ein, die Ihren tatsächlichen Teilnehmern ähneln.
Wofür die Pilotstudie da ist
- Abdeckung der Optionen. Wenn „Sonstiges“ oder „Keine Angabe“ oft gewählt wird, fehlt Ihrer Liste etwas.
- Nutzung der Skala. Antworten, die sich an einem Ende häufen, bedeuten meist, dass die Formulierung sie dorthin gedrängt hat.
- Straightlining. Identische Antworten über einen ganzen Block. In Paneldaten liegt sein Anteil bei 15 bis 40 Prozent in Blöcken, in denen es ein plausibles Muster ist, und unter 2 Prozent, wo es das nicht ist.13
- Logik. Prüfen Sie, dass Personen nur die Nachfragen sehen, die für sie gelten.
- Abbruchstelle. Notieren Sie das Item, bei dem Personen aussteigen. Meist ist dieses Item das Problem, nicht die Länge.
Das sind zwei verschiedene Zahlen, die zwei verschiedene Fragen beantworten, und die eine für die andere zu halten, ist ein häufiger und teurer Fehler. Dreißig Personen reichen, um eine fehlerhafte Optionsliste aufzudecken, einen Fragestamm, den niemand gleich liest, oder einen Logikzweig, der nie ausgelöst wird. Mehr soll eine Pilotstudie nicht leisten. Für die Schätzung eines Prozentsatzes oder die verlässliche Unterscheidung zweier Gruppen reicht das bei Weitem nicht. Verbessern Sie das Instrument mit der Pilotstudie und bemessen Sie die eigentliche Studie dann separat mit unserem Leitfaden zur Stichprobengröße.
Rechnen Sie beim Start mit einer bescheidenen Rücklaufquote: Bei nicht-probabilistischen Online-Panels sind Quoten von 10 Prozent oder weniger inzwischen üblich.21
Ein ausgearbeitetes Beispiel: ein Fragebogen, in allen sieben Schritten aufgebaut
Jeder Leitfaden zu diesem Thema zeigt, wie einzelne Fragen verbessert werden. Fast keiner zeigt, wie ein ganzer Fragebogen entsteht. Deshalb folgt hier ein vollständiger Fragebogen – von der Entscheidung ganz oben bis zum fertigen Instrument ganz unten, Schritt für Schritt in der Reihenfolge von oben.
Ein Betriebsteam von etwa 40 Personen hat im Mai eine zweitägige Sicherheitsschulung absolviert. Die Leitung muss das Format für die nächste Runde wählen, und niemand hat Daten. Das ist der ganze Auftrag. Gehen Sie nun die Schritte durch.
| Schritt | Was er hier ergeben hat |
|---|---|
| 1. Zuerst Entscheidungen | Drei Entscheidungen: das zweitägige Format beibehalten oder auf kurze Online-Sitzungen umstellen; welches Modul zuerst überarbeitet wird; ob das Material bei der Arbeit überhaupt genutzt wird. Alles Folgende lässt sich auf eine davon zurückführen. |
| 2. Items und Formate | Neun Items. Zwei geschlossene Zählfragen, zwei beschriftete Bewertungen, drei Single-Choice-Listen, ein gezieltes offenes Feld, ein offenes Abschlussfeld. Eine Filterfrage ganz oben. |
| 3. Beantwortbare Formulierung | Jedes Verhaltens-Item erhielt ein benanntes Zeitfenster („in den 30 Tagen seit der Schulung“). „Die Checkliste“ wird im Fragestamm definiert statt vorausgesetzt. |
| 4. Optionen und Skalen | Zählfragen verwenden Bereiche ohne Überschneidung. Beide Bewertungen nutzen dieselben fünf Stufen in derselben Richtung. „Ich habe sie noch nicht genutzt“ ist vom Mittelpunkt getrennt. |
| 5. Lenkung entfernen | Aus „Wie nützlich war die hervorragende neue Checkliste“ wurde „Wie nützlich oder nicht nützlich“. Das Format-Item bietet beide Optionen sowie „beides“ und „keines von beiden“, damit es keine bevorzugte Antwort nahelegt. |
| 6. Reihenfolge und Einleitung | Filterfrage, dann Verhalten, dann Bewertungen, dann die Formatentscheidung, dann das Hindernis, dann die Schicht, dann der offene Abschluss. Die Schicht steht weit hinten, weil sie das einzige Item ist, das manche vielleicht nicht beantworten möchten. |
| 7. Pretest und Pilotstudie | Lautes Vorlesen mit vier Personen. Zwei verstanden „die Checkliste“ als ein anderes Dokument, daher erhielt F2 den Zusatz „die einseitige Checkliste aus Modul 2“. Diese eine Korrektur ist schon das ganze Argument für Schritt 7. |
Der fertige Fragebogen
Neun Items und eine Filterfrage. Kopieren Sie ihn und tauschen Sie dann die Substantive aus. Übernehmen Sie nicht die Zeitangabe: Ermitteln Sie diese durch Ihr eigenes lautes Vorlesen.
Fragebogen nach der Schulung: 10 Items
- F0. Haben Sie am 12. und 13. Mai an der Sicherheitsschulung teilgenommen? Single Choice, FilterfrageEine Filterfrage, keine Aufwärmfrage. Wer mit „Nein“ antwortet, sollte direkt zum Ende geleitet werden. Ohne sie können Sie eine Person, die nicht teilgenommen hat, nicht von einer Person unterscheiden, die teilgenommen hat und unzufrieden ist.
- F1. Wie oft haben Sie in den 30 Tagen seit der Schulung die einseitige Checkliste aus Modul 2 bei einem echten Einsatz verwendet? Single Choice, AnzahlEin benanntes Zeitfenster und ein benanntes Dokument. Die Bereiche überschneiden sich nicht, sodass eine Person, die sie dreimal genutzt hat, genau eine passende Option hat. Dieses Item beantwortet Entscheidung drei für sich allein.
- F2. Wie leicht oder schwer war die Checkliste bei einem echten Einsatz zu verwenden? Fünfstufige Bewertung, vollständig beschriftet1Sehr schwer2345Sehr leichtBeide Richtungen stehen im Fragestamm, es wird also nichts nahegelegt. „Ich habe sie noch nicht genutzt“ steht außerhalb der Skala statt innerhalb, damit Personen, die nicht urteilen können, nicht als neutral gezählt werden.
- F3. Welcher Teil der Schulung war am schwersten zu verstehen? Single Choice, mit AusweichoptionDieses Item beantwortet Entscheidung zwei. „Nichts war schwer zu verstehen“ ist so wichtig wie die Module: Ohne diese Option ist jede Person gezwungen, ein Problem zu nennen, das es vielleicht gar nicht gibt.
- F4. Was hat diesen Teil schwer verständlich gemacht? Offener Text, nur angezeigt, wenn bei F3 ein Modul gewählt wurdeKurz gesagtDas eine offene Item, das seinen Platz verdient. Es zielt auf eine bestimmte Antwort, wird von den meisten übersprungen und ist das Einzige, was Ihnen sagt, wie Sie das Modul überarbeiten sollten.
- F5. Wenn dieselbe Schulung noch einmal stattfände, bei welchem Format könnten Sie vollständig teilnehmen? Single Choice, ausgewogenDas Entscheidungs-Item. Es fragt nach der Teilnahme, die Menschen beantworten können, statt nach einer Vorliebe, die zum Raten einlädt. „Beides“ und „keines von beiden“ sind echte Antworten, und aus beiden lässt sich etwas ableiten.
- F6. Was würde Ihnen die Teilnahme erschweren? Wählen Sie alle zutreffenden Optionen aus. Multiple Choice, mit Ausweichoption„Alle zutreffenden auswählen“ kostet Mühe, setzen Sie es also sparsam ein. Hier ist es gerechtfertigt, weil sich die Hindernisse häufen: Jemand kann zwei gleichzeitig haben, und eine erzwungene Einzelantwort würde das verbergen.
- F7. Wie wahrscheinlich oder unwahrscheinlich ist es, dass Sie diese Schulung jemandem aus Ihrem Team empfehlen? Fünfstufige Bewertung, dieselbe Skala wie F21Sehr unwahrscheinlich2345Sehr wahrscheinlichDieselben fünf Stufen, dieselbe Richtung wie F2. Wer eine Skala wiederverwendet, erspart allen das Umlernen, und die beiden Items können im selben Diagramm nebeneinanderstehen.
- F8. In welcher Schicht arbeiten Sie normalerweise? Single Choice, spät platziertWeit hinten, weil es das einzige Item ist, das manche vielleicht nicht beantworten möchten. Es steht nur hier, weil der Auswertungsplan die Schichten vergleicht. Wäre das nicht so, würde es gestrichen.
- F9. Gibt es noch etwas, das wir wissen sollten, bevor wir das Format wählen? Offener Text, optionalOptionalDas Abschlussfeld. Es fängt auf, was die Optionslisten übersehen haben, und ist die günstigste Frühwarnung, die Sie zu einer Frage bekommen, die Sie hätten stellen sollen.
Die Antwortoptionen oben werden nur angezeigt und sind nicht anklickbar. Sie sind ein Abbild des Instruments, kein funktionierendes Formular. Hier wird nichts erfasst. Beim Drucken fallen die Anmerkungen weg und Sie erhalten nur die zehn Items, sodass die Funktion „Als PDF speichern“ Ihres Browsers daraus ein Dokument macht, das Sie weitergeben können.
Dieses Instrument wurde für das obige Beispiel geschrieben. Wenn Sie nicht mit einer leeren Seite beginnen möchten, können Sie mit einer vorhandenen Vorlage beginnen und die Items an Ihre eigenen Entscheidungen anpassen.
Ein bereits geschriebenes Item prüfen
Fügen Sie eine Frage ein, an der Sie gerade arbeiten. Hier laufen dieselben Prüfungen, die die Schritte oben beschreiben, und Sie sehen, welche davon anschlagen. Es ist eine Checkliste, kein Urteil: Sie liest Muster in den Wörtern, kann Ihre Absicht nicht erkennen, und ein markiertes Item ist manchmal genau das richtige.
Für die Auswertungsdatei gestalten, nicht für die Folie
Diese Vorgabe gilt bei jedem Schritt, deshalb ist sie keiner der sieben. Ein Fragebogen ist auch eine Datenspezifikation. Wenn sich die Antworten nicht sauber zählen lassen, haben Sie sich wochenlanges Aufräumen und eine Zahl eingehandelt, die Sie nicht verteidigen können.
- Ein Konstrukt pro Spalte. Wenn Ihnen Schnelligkeit und Genauigkeit wichtig sind, messen Sie sie mit zwei Items. Zusammengelegte Konstrukte lassen sich später nicht mehr trennen.
- Vereinheitlichen Sie die Zeitfenster. Wer „letzte Woche“ in einem Item und „letztes Jahr“ im nächsten mischt, kann die beiden unmöglich im selben Diagramm darstellen.
- Codieren Sie alles vor, wonach Sie gruppieren wollen. Frei eingegebene Abteilungsnamen kommen als vierzig Schreibweisen von sechs Abteilungen an. Geben Sie eine Liste vor.
- Legen Sie vor dem Start fest, was „fehlend“ bedeutet. Übersprungen, „Keine Angabe“ und „Nicht zutreffend“ sind drei verschiedene Dinge und brauchen drei verschiedene Codes.
Planen Sie Vergleiche und Genauigkeit gleichzeitig. Auch ein perfektes Instrument kann keine Studie retten, die zu wenige Antworten gesammelt hat, um zwei Gruppen zu unterscheiden – das ist eine Frage der Stichprobengröße –, und ab wann ein Unterschied als echt gilt, ist eine Frage der statistischen Signifikanz.
Für das Smartphone gestalten, nicht für den Laptop, auf dem Sie ihn erstellt haben
Die zweite übergreifende Vorgabe. Gehen Sie von einem Smartphone aus, mit mobiler Verbindung und einer Unterbrechung auf halber Strecke.
Smartphones sind beim selben Instrument langsamer als Desktop-Computer. In einem Crossover-Experiment, in dem dieselben Personen auf beiden Geräten antworteten, lag die mediane Bearbeitungszeit auf dem Smartphone bei 17,7 Minuten gegenüber 10,5 Minuten am PC.11 Das sind 69 Prozent mehr Zeit für identische Inhalte – ein am Laptop gemessener Fragebogen wird also auf dem falschen Gerät gemessen.
Die reflexhafte Annahme, Antworten am Smartphone seien schlechter, stimmt nur teilweise, und hier lohnt sich Genauigkeit. Ein direkter Vergleich ergab, dass mobile Teilnehmer kürzere offene Antworten schrieben und mehr Items übersprangen, dass aber die Teilnehmer am PC in Matrixfragen häufiger Straightlining zeigten.12 Das Problem am Smartphone sind Aufwand und Unterbrechungen, nicht Nachlässigkeit.
- Lösen Sie Matrizen auf. Eine breite Matrix auf einem kleinen Bildschirm ist das schlechteste Muster überhaupt, und genau dort entsteht Straightlining.
- Halten Sie Optionen so kurz, dass sie nicht umbrechen. Optionen, die zwei Zeilen lang sind, lassen sich nicht mehr auf einen Blick vergleichen.
- Zeigen Sie Nachfragen nur, wenn sie zutreffen. Sprunglogik verringert die gefühlte Länge stärker als das Streichen von Items.
- Machen Sie die Tippflächen großzügig. Optionsfelder mit echtem Abstand dazwischen, kein dichter Stapel.
- Verwenden Sie einen Fortschrittsbalken nur, wenn er ehrlich ist. Ein Balken, der wegen der Sprunglogik zurückspringt, ist schlechter als gar keiner.
Ist ein Fragebogen qualitativ oder quantitativ?
Beides, je nachdem, was Sie hineinpacken. Das Instrument ist nicht die Methode. Ein Fragebogen aus geschlossenen Items mit festen Optionen liefert quantitative Daten. Einer aus offenen Fragen liefert qualitative Daten. Die meisten echten Instrumente enthalten etwas von beidem, und der Fehler liegt nicht darin, sich nicht festzulegen, sondern darin, es nicht bewusst zu entscheiden.
| Gestaltungsentscheidung | Quantitatives Ziel | Qualitatives Ziel |
|---|---|---|
| Worum es Ihnen geht | Wie viel, wie viele, wie es sich zwischen Gruppen unterscheidet | Warum, in wessen Worten, und wonach Sie gar nicht zu fragen dachten |
| Items | Überwiegend geschlossen, Formate vorab festgelegt | Überwiegend offene Fragen mit Nachfragen |
| Regel für die Formulierung | Für alle identisch, ohne Ausnahme | Einheitlich, aber eine Frage darf zum Ausführen einladen |
| Wie viele Personen | Genug für die geplanten Vergleiche | So viele, dass neue Antworten keine neuen Themen mehr hinzufügen |
| Was herauskommt | Anzahlen, Prozentsätze, Unterschiede zwischen Gruppen | Codierte Themen, Zitate, als Nächstes zu prüfende Hypothesen |
| Das Hauptrisiko | Präzise Antworten auf eine schlecht formulierte Frage | Reichhaltige Antworten, die Sie nicht einheitlich codieren können |
Für ein Forschungsprojekt ist die gemischte Form meist die richtige: eine kleine Anzahl geschlossener Items, die die Messung tragen, und ein oder zwei offene Fragen, die die Zahlen erklären. Am stärksten ändert sich Schritt 2, weil offene Antworten ein Codierschema brauchen und Codierschemata mehr als eine codierende Person, bevor man ihnen trauen sollte.1 Wenn Sie nicht die Items, sondern die Form der Studie wählen, gehört diese Entscheidung eine Ebene höher, ins Forschungsdesign.
Welche Regeln belegt sind und welche nur wiederholt werden
Ratschläge zu Fragebögen werden von Seite zu Seite kopiert, bis jede Regel gleich gesichert klingt. Das ist sie nicht. Manche dieser Regeln stützen sich auf jahrzehntelange Split-Sample-Experimente. Andere auf eine einzige neuere Studie, und einige der weit verbreiteten Zahlen auf gar nichts. Hier sehen Sie, wo jede Aussage dieser Seite tatsächlich steht.
| Aussage | Die Zahl | Evidenzgrad | Quelle |
|---|---|---|---|
| Die Formulierung verändert das Ergebnis | 65,2 % vs. 19,8 % sagten, es werde „zu wenig“ ausgegeben, für dieselben Programme mit der Bezeichnung „Unterstützung der Armen“ bzw. „Sozialhilfe“ | A | Rasinski 1989; Smith 19872, 3 |
| Framing verändert das Ergebnis | 68 % vs. 43 % Zustimmung, mit und ohne Zusatz zu Opfern | A | Pew Research Center8 |
| Die Reihenfolge verändert das Ergebnis | 45 % vs. 37 % Zustimmung, gleiches Item, andere Position | A | Pew Research Center 20039 |
| Itemspezifische Optionen sind besser als Zustimmung/Ablehnung | Reliabilität 0,87 bis 0,93 vs. 0,36 bis 0,73 | A | Saris und Kollegen 20104 |
| Die angegebene Länge verändert die Teilnahme | Abschluss unter denen, die begonnen hatten, sank von 68,2 % über 56,8 % auf 46,8 % bei 10, 20 und 30 angegebenen Minuten | A | Galesic und Bosnjak 200910 |
| Ein angebotenes „Weiß nicht“ wird genutzt | 15 % wählten es; nur 3 % bzw. 4 % übersprangen vergleichbare Items ohne diese Option | A | Gilljam und Granberg 19937 |
| Am Smartphone dauert es länger | 17,7 vs. 10,5 Minuten im Median, dieselben Personen, beide Geräte | A | Antoun und Kollegen 201711 |
| Fünf bis sieben Skalenstufen | Kennwerte steigen bis etwa 7 Stufen, dann flachen sie ab; die Reliabilität sinkt jenseits von 10 wieder | B | Preston und Colman 20005, 1 |
| Eine „Weiß nicht“-Option zieht Personen vom Mittelpunkt ab | Die Wahl des Mittelpunkts sank um etwa 7 bis 17 Punkte | B | Wetzelhutter 20206 |
| Straightlining ist häufig, wo es plausibel ist | 15 % bis 40 % bei plausiblen Blöcken, sonst unter 2 % | B | Schonlau und Toepoel 201513 |
| Antworten am Smartphone sind nicht einfach schlechter | Kürzere offene Antworten mobil, aber mehr Straightlining am PC | B | Mavletova 201312 |
| Doppelfragen aufteilen | Kein eindeutiger Prozentsatz; die beiden Fassungen maßen nicht dasselbe | B | Menold 202015 |
| Für Pretests gibt es keinen sicheren Haltepunkt | Mit steigender Zahl der Interviews tauchten weiter Probleme auf | B | Blair und Conrad 201114 |
Die Grade bedeuten: A repliziertes Experiment oder Synthese der gesamten Literatur. B eine starke Studie. C weit verbreitet, aber umstritten oder nicht zurückverfolgbar – deshalb trägt nichts auf dieser Seite diesen Grad.
Zahlen, die wir bewusst nicht verwendet haben
Jede davon ist in Ratschlägen zu Fragebögen verbreitet. Wir haben jede bis zu einer Quelle verfolgt und sie weggelassen.
„Die Aufmerksamkeitsspanne liegt heute bei 8 Sekunden, kürzer als bei einem Goldfisch“
Geht auf einen Marketingbericht von 2015 zurück, der eine Content-Farm-Website zitierte, deren eigene Quellen auf Nachfrage von Journalisten nicht vorgelegt werden konnten.24 Auch der Goldfisch-Vergleich ist erfunden.
„Fünf bis sieben Pretest-Interviews finden 75 bis 85 Prozent der Probleme“
Das ist ein Ergebnis aus Usability-Tests zu Softwarefehlern22, das auf kognitive Interviews übertragen wurde. Die tatsächliche Umfragestudie fand kein solches Plateau.14
„Die durchschnittliche Rücklaufquote von Umfragen beträgt [beliebige Zahl einsetzen]“
Mindestens vier unvereinbare Werte sind im Umlauf, jeder mit einer anderen versteckten Definition, wer befragt wurde. Stattdessen gibt es belegte Spannen nach Art der Stichprobe.21
„Bleiben Sie unter 10 Minuten, sonst verlieren Sie die Leute“
Die Richtung stimmt, die Klippe nicht. Die gemessene Kurve fällt gleichmäßig von 10 bis 30 angegebenen Minuten, ohne Schwellenwert.10
„Sieben plus/minus zwei, also eine 7-stufige Skala verwenden“
Millers Aufsatz von 1956 handelt vom Kurzzeitgedächtnis für Listen, nicht davon, wie viele Stufen eine Person auf einer Skala unterscheiden kann.23 Die echte Evidenz zu Skalenstufen führt ohnehin zu fünf bis sieben.5
„Doppelfragen ruinieren Ihre Daten“
Solide Regel, dünne Evidenz. Wir fanden einen einzigen eigens dafür angelegten randomisierten Test, gegenüber Dutzenden zu Formulierungs- und Reihenfolgeeffekten.15 Das sagen wir in Schritt 3, statt zu viel zu behaupten.
Sonderfälle, die Fragebögen unbemerkt zerstören
Heikle Items
Einkommen, Gesundheit, Leistungsprobleme und alles, was eine Führungskraft lesen könnte. Bei geringem Vertrauen erhöhen sie sowohl Abbrüche als auch Falschangaben. Setzen Sie sie nach hinten, erklären Sie in einem Satz, warum Sie fragen, und bieten Sie eine echte Möglichkeit, nicht zu antworten. „Keine Angabe“ ist eine verwertbare Antwort. Ein leeres Feld ist es nicht.
„Nicht zutreffend“ ist nicht „neutral“
Lassen Sie Personen, die nicht urteilen können, nicht in der Mitte Ihrer Skala landen. Geben Sie ihnen eine eigene Option außerhalb der Skala oder leiten Sie sie mit Sprunglogik am Item vorbei. Sonst verschiebt sich Ihr Durchschnitt aus einem Grund, der mit Meinung nichts zu tun hat.
Reihenfolgeeffekte in langen Listen
Optionen weit oben in einer langen Liste werden am Bildschirm häufiger gewählt. Randomisieren Sie die Reihenfolge von Marken, Gründen und Themen, und halten Sie sie nur dort fest, wo sie etwas bedeutet, etwa bei einer Häufigkeitsabstufung oder einer Reihe von Daten.
Verneinungen
„Stimmen Sie zu, dass das Onboarding nicht schwierig ist?“ zwingt die Lesenden, zwei Verneinungen aufzulösen, bevor sie antworten können. Schreiben Sie die positive Fassung und überlassen Sie die Richtung der Skala.
Übersetzung
Vermeiden Sie Redewendungen, Sportmetaphern und lokale Kürzel, denn sie überstehen keine Übersetzung und schließen Lesende aus, für die Ihre Sprache eine Zweitsprache ist. Wenn Sie übersetzen, nutzen Sie die Rückübersetzung und lassen Sie das Ergebnis von jemandem prüfen, der das Fachgebiet kennt und nicht nur die Sprache.
Wiederholte Erhebungswellen
Wenn Sie diese Runde mit der nächsten vergleichen wollen, frieren Sie die Formulierung jetzt ein. Wer ein Item zwischen zwei Wellen verbessert, misst womöglich nur die eigene Änderung. Behalten Sie die alte Formulierung, stellen Sie die bessere für eine Welle daneben und wechseln Sie dann.
Die Checkliste zur Überprüfung, bevor Sie etwas versenden
Checkliste zur Überprüfung eines Fragebogens
- Entscheidungen. Jedes Item lässt sich auf eine Entscheidung zurückführen, die Sie in Schritt 1 notiert haben.
- Formate. Das Format jedes Items wurde für das Ergebnis gewählt, in das es einfließt, nicht aus Gewohnheit.
- Zeitfenster. Jedes Verhaltens-Item nennt einen Zeitraum, und der Zeitraum passt zum Verhalten.
- Begriffe. Fachjargon wird im Fragestamm definiert. Akronyme werden einmal ausgeschrieben.
- Eine Idee. Kein Item versteckt zwei Eigenschaften, zwei Gegenstände oder zwei Zeiträume.
- Optionen. Bereiche überschneiden sich nicht, die Liste deckt realistische Antworten ab, und es gibt eine Ausweichoption.
- Skalen. Gleiche Stufen, gleiche Richtung, beschriftet, mit „Nicht zutreffend“ außerhalb der Skala.
- Neutrale Formulierung. Keine Adjektive im Fragestamm, und beide Richtungen werden angeboten.
- Reihenfolge. Filterfrage zuerst, heikle Items spät, eine Skala pro Block.
- Einleitung. Zweck, ehrliche Zeitangabe, Datenschutz, Freiwilligkeit, Kontakt. Fünf Zeilen.
- Smartphone. Auf einem echten Smartphone geöffnet, keine breiten Matrizen, keine umbrechenden Optionen.
- Lautes Vorlesen. Jemand außerhalb des Projekts hat jedes Item gelesen und jedes so verstanden wie beabsichtigt.
- Zeitangabe. Die Zahl in Ihrer Einleitung stammt aus diesem Vorlesen, nicht aus einer Schätzung.
- Codes. Übersprungen, abgelehnt und nicht zutreffend haben drei getrennte Codes.
Häufig gestellte Fragen
Was ist der erste Schritt beim Erstellen eines Fragebogens?
Die Entscheidungen aufzuschreiben, die die Ergebnisse stützen sollen. Nicht das Thema, die Entscheidungen. Solange Sie nicht sagen können, was Sie je nach Antworten anders machen werden, können Sie ein notwendiges Item nicht von einem verzichtbaren unterscheiden, und der Entwurf wächst, bis jemand die Lust daran verliert.
Was ist der Unterschied zwischen einem Fragebogen und einer Umfrage?
Der Fragebogen ist das Instrument: die Liste der Items und ihrer Antwortoptionen. Die Umfrage ist die gesamte Studie darum herum, einschließlich der Frage, wen Sie befragen, wie Sie diese Personen erreichen, wie viele Sie brauchen und was Sie mit den Ergebnissen tun. Sie können eine Umfrage mit mehreren Fragebögen durchführen und denselben Fragebogen in mehreren Umfragen.
Wie viele Fragen sollte ein Fragebogen haben?
So wenige, wie Ihre Entscheidungen erfordern. Einer Zielzahl nachzujagen ist der falsche Ansatz; zielen Sie stattdessen auf eine Bearbeitungszeit, und ermitteln Sie diese durch Ihr eigenes lautes Vorlesen statt mit einer Faustregel. Die angegebene Länge beeinflusst, wer teilnimmt: In einem kontrollierten Experiment sank der Abschluss unter denen, die begonnen hatten, von 68,2 Prozent bei angegebenen 10 Minuten auf 46,8 Prozent bei angegebenen 30 Minuten.
Wie lange sollte das Ausfüllen eines Fragebogens dauern?
Kurz genug, dass die angegebene Zeit niemanden abschreckt, und ehrlich genug, dass sie der Realität entspricht. Es gibt bei keiner bestimmten Minute eine Abbruchkante. Der gemessene Zusammenhang ist ein stetiger Rückgang der Teilnahme, je länger die angegebene Dauer ist; jedes Item, das Sie behalten, kostet Sie also etwas Rücklauf, und Sie sollten benennen können, was jedes einbringt.
Ist ein Fragebogen qualitativ oder quantitativ?
Er kann beides sein, und die meisten sind ein wenig von beidem. Geschlossene Items mit festen Optionen liefern quantitative Daten. Offene Fragen liefern qualitative Daten. Entscheidend ist, vor dem Schreiben festzulegen, wofür ein Item da ist, denn beide brauchen andere Formulierungsregeln, eine andere Zahl von Teilnehmern und eine völlig andere Auswertung.
Sollte eine Bewertungsskala einen neutralen Mittelpunkt haben?
Nehmen Sie einen auf, wenn „neutral“ eine echte Position zu dem ist, was Sie messen. Ihn zu entfernen erzwingt keine verborgene Meinung; die Leute wählen dann mehr oder weniger zufällig unter den Stufen nahe der Mitte. Entscheiden Sie außerdem über den Mittelpunkt und eine „Weiß nicht“-Option gemeinsam, denn das Angebot von „Weiß nicht“ senkt die Wahl des Mittelpunkts um etwa 7 bis 17 Prozentpunkte.
Wann sollte ich eine Option „Weiß nicht“ anbieten?
Wenn die befragte Person die Information womöglich wirklich nicht hat, etwa einen Tarifnamen, ein Datum oder ein technisches Detail. Vermeiden Sie sie bei Fragen zur eigenen Erfahrung, die fast alle beantworten können. Ein bequemer Ausweg wird genutzt: Bei einem Einstellungs-Item wählten 15 Prozent „Weiß nicht“, wenn es angeboten wurde, während nur 3 bis 4 Prozent vergleichbare Items ohne diese Option übersprangen.
Wie viele offene Fragen sollte ich verwenden?
Eine oder zwei, dort platziert, wo sie sich lohnen, meist als Nachfrage zu einer bestimmten geschlossenen Antwort und als abschließendes Sammelfeld. Offene Antworten sind der einzige Weg zu erfahren, was Ihre Optionsliste vergessen hat, aber sie brauchen ein Codierschema und mehr als eine codierende Person, bevor die Ergebnisse etwas bedeuten, und dieser Aufwand ist real.
Wie testet man einen Fragebogen vor dem Versand?
In zwei Durchgängen. Ein Pretest prüft das Verständnis: Lassen Sie Personen jedes Item laut vorlesen und erklären, was es ihrer Meinung nach bedeutet und wie sie ihre Antwort gewählt haben. Eine Pilotstudie ist ein kleiner Echtlauf, der die Daten prüft: Abbruchstellen, Abdeckung der Optionen, Verhalten der Skalen und ob Ihre geplante Auswertung tatsächlich funktioniert. Machen Sie den Pretest zuerst, denn er verändert die Formulierung.
Welches Forschungsdesign verwendet einen Fragebogen?
Ein Fragebogen ist ein Instrument zur Datenerhebung, kein Design, und kommt daher in mehreren Designs vor. Querschnittsstudien setzen ihn zu einem einzigen Zeitpunkt ein. Trend- und Panelstudien wiederholen ihn über die Zeit. Experimente nutzen ihn, um Ergebnisse nach einer Manipulation zu messen. Die Wahl zwischen diesen ist eine Entscheidung über das Studiendesign, die eine Ebene über der Formulierung der Items liegt.
Wie validiert man einen Fragebogen?
Ein paar neue Items, die etwas Konkretes messen, brauchen einen Pretest, keine psychometrische Validierung. Eine Skala, die etwas Abstraktes messen und zwischen Gruppen verglichen oder von anderen wiederverwendet werden soll, braucht mehr: eine inhaltliche Prüfung durch Fachleute, eine Pilotstudie, die groß genug ist, um zu prüfen, ob die Items zusammenpassen, und Belege, dass die Werte so mit einem äußeren Kriterium zusammenhängen, wie Sie es vorhergesagt haben. Wenn für Ihr Konstrukt bereits ein validiertes Instrument existiert, verwenden Sie dieses, statt ein eigenes zu schreiben.
Wie dieser Leitfaden entstanden ist und was er nicht abdeckt
Die Abfolge der sieben Schritte folgt dem Entwicklungsprozess, den die Fachliteratur zur Fragebogenmethodik beschreibt16, 17, 18, 20, und nicht dem Rahmenwerk eines einzelnen Anbieters. Jede Zahl auf dieser Seite stammt aus einem veröffentlichten Experiment oder einem offiziellen methodischen Bericht, die unten aufgeführt sind. Jede wurde vor der Verwendung bewertet, und der Grad steht in der Evidenztabelle neben der Aussage.
Aussagen, die wir nicht auf eine Primärquelle zurückführen konnten, haben wir weggelassen; die häufigsten davon sind unter „Zahlen, die wir bewusst nicht verwendet haben“ aufgeführt, damit Sie sie anderswo erkennen. Wo eine Regel solide, die direkte Evidenz aber dünn ist, etwa beim Aufteilen von Doppelfragen, sagt die Seite das, statt sich Sicherheit von einem stärkeren Befund zu borgen.
Der Großteil der experimentellen Evidenz hier stammt aus Umfragen in den USA und Westeuropa, überwiegend mit Stichproben aus der Allgemeinbevölkerung und aus Web-Panels. Effektgrößen für Formulierung und Reihenfolge lassen sich nicht unverändert auf jede Sprache, jedes Thema oder jede Grundgesamtheit übertragen, und nichts davon wurde an Ihren Teilnehmern getestet. Betrachten Sie die Zahlen als Beleg dafür, dass diese Effekte real sind und groß sein können, nicht als Konstanten, die Sie einsetzen können.
Das ausgearbeitete Beispiel ist ein konstruierter Fall, der alle sieben Schritte an einer Stelle zeigen soll. Es ist kein Bericht über eine echte Studie, und der darin beschriebene Pretest dient der Veranschaulichung.
Diese Seite behandelt das Instrument. Sie behandelt nicht, wen Sie befragen, wie viele Sie befragen oder wie Sie die Rückläufe auswerten. Das sind eigene Aufgaben, behandelt unter Stichprobenziehung, Stichprobengröße und statistische Signifikanz.
SuperSurvey entwickelt Umfragesoftware, daher haben wir ein kommerzielles Interesse daran, dass Menschen Umfragen durchführen. Dieser Leitfaden ist kostenlos lesbar, und seine Ratschläge gelten für jede Umfrageplattform. Die Item-Prüfung läuft vollständig in Ihrem Browser und sendet nichts irgendwohin. Links zu unserem Editor und unserer Vorlagenbibliothek bieten Möglichkeiten, den Fragebogen in die Praxis umzusetzen.
Quellen
- Krosnick, J. A., & Presser, S. (2010). Question and questionnaire design. In P. V. Marsden & J. D. Wright (Hrsg.), Handbook of Survey Research (2. Aufl., Kap. 9). Emerald.
- Rasinski, K. A. (1989). The effect of question wording on public support for government spending. Public Opinion Quarterly, 53(3), 388-394. doi.org/10.1086/269158
- Smith, T. W. (1987). That which we call welfare by any other name would smell sweeter. Public Opinion Quarterly, 51(1), 75-83. doi.org/10.1086/269015
- Saris, W. E., Revilla, M., Krosnick, J. A., & Shaeffer, E. M. (2010). Comparing questions with agree/disagree response options to questions with item-specific response options. Survey Research Methods, 4(1), 61-79. doi.org/10.18148/srm/2010.v4i1.2682
- Preston, C. C., & Colman, A. M. (2000). Optimal number of response categories in rating scales. Acta Psychologica, 104(1), 1-15. doi.org/10.1016/S0001-6918(99)00050-5
- Wetzelhutter, D. (2020). Scale-sensitive response behavior: consequences of offering versus omitting a "don't know" option and/or a middle category. Survey Practice, 13(1). doi.org/10.29115/SP-2020-0012
- Gilljam, M., & Granberg, D. (1993). Should we take don't know for an answer? Public Opinion Quarterly, 57(3), 348-357. doi.org/10.1086/269380
- Pew Research Center. Writing survey questions. Methodenerklärung. pewresearch.org/writing-survey-questions
- Pew Research Center (18. November 2003). Religious beliefs underpin opposition to homosexuality, Part 2: Gay marriage. pewresearch.org/politics/2003/11/18/part-2-gay-marriage
- Galesic, M., & Bosnjak, M. (2009). Effects of questionnaire length on participation and indicators of response quality in a web survey. Public Opinion Quarterly, 73(2), 349-360. doi.org/10.1093/poq/nfp031
- Antoun, C., Couper, M. P., & Conrad, F. G. (2017). Effects of mobile versus PC web on survey response quality. Public Opinion Quarterly, 81(S1), 280-306. doi.org/10.1093/poq/nfw088
- Mavletova, A. (2013). Data quality in PC and mobile web surveys. Social Science Computer Review, 31(6), 725-743. doi.org/10.1177/0894439313485201
- Schonlau, M., & Toepoel, V. (2015). Straightlining in web survey panels over time. Survey Research Methods, 9(2), 125-137. doi.org/10.18148/srm/2015.v9i2.6128
- Blair, J., & Conrad, F. G. (2011). Sample size for cognitive interview pretesting. Public Opinion Quarterly, 75(4), 636-658. doi.org/10.1093/poq/nfr035
- Menold, N. (2020). Double barreled questions: an analysis of the similarity of elements and effects on measurement quality. Journal of Official Statistics, 36(4), 855-886. doi.org/10.2478/jos-2020-0041
- Rattray, J., & Jones, M. C. (2007). Essential elements of questionnaire design and development. Journal of Clinical Nursing, 16(2), 234-243. doi.org/10.1111/j.1365-2702.2006.01573.x
- Boparai, J. K., Singh, S., & Kathuria, P. (2019). How to design and validate a questionnaire: a guide. Current Clinical Pharmacology, 13(4), 210-215. doi.org/10.2174/1574884713666180807151328
- Slattery, E. L., Voelker, C. C. J., Nussenbaum, B., Rich, J. T., Paniello, R. C., & Neely, J. G. (2011). A practical guide to surveys and questionnaires. Otolaryngology-Head and Neck Surgery, 144(6), 831-837. doi.org/10.1177/0194599811399724
- Edwards, P. (2010). Questionnaires in clinical trials: guidelines for optimal design and administration. Trials, 11, 2. doi.org/10.1186/1745-6215-11-2
- Stone, D. H. (1993). Design a questionnaire. BMJ, 307(6914), 1264-1266. pmc.ncbi.nlm.nih.gov/articles/PMC1679392
- American Association for Public Opinion Research (2022). Data quality metrics for online samples: considerations for study design and analysis. Bericht der Arbeitsgruppe. aapor.org, Bericht der Arbeitsgruppe (PDF)
- Nielsen, J., & Landauer, T. K. (1993). A mathematical model of the finding of usability problems. Proceedings of ACM INTERCHI '93, 206-213. doi.org/10.1145/169059.169166
- Miller, G. A. (1956). The magical number seven, plus or minus two. Psychological Review, 63(2), 81-97. doi.org/10.1037/h0043158
- Maybin, S. (10. März 2017). Busting the attention span myth. BBC News. bbc.com/news/health-38896790
Jede DOI oben wurde am 21. August 2026 über den DOI-Resolver geprüft, und jeder Link wurde auf Erreichbarkeit getestet.