Das Forschungsdesign einer Umfrage ist der Plan für eine Studie, die standardisierte Antworten einer Stichprobe von Personen erhebt und damit eine größere Grundgesamtheit beschreibt oder erklärt. Es legt fünf Dinge fest, bevor eine einzige Frage geschrieben wird: was Sie schätzen wollen, wen Sie befragen, wie Sie diese Personen auswählen, wie Sie sie erreichen und wie Sie die Rückläufe auswerten1, 4.
Die meiste Umfrageforschung ist beobachtend: Sie hält fest, was Menschen angeben, ohne eine Intervention zuzuweisen. Sie kann eine Grundgesamtheit beschreiben oder Zusammenhänge untersuchen, doch diese Ergebnisse allein belegen keine Kausalität. Ein Umfrageexperiment fügt eine zufällige Zuweisung hinzu, um eine bestimmte Änderung zu testen, etwa die Formulierung einer Frage.
Was ist ein Forschungsdesign für Umfragen? Definition, Zweck und Einsatz
Die übliche Definition von Umfrageforschung: der Einsatz eines standardisierten Fragebogens oder Interviews, um Daten über Menschen zu erheben, also darüber, was sie tun, denken, wissen oder bevorzugen4. Das Design ist die Gesamtheit der Entscheidungen, die diese Antworten als Evidenz nutzbar machen. Fowler bringt es einfach auf den Punkt: Ziel ist es, durch die Befragung einer Stichprobe Statistiken über eine Grundgesamtheit zu gewinnen, und das Design ist alles, was Stichprobe und Fragen auf dieses Ziel ausrichtet3.
In einem Methodenkapitel erscheint derselbe Plan als Studiendesign einer Umfrage, Umfragedesign in der Forschung oder Methodik des Umfragedesigns; alle drei meinen den hier beschriebenen Plan. Es hilft, drei Begriffe auseinanderzuhalten. Der Fragebogen ist das Instrument. Die Umfrage ist die gesamte Studie darum herum. Die Umfragemethodik ist die Forschung darüber, wie man Umfragen gut durchführt, gegliedert nach den Fehlerquellen, die ein Design kontrollieren muss: Abdeckung, Stichprobenziehung, Nonresponse, Messung und Verarbeitung1. Ein gutes Design benennt jedes dieser Risiken und unternimmt etwas dagegen.
Der Zweck einer Umfrage ist, etwas zu beziffern, das nur Menschen Ihnen sagen können, und zwar für eine Gruppe, die größer ist als die Befragten. Setzen Sie ein Umfragedesign ein, wenn die Menschen selbst das Gesuchte am besten kennen (Zufriedenheit, Absichten, Meinungen, privates Verhalten), wenn Sie eine Zahl für eine definierte Gruppe brauchen statt einer Geschichte von wenigen Personen und wenn Sie eine Stichprobe erreichen können, die dieser Gruppe ähnelt. Verzichten Sie darauf, wenn die Antwort bereits irgendwo erfasst ist (Umsätze, Protokolle, Anwesenheit), wenn Sie eine Ursache beweisen müssen oder wenn die Antwortenden nicht die Personen sind, die Sie beschreiben müssen. Sehen Sie sich dafür korrelative Forschung für Fragen nach Zusammenhängen und ein Experiment für kausale Fragen an.
Ist Umfrageforschung quantitativ oder qualitativ?
Quantitativ, in fast jedem Fall. Eine Umfrage macht aus Antworten Anzahlen, Prozentsätze, Mittelwerte und Korrelationen und wird statistisch ausgewertet. Creswell ordnet Umfragen neben Experimenten als quantitatives Design ein9. Zu Mixed Methods wird eine Umfrage, wenn offene Fragen zu Themen codiert und neben den Zahlen berichtet werden, und qualitativ ist sie nur, wenn das gesamte Instrument aus offenen Fragen besteht, die auf ihre Bedeutung hin ausgewertet werden – das kommt einer strukturierten Interviewstudie näher als einer Umfrage.
Die Frage wird so oft gestellt, weil Likert-Items eher wie Meinungen als wie Messungen aussehen. Sie sind trotzdem Zahlen. Wenn Sie beschreiben müssen, wie viele, wie viel oder wie oft, führen Sie eine quantitative Umfrage durch; wenn Sie das Warum in den eigenen Worten der Menschen verstehen wollen, fügen Sie zwei oder drei offene Fragen hinzu und behandeln Sie deren Codierung als eigenen, qualitativen Schritt.
Arten von Forschungsdesigns für Umfragen
Umfragedesigns werden nach drei getrennten Achsen benannt, und ein Methodenkapitel braucht meist von jeder einen Begriff: den Zweck (wofür die Zahlen da sind), die zeitliche Struktur (wann und wie oft Sie messen) und den Modus (wie die Menschen antworten). „Eine deskriptive Online-Umfrage im Querschnittsdesign“ ist eine vollständige Designangabe.
| Designart | Was es beantwortet | Beispiel | Hauptgrenze |
|---|---|---|---|
| Deskriptiv | Wie viele, wie viel, wie oft. Ein Niveau oder ein Anteil für eine definierte Gruppe. | Welcher Anteil der Kunden uns in diesem Quartal weiterempfehlen würde | Sagt nichts über das Warum |
| Analytisch (korrelativ) | Ob zwei Dinge zusammenhängen und wie stark. | Wollen Mitarbeitende, die ihre Führungskraft besser bewerten, auch länger bleiben? | Zusammenhang ist keine Ursache |
| Explorativ | Welche Themen, Kategorien und Begriffe es gibt, bevor Sie sie messen können. | Offene Fragen an eine kleine Stichprobe vor einer vollständigen Studie | Nicht verallgemeinerbar; führt zu einer zweiten Umfrage |
| Querschnitt | Eine Momentaufnahme: eine Messung zu einem Zeitpunkt. | Jährliche Mitarbeiterbefragung | Kann Alterseffekte nicht von Periodeneffekten trennen |
| Wiederholter Querschnitt (Trend) | Veränderung in der Grundgesamtheit, mit einer neuen Stichprobe in jeder Welle. | Monatliches Marken-Tracking | Veränderung kann Stichprobenrauschen sein, wenn die Wellen nicht abgestimmt sind |
| Längsschnitt (Panel oder Kohorte) | Veränderung bei denselben Personen und was ihr vorausging. | Dieselben neuen Mitarbeitenden nach 30, 90 und 180 Tagen | Panelschwund, Lerneffekte, Kosten |
| Umfrageexperiment | Ob eine Formulierung, Botschaft oder Idee eine andere Antwort verursacht. | Die Hälfte sieht Preis A, die andere Preis B, Kaufabsicht vergleichen | Nur das manipulierte Element ist kausal |
| Modus: online, telefonisch, postalisch, persönlich, gemischt | Wen Sie erreichen können und wie die Menschen antworten. | Einladung per E-Mail zur Web-Umfrage, mit telefonischer Nachfassaktion bei Nichtantwortenden | Der Modus verändert Antworten; halten Sie die Formulierung über alle Modi identisch |
Querschnitt
- Eine Welle, eine Stichprobe, ein Zeitraum: das Querschnittsdesign, das die meisten Abschlussarbeiten und Pulsbefragungen verwenden.
- Am günstigsten und schnellsten; der Standard für eine Abschlussarbeit oder eine Pulsbefragung.
- Kann Gruppen vergleichen (nach Alter, Region, Tarif), aber keine Einzelpersonen verfolgen.
- Formulieren Sie es als „eine Querschnittsbefragung von N [Grundgesamtheit] zwischen [Daten]“.
Längsschnitt
- Zwei oder mehr Wellen, jedes Mal dieselben Personen.
- Zeigt, wer sich verändert hat und was zuerst kam; das einzige Umfragedesign, das einer zeitlichen Abfolge nahekommt.
- Braucht Kennungen, eine Einwilligung zur erneuten Kontaktaufnahme und einen Plan für die 20 bis 40 Prozent, die zwischen den Wellen ausscheiden.
- Wenn Sie nur den Trend in der Grundgesamtheit brauchen, ist ein wiederholter Querschnitt einfacher.
Zwei Hinweise zur Benennung im Methodenkapitel. „Deskriptives Forschungsdesign“ und „Querschnitt“ sind keine Gegensätze; die meisten studentischen Umfragen sind beides. Und eine Umfrage, die Gruppen vergleicht, bleibt nicht experimentell, solange Sie die Personen diesen Gruppen nicht zugewiesen haben; nennen Sie sie also analytisch oder korrelativ, nicht quasi-experimentell9.
Welches Forschungsdesign brauchen Sie für Ihre Umfrage?
Beantworten Sie drei Fragen, und die Auswahlhilfe nennt das Design, erklärt es in einem Absatz und schreibt einen Methodensatz, den Sie einfügen und ergänzen können. Sie läuft in Ihrem Browser und sendet nichts irgendwohin.
Deskriptive Umfrage im Querschnitt (online)
Eine Stichprobe, einmal gemessen, berichtet als Niveaus und Anteile. Sie beantwortet, wie viele und wie viel für die Grundgesamtheit, aus der Sie die Stichprobe gezogen haben, und nichts über Veränderung oder Ursache.
Der Satz folgt dem Designvokabular bei Creswell und Groves et al.9, 1 Ergänzen Sie die Methode der Stichprobenziehung aus Schritt 3 und die Begründung der Stichprobengröße aus Schritt 4, dann ist der Absatz zum Design fertig.
Methoden der Umfrageforschung: eine Umfragestudie in 8 Schritten planen
Die Reihenfolge ist wichtig. Jeder Schritt grenzt den nächsten ein, und jeder ausgelassene Schritt kehrt als Einschränkung zurück, die Sie später beschreiben müssen. Wo ein Schritt auf dieser Website einen eigenen Leitfaden hat, führt der Link dorthin; diese Seite hält die Entscheidung fest, nicht das Detail.
Halten Sie Entscheidung und Grundgesamtheit in einem Satz fest
„Unter den aktiven Kunden in den USA im 2. Quartal den Anteil schätzen, der uns weiterempfehlen würde, insgesamt und nach Tarif.“ Dieser Satz legt die Zielgrundgesamtheit fest, den benötigten Stichprobenrahmen, die Analyseeinheit und die Schätzungen, die Sie versprechen. Wenn Sie ihn nicht schreiben können, sind Sie noch nicht bereit, Fragen zu schreiben.
Wählen Sie die Designart
Deskriptiv oder analytisch; Querschnitt, wiederholt oder Längsschnitt; ein Modus oder gemischt. Nutzen Sie die Auswahlhilfe oben und die Tabelle der Designarten. Eine Momentaufnahme braucht eine Welle. Ein Trend braucht eine identische Formulierung über alle Wellen. Eine Frage nach dem „Wer hat sich verändert“ braucht dieselben Personen, eine Einwilligung zur erneuten Kontaktaufnahme und einen Plan, sie zu halten.
Wählen Sie das Stichprobenverfahren und benennen Sie die Verzerrung, die Sie in Kauf nehmen
Probabilistische Stichprobenziehung (jedes Element des Stichprobenrahmens hat eine bekannte Auswahlwahrscheinlichkeit größer null) ist das, was einer Fehlerspanne Bedeutung gibt. Gelegenheits-, Freiwilligen- und Opt-in-Stichproben sind für Produktfeedback und Pulsbefragungen in Ordnung, aber die Aussage schrumpft auf die Personen, die Sie erreicht haben. Die neun Verfahren werden unter Stichprobenziehung in der Forschung verglichen. Was Sie auch wählen: Listen Sie die drei wichtigsten Arten auf, wie Ihre Stichprobe von der Grundgesamtheit abweichen könnte (Abdeckung, Selbstselektion, Nonresponse), und je eine Prüfung dafür, etwa den Vergleich früher mit später Antwortender oder der Zusammensetzung Ihrer Stichprobe mit einem bekannten Vergleichswert1, 5.
Legen Sie die Stichprobengröße fest und rechnen Sie dann auf die Einladungen zurück
Für einen Anteil bei 95 Prozent Konfidenzniveau und 5 Punkten Fehlerspanne reichen etwa 385 abgeschlossene Beantwortungen für jede große Grundgesamtheit; für 3 Punkte braucht es etwa 1.068. Kleine Grundgesamtheiten brauchen weniger: 218 bei einer Grundgesamtheit von 500, 278 bei 1.000, 370 bei 10.000. Untergruppen, die Sie vergleichen wollen, brauchen jeweils eine eigene Untergrenze, meist 100 oder mehr. Dann gilt: benötigte Einladungen = abgeschlossene Beantwortungen / (Teilnahmeberechtigungsquote × Rücklaufquote × Abschlussquote). Für 300 abgeschlossene Beantwortungen bei 90 Prozent Berechtigten, 25 Prozent Rücklaufquote und 80 Prozent Abschluss sind das 1.667 Einladungen. Der Stichprobenrechner übernimmt die Rechnung und die Fehlerspanne.
Zwei Werte aus unseren eigenen Daten helfen hier. Umfragen mit drei oder mehr Fragen werden zu etwa 81 Prozent abgeschlossen, sobald jemand begonnen hat; 0,8 ist also ein vernünftiger Standardwert für den letzten Faktor. Und eine Umfrage sammelt 62,8 Prozent all dessen, was sie je erhalten wird, am ersten Tag und 86 Prozent innerhalb einer Woche; planen Sie den Erhebungszeitraum also um den Versand herum, nicht um den Kalender.
Wählen Sie die Erhebungsmethode (Modus) und den Kontaktplan
Die Erhebungsmethode, also der Modus, bestimmt, wen Sie erreichen, wie die Menschen antworten und was es kostet. Die wichtigsten Erhebungsmethoden sind online, telefonisch, postalisch, persönlich und gemischt. Online ist schnell und günstig und beherrscht Verzweigungen; telefonisch und persönlich erreichen Gruppen ohne E-Mail und erlauben Rückfragen an eine interviewende Person, um den Preis von Interviewereffekten und Kosten; postalisch erreicht wenig digitale Gruppen, aber langsam; ein gemischter Modus erhöht die Abdeckung, verschiebt aber Antworten, wenn Formulierung und Layout nicht identisch bleiben2. Planen Sie die Kontakte als Teil des Designs: Dillmans Tailored Design nutzt mehrere zeitlich abgestimmte Kontakte (Vorankündigung, Einladung, Erinnerung, letzte Erinnerung), jeweils anders formuliert2. Bei SuperSurvey kommen 73,9 Prozent aller Beantwortungen von einem Smartphone; ein Online-Design ist also ein mobiles Design, ob Sie es geplant haben oder nicht.
Gestalten Sie das Instrument passend zur Auswertung
Definieren Sie jedes Konstrukt in einfachen Worten und wählen Sie dann das Format, das die Auswertung braucht: Kategorien für einen Prozentsatz, eine Bewertungs- oder Zustimmungsskala für einen Mittelwert oder Top-Box-Wert, eine Idee pro Item, einfache und relevante Fragen zuerst, heikle Items spät8, 7. Wo es für Ihr Konstrukt ein validiertes Instrument gibt, verwenden und zitieren Sie es. Das Schreiben ist eine eigene Aufgabe: siehe Fragebogen erstellen für das Vorgehen in sieben Schritten, Fragen für Umfragen formulieren für die Formulierung und Likert-Skalen im Vergleich zu Bewertungsskalen für die Wahl zwischen beiden. Zwei strukturelle Entscheidungen lohnen sich hier, weil der Vergleich unten sie beziffert: Machen Sie Fragen zu Pflichtfragen (das kostet 0,4 Punkte Abschlussquote und liefert 13 Prozent mehr Antworten), und enden Sie nie mit einer E-Mail-Adresse oder einem offenen Textfeld.
Pretest, Pilotstudie, dann Start
Führen Sie einen Pretest mit einer Handvoll Personen aus der Zielgruppe durch, die laut denken, um Probleme bei Formulierung und Logik zu finden; machen Sie dann eine Pilotstudie mit einem kleinen Teil der echten Liste, um Bearbeitungszeit, Abbruchstellen und das Verhalten von Filterfragen und Quoten zu prüfen3, 5. Erstellen Sie die Pilotversion in einem kostenlosen Online-Umfrage-Tool, damit sie mit derselben Sprunglogik, denselben Pflichteinstellungen und demselben Smartphone-Layout läuft wie der echte Versand. Bringen Sie die Einladung vor der Erinnerung in Ordnung: Nennen Sie Zweck, Dauer, Schlussdatum und nur das Datenschutzversprechen, das Sie halten können. Anonym bedeutet, dass Sie keine Kennungen erheben; vertraulich bedeutet, dass Sie sie besitzen und den Zugriff beschränken. Die Einstellungen dazu finden Sie unter Datenschutz bei Umfragen; wenn das Thema jemanden gefährden könnte, berichten Sie nur aggregierte Werte und unterdrücken Sie kleine Zellen.
Planen Sie Auswertung und Qualitätsregeln vor der Feldphase
Schreiben Sie zuerst die Bereinigungsregeln (Duplikate, unmögliche Bearbeitungszeiten im Vergleich zum Median der Pilotstudie, Straightlining in Matrizen), die primären Zielgrößen, die Untergruppen mit ihren Mindestgrößen, gegebenenfalls die Gewichtungsvariablen und die Signifikanzregel, die Sie anwenden werden1. Berichten Sie die Rücklaufquote nach den Standarddefinitionen der AAPOR, damit die Zahl für Lesende anderswo dasselbe bedeutet6. Danach trennt der Bericht, was Sie gefunden haben, davon, wie Sie es gefunden haben: Grundgesamtheit, Stichprobenrahmen, Modus, Feldzeit, abgeschlossene Beantwortungen, Gewichtung, Einschränkungen. Statistische Signifikanz und Antwortverzerrung behandeln die beiden Interpretationsfallen; quantitative Datenanalyse behandelt den Rest.
An den Schritten 7 und 8 scheitern die meisten Umfragedesigns in der Praxis, nicht am Fragebogen. Ein Pretest kostet einen Tag; eine Bereinigungsregel, die Sie erst nach Sichtung der Ergebnisse erfinden, kostet Ihre Glaubwürdigkeit.
Was 2,27 Millionen Beantwortungen über Umfragedesign verraten
Um zu untersuchen, wie Designentscheidungen mit dem Abschluss zusammenhängen, haben wir Datensätze aus dem SuperSurvey-Umfrage-Tool von September 2023 bis August 2026 ausgewertet: wo Menschen aufgehört haben, was sie übersprungen haben und wie lange verschiedene Fragetypen dauerten. Es sind beobachtende Vergleiche; sie können eine Pilotstudie informieren, beweisen aber nicht, dass die Änderung einer Einstellung in jeder Umfrage dasselbe Ergebnis bringt.
1. Menschen steigen nicht in der Mitte aus
Jede Linie folgt 100 Personen, die eine Umfrage dieser Länge geöffnet haben; die Höhe bei Frage 7 ist der Anteil, der bis dahin noch antwortet. Die Umfragen werden gleich gewichtet gemittelt, sodass keine einzelne große Umfrage die Kurve trägt.
Die erste Frage kostet sechs bis zehn Punkte. Die zweite kostet vier, die dritte zweieinhalb, und danach ist die Linie fast flach, so lange die Umfrage läuft. Dann nimmt die letzte Frage in einem einzigen Schritt weitere acht bis elf Punkte. Alles dazwischen kostet etwa einen Punkt pro Frage, ob die Umfrage fünf oder dreißig Fragen hat.
Eine Beantwortung wird erst erfasst, wenn jemand interagiert; Personen, die die Umfrage geöffnet und sofort geschlossen haben, sind also nicht im Nenner, und der echte Verlust am Eingang ist größer. 6,7 Prozent derer, die beginnen, beantworten nie etwas. Das Abflachen nach der dritten Frage gilt in jeder Längenklasse.
2. Die letzte Frage wird übersprungen, nicht abgebrochen
Womit Sie enden, verändert, wie viel der gesamten Umfrage Sie zurückbekommen. Gemessen innerhalb gleicher Klassen der Fragenzahl, im Vergleich zu Umfragen, die mit einer Multiple-Choice-Frage enden:
Wer mit einer Bewertungsskala endet, bekommt 4,7 Punkte mehr seiner Umfrage zurück als mit einer Multiple-Choice-Frage. Wer mit einer E-Mail-Adresse endet, bekommt 15,2 Punkte weniger. Das ist eine Spanne von neunzehn Punkten durch eine Entscheidung, die sich in zwei Sekunden ändern lässt.
n = 106 Umfragen, die mit einer Bewertungsskala enden, und 90, die mit einer E-Mail-Adresse enden, gegenüber 2.504, die mit einer Multiple-Choice-Frage enden. Die E-Mail-Zeile ist die dünnste Zahl in diesem Abschnitt; betrachten Sie ihre Größe als ungefähr und ihre Richtung als belastbar.
3. Pflichtfragen kosten fast nichts, mit einer Ausnahme
Der häufigste Ratschlag zu Umfragen lautet, Fragen optional zu lassen, damit niemand abspringt. Innerhalb gleicher Klassen der Fragenzahl verglichen, werden Umfragen, in denen jede Frage Pflicht ist, zu 81,2 Prozent abgeschlossen (899 Umfragen), gegenüber 80,8 Prozent, wenn jede Frage optional ist (4.365 Umfragen). Diese +0,4 Punkte sind ein Nullergebnis. Pflichtantworten liefern 13 Prozent mehr Antworten pro Person, die beginnt: 88 Prozent der Fragen beantwortet gegenüber 78 Prozent. Dennoch machen 69,5 Prozent der Ersteller von Umfragen alles optional.
4. Jeder Fragetyp mit seinem Preis
Wie oft jeder Typ beantwortet wird, sobald eine befragte Person ihn erreicht, und wie lange die mediane Person dafür braucht. Diese Werte beruhen auf Millionen von Abfragen und hängen daher nicht davon ab, an welches Publikum ein Typ typischerweise geht.
| Fragetyp | Beantwortet, wenn erreicht | Mediane Zeit | Anzahl Abfragen |
|---|---|---|---|
| Bewertungsskala (1 bis 10) | 96.2% | 5.0s | 159,545 |
| Net Promoter Score | 95.0% | 4.0s | 3,013 |
| Rangfolge | 95.2% | 25.0s | 25,878 |
| Sternebewertung | 93.7% | 4.6s | 57,468 |
| Dropdown-Liste | 91.7% | 6.3s | 106,256 |
| Kontrollkästchen | 88.9% | 8.1s | 624,893 |
| Multiple Choice | 86.0% | 4.9s | 2,301,606 |
| Kurzes Textfeld | 79.4% | 10.6s | 379,279 |
| Matrix | 77.4% | 19.9s | 23,579 |
| Langes Textfeld | 69.7% | 16.2s | 267,430 |
| E-Mail-Adresse | 62.2% | 8.4s | 21,475 |
Eine Bewertungsskala beantworten 96,2 Prozent der Personen, die sie sehen, in fünf Sekunden. Eine Rangfolgefrage wird fast genauso oft beantwortet, dauert aber 25 Sekunden, und Umfragen mit einer solchen Frage werden um 7,2 Punkte seltener abgeschlossen. Langer Text ist der andere Kostenfaktor: 69,7 Prozent beantwortet und 5,8 Punkte weniger Abschluss für die Umfrage, die ihn enthält. Das ist der empirische Beleg für den Lehrbuchrat, geschlossene Items zum Messen zu nutzen und offene sparsam.
Nur 163 Umfragen mit einer Rangfolgefrage erreichten die Untergrenze von 20 Beantwortungen; betrachten Sie die 7,2 Punkte daher als grobe Größenordnung. Der Fragetyp steht zudem teilweise dafür, an wen die Umfrage ging: Rangfolgefragen finden sich in der Marktforschung bei Fremden, Bewertungsskalen in Feedbackformularen für Kunden.
5. Länge kostet weniger, als man Ihnen erzählt hat
Die blauen Balken sind der Abschluss. Die orange Linie ist das, was Sie mitnehmen: gesammelte Antworten pro Person, die beginnt.
Der Schritt von fünf auf zwanzig Fragen kostet etwa 8,4 Punkte Abschluss und bringt das 3,5-Fache an Daten. Es gibt keine Länge, bei der die Gesamtmenge aufhört zu steigen. Die mediane Umfrage hat 5 Fragen und ist nach 71 Sekunden vorbei; selbst eine Umfrage mit 20 bis 29 Fragen ist im Median in unter 4 Minuten erledigt. Unter zehn Fragen schließen Smartphones zu 83,7 Prozent ab gegenüber 83,1 Prozent am Desktop; über fünfzehn Fragen öffnet sich die Lücke auf zwei bis fünf Punkte. Länge ist zuerst ein Mobilproblem und erst dann ein Längenproblem.
Lange Umfragen werden überproportional von Organisationen mit einem festen Publikum durchgeführt, etwa einem Arbeitgeber, einer Hochschule oder einer Schule. Eine Umfrage mit dreißig Fragen an Fremde sollte mit schlechteren Werten rechnen. Was zur Umfrage gehört und nicht zu ihrem Publikum, ist die Form: gleichmäßige Kosten von etwa einem Punkt pro Frage in der Mitte, in jeder Längenklasse.
6. Beantwortungen kommen schubweise, und die Hälfte der Umfragen bekommt nie eine
Kumulierter Anteil der Beantwortungen einer Umfrage, gezählt ab dem Tag der ersten Beantwortung, für 4.718 Umfragen mit mindestens 20 Beantwortungen und vollen 90 Tagen im Feld. Die mediane Umfrage hat innerhalb von drei Tagen 75,8 Prozent all dessen, was sie je sammeln wird, und innerhalb einer Woche 86 Prozent; sie einen Monat offen zu lassen, bringt 9,7 Punkte mehr. Eine Umfrage ist ein Start, kein langsames Glimmen. Und 52,0 Prozent aller erstellten Umfragen erhalten nie eine einzige Beantwortung; damit ist der Versand, nicht der Aufbau, der schwierige Teil eines Umfragedesigns.
Das spiegelt wider, wie Menschen Umfragen teilen – in einem Schwung von Links –, und ist kein Naturgesetz. Eine Umfrage, die in eine viel besuchte Seite eingebettet ist, sammelt monatelang weiter. „Nie eine Beantwortung erhalten“ umfasst Entwürfe und Übungsumfragen; es ist keine Fehlerquote.
Was keinen Unterschied machte
Auf dieselbe Weise gemessen, innerhalb gleicher Klassen der Fragenzahl abgeglichen: ein eigenes Design und Markenfarben, minus 1,1 Punkte; automatisches Weiterschalten zur nächsten Frage, minus 0,6; zufällige Fragereihenfolge, plus 1,2 bei nur 123 Umfragen; ein Fortschrittsbalken, plus 2,7, der größte kosmetische Hebel und dennoch kleiner als jeder strukturelle oben. Die Hebel, die man sieht, verschieben den Abschluss um null bis drei Punkte. Die unsichtbaren – womit Sie enden, was Sie zur Pflicht machen und zu welchem Fragetyp Sie greifen – verschieben ihn um fünf bis vierundvierzig.
Wie das gemessen wurde und was es nicht misst
Der Datenbestand
Jede Umfrage, die zwischen dem 16. September 2023 und dem 25. August 2026 bei SuperSurvey erstellt wurde, aus den Produktionsdaten gelesen statt als Stichprobe gezogen: 122.887 Umfragen von 58.621 Erstellern, von denen 58.938 mindestens eine Beantwortung sammelten, insgesamt 2.274.520 Beantwortungen.
Was als echte Umfrage zählt
Alles oben ist an Umfragen mit mindestens drei Fragen und mindestens drei Beantwortungen gemessen: 25.112 Umfragen mit 1.180.070 begonnenen Sitzungen und 998.864 Abschlüssen. Jede Quote pro Umfrage setzt zusätzlich 20 begonnene Sitzungen voraus, was 6.878 Umfragen übrig lässt. Die Rekonstruktion Frage für Frage liest 558.927 einzelne Datensätze von Beantwortungen aus 15.181 Umfragen. 12,8 Prozent der Umfragen wurden mit einem kostenpflichtigen Tarif erstellt und 85 Prozent von jemandem mit Konto; eine Beschränkung auf Kontoinhaber ändert nichts auf dieser Seite.
Wie die Quoten berechnet werden
Jede Quote ist ein ungewichteter Durchschnitt pro Umfrage: Jede Umfrage zählt einmal, egal wie viele Beantwortungen sie gesammelt hat, denn zwei Umfragen in diesem Bestand sammelten jeweils über 100.000 Beantwortungen, und ein nach Beantwortungen gewichteter Durchschnitt wären die Zahlen dieser beiden Kunden. Vergleiche von Funktionen sind längenbereinigt: innerhalb von Klassen der Fragenzahl berechnet (1 bis 4, 5 bis 7, 8 bis 10, 11 bis 14, 15 bis 19, 20 bis 29, 30+) und nach der Klassenverteilung der Seite mit der Funktion neu gewichtet, sodass ein Unterschied nie daher rühren kann, dass eine Seite kürzer ist. Abbrüche werden aus jedem einzelnen Datensatz rekonstruiert, nicht aus einem gespeicherten Zähler. Die Zeiten pro Frage stammen aus der seitenweisen Zeitmessung der Beantwortung; berichtet wird der Median, weil der Mittelwert von Personen dominiert wird, die einen Tab offen lassen.
Was das nicht misst
- Rücklaufquote auf Einladungen. Ein Datensatz entsteht erst, wenn jemand die Umfrage öffnet und mit ihr interagiert; jede Abbruchzahl hier ist daher konservativ.
- Antwortqualität. Wir sehen, dass jemand 14 Wörter getippt hat; wir sehen nicht, ob die Person sie ernst meinte.
- Kausalität. Das ist beobachtend. Wo ein Ergebnis plausibel am Publikum statt am Design liegen könnte, ist es an Ort und Stelle gekennzeichnet.
- Ihre Umfrage. Das sind Durchschnitte über Zehntausende Umfragen an sehr unterschiedliche Menschen: Ausgangswerte, keine Prognose.
Datenbestand abgeschlossen am 25. August 2026. Zahlen erstellt am 2. September 2026.
Vor- und Nachteile der Umfrageforschung
Was ein Umfragedesign gut kann
- Erreicht große Stichproben günstig, besonders online, sodass Schätzungen mit einer brauchbaren Fehlerspanne kommen.
- Standardisierte Fragen machen Antworten über Personen, Gruppen und Wellen hinweg vergleichbar.
- Misst, was kein Protokoll erfasst: Einstellungen, Absichten, Zufriedenheit, privates Verhalten.
- Flexibel: deskriptive, korrelative und Trendfragen mit einem Instrument.
- Schnell. Die meisten Beantwortungen, die Sie bekommen werden, treffen innerhalb von drei Tagen nach dem Versand ein.
Wo es versagt
- Selbstauskunft. Menschen erinnern sich falsch, runden auf und antworten so, dass sie gut dastehen; Formulierung und Reihenfolge verschieben Antworten8.
- Nonresponse. Wer antwortet, unterscheidet sich von denen, die es nicht tun, und eine niedrige Rücklaufquote beweist ebenso wenig eine Verzerrung, wie eine hohe sie ausschließt1.
- Abdeckung. Ihre Liste ist nicht die Grundgesamtheit; wer nicht darauf steht, hat keine Chance, befragt zu werden.
- Ursache. Eine Umfrage zeigt Zusammenhänge; nur ein Umfrageexperiment mit zufälliger Zuweisung zeigt eine Ursache, und nur für das manipulierte Element.
- Tiefe. Geschlossene Items können nicht nachhaken. Offene Items können es, zum Preis von 30 Punkten Antwortquote.
Beispiele für Forschungsdesigns von Umfragen
Drei Beispiele für Umfragedesigns, so geschrieben, wie sie in einem Methodenteil stünden, jeweils mit der Entscheidung, der sie dienen. Das erste wird unten im gesamten Arbeitsblatt durchgespielt.
Kündigungen von Abonnements (Praxis, deskriptiv plus analytisch, Querschnitt)
Entscheidung: welche Kündigungsgründe im nächsten Quartal zuerst angegangen werden. Design: eine Querschnittsbefragung aktiver Abonnenten in den USA und Kanada, Einladung per E-Mail zur Web-Umfrage, für Smartphones optimiert, zwei Erinnerungen, mit Quoten nach Tarifstufe und Region, damit jede Stufe mindestens 200 abgeschlossene Beantwortungen erreicht. Primäre Messgrößen: Verlängerungsabsicht (0 bis 10), Zufriedenheit mit Funktionen und Support (1 bis 5), Gründe für Unzufriedenheit (Mehrfachauswahl), eine offene Verbesserungsfrage in der Mitte der Umfrage statt am Ende. Auswertung: Top-Box nach Stufe, Treiber der Verlängerungsabsicht per Korrelation, Vergleich früher und später Antwortender als Prüfung auf Verzerrung.
Bachelorarbeit (Studium, deskriptiv, Querschnitt)
Entscheidung: Lerngewohnheiten und ihren Zusammenhang mit selbst angegebenen Noten bei Studierenden im dritten Studienjahr an einer Hochschule beschreiben. Design: „Diese Studie verwendete ein deskriptives Querschnittsdesign. Eine Gelegenheitsstichprobe von 312 Studierenden im dritten Studienjahr füllte zwischen dem 3. und 17. März einen Online-Fragebogen aus. Da die Stichprobe nicht zufällig aus dem Studierendenverzeichnis gezogen wurde, beschreiben die Ergebnisse die Teilnehmer und nicht den gesamten Jahrgang, und es wird keine Fehlerspanne berichtet.“ Diesen letzten Satz suchen Betreuende.
Pulsbefragung der Mitarbeitenden (Personalwesen, wiederholter Querschnitt, Trend)
Entscheidung: ob das Schulungsprogramm für Führungskräfte das Teamklima verändert hat. Design: dieselben acht Items jedes Quartal an alle Beschäftigten, anonym, in jeder Welle konstruktionsbedingt eine neue Stichprobe (wer eben antwortet), auf Abteilungsebene nur berichtet, wo mindestens fünf Personen geantwortet haben. Die Formulierung wird nach der ersten Welle eingefroren, damit Bewegung Veränderung bedeutet und keine Umformulierung. Eine analytische Ergänzung vergleicht Abteilungen, deren Führungskräfte die Schulung abgeschlossen haben, mit denen, deren Führungskräfte das nicht taten, berichtet als Zusammenhang, weil die Führungskräfte nicht zufällig zugewiesen wurden.
| Entscheidung | Welche Kündigungsgründe sollten wir im nächsten Quartal zuerst angehen? |
|---|---|
| Zielgrundgesamtheit und Stichprobenrahmen | In den letzten 60 Tagen aktive Abonnenten, USA und Kanada; Stichprobenrahmen = E-Mail-Liste der Abrechnung |
| Designart | Deskriptiv plus analytisch, Querschnitt, vierteljährlich als Trend wiederholt |
| Stichprobe und Quoten | Vollerhebung des Stichprobenrahmens mit Quoten nach Tarifstufe und Region; mindestens 200 abgeschlossene Beantwortungen pro Stufe |
| Stichprobengröße und Einladungen | 600 abgeschlossene Beantwortungen; bei 95 % Berechtigten, 25 % Rücklauf und 80 % Abschluss sind das etwa 3.158 Einladungen |
| Modus und Kontakte | Einladung per E-Mail zur Web-Umfrage; Einladung, Erinnerung an Tag 3, letzte Erinnerung an Tag 7; Schluss an Tag 10 |
| Messgrößen | Verlängerungsabsicht 0 bis 10; Zufriedenheit mit Funktionen und Support 1 bis 5; Gründe als Mehrfachauswahl; eine offene Frage in der Mitte; Stufe und Kundendauer aus dem Konto, nicht abgefragt |
| Qualitätsregeln | Pilotstudie an 2 % der Liste; Duplikate und Abschlüsse unter einem Drittel des Medians der Pilotstudie entfernen; alle Items Pflicht außer der offenen Frage |
| Prüfungen auf Verzerrung | Zusammensetzung der Stichprobe im Vergleich zum Kundenstamm nach Stufe und Region; frühe gegenüber späten Antwortenden; Ergebnisse mit und ohne Gewichtung |
| Berichterstattung | Einseitige Zusammenfassung plus Methodenkasten: Stichprobenrahmen, Feldzeit, abgeschlossene Beantwortungen, Rücklaufquote nach AAPOR, Gewichtung, Einschränkungen |
Um den Fragebogen selbst zu erstellen, beginnen Sie mit einer Umfragevorlage für den ähnlichsten Anwendungsfall und passen Sie die Messgrößen an Ihre Konstrukte an; ein maßgeschneidertes Instrument ist besser als ein geliehenes, aber ein geliehenes ist besser als eine leere Seite.
Häufig gestellte Fragen
Welche Art von Forschungsdesign ist eine Umfrage?
Eine Umfrage ist ein nicht experimentelles quantitatives Design. Je nach Zweck gilt sie als deskriptiv (Niveaus und Anteile) oder korrelativ (Zusammenhänge zwischen Messgrößen), je nach Zeitstruktur als Querschnitt oder Längsschnitt. Experimentell wird sie erst, wenn Sie die Befragten zufällig verschiedenen Versionen einer Frage oder eines Stimulus zuweisen, und dann ist nur dieser Vergleich kausal.
Was ist ein deskriptives Forschungsdesign für Umfragen?
Ein Design, dessen Zweck es ist, eine Grundgesamtheit anhand der gemessenen Variablen zu beschreiben: wie viele, wie viel, wie oft und wie sich das zwischen Gruppen unterscheidet. Über das Warum macht es keine Aussage. Die meisten einmaligen Fragebögen und die meisten studentischen Umfragen sind zugleich deskriptiv und Querschnitt, und das Methodenkapitel sollte beide Begriffe nennen.
Was ist der Unterschied zwischen Querschnitts- und Längsschnittdesign einer Umfrage?
Ein Querschnitt misst einmal. Ein Längsschnitt misst dieselben Personen zwei- oder mehrmals; nur so sieht man, wer sich verändert hat und in welcher Reihenfolge. Ein wiederholter Querschnitt (Trend) liegt dazwischen: Er misst mehr als einmal, aber in jeder Welle mit einer neuen Stichprobe, und verfolgt daher die Grundgesamtheit, nicht Einzelpersonen. Wenn Sie nur den Trend brauchen, wählen Sie diesen; er vermeidet Panelschwund und die Einwilligung zur erneuten Kontaktaufnahme.
Wie viele Teilnehmer braucht eine Umfrage?
Für einen Anteil mit 5 Punkten Fehlerspanne bei 95 Prozent Konfidenzniveau etwa 385 abgeschlossene Beantwortungen für jede große Grundgesamtheit und weniger für kleine (218 bei einer Grundgesamtheit von 500). Wenn Sie Untergruppen vergleichen, braucht jede Untergruppe eine eigene Untergrenze, meist 100 oder mehr. Bei einer Gelegenheitsstichprobe gibt es keine Fehlerspanne zu verteidigen; bemessen Sie sie also nach der kleinsten Gruppe, die Sie beschreiben müssen, und sagen Sie das. Der Stichprobenrechner auf dieser Website übernimmt die Rechnung.
Was ist das Forschungsdesign einer Umfrage in der Psychologie und in der Marktforschung?
Dasselbe Design, anderes Vokabular und andere Stichprobenrahmen. In der Psychologie misst eine Umfrage meist Konstrukte mit validierten Skalen aus mehreren Items, berichtet die Reliabilität und heißt korrelatives Design, wenn sie Konstrukte zueinander in Beziehung setzt. In der Marktforschung misst sie Bekanntheit, Präferenz und Kaufabsicht für eine Marke oder ein Produkt, zieht Stichproben aus Kundenlisten oder Opt-in-Panels und berichtet Anteile und Top-Box-Werte, oft als wiederholtes Tracking. Beide sind nicht experimentell, solange kein Stimulus randomisiert wird.
Wie schreibe ich den Abschnitt zum Forschungsdesign der Umfrage in einem Methodenkapitel?
Vier Sätze in dieser Reihenfolge: das Design (Zweck plus Zeitstruktur plus Modus), die Grundgesamtheit und das Verfahren der Stichprobenziehung, die Stichprobengröße mit Begründung und das Instrument mit seiner Quelle oder seinem Entwicklungsprozess. Dann die Feldzeit, die Rücklaufquote nach einer genannten Definition und die Einschränkungen, die aus dem Verfahren der Stichprobenziehung folgen. Die Design-Auswahlhilfe auf dieser Seite schreibt den ersten Satz; die Leitfäden zur Stichprobenziehung und zur Stichprobengröße liefern den zweiten und dritten.
Was ist der Unterschied zwischen Umfragedesign und einem Fragebogen?
Der Fragebogen ist ein Bestandteil: die Items und ihre Antwortoptionen. Das Umfragedesign ist der gesamte Plan darum herum: Grundgesamtheit, Stichprobe, Modus, Zeitplan, Messgrößen, Auswertung und Berichterstattung. Ein guter Fragebogen in einem schlechten Design liefert trotzdem Zahlen, die die falschen Menschen beschreiben.
Braucht eine Umfrage eine Aufmerksamkeitsprüfung?
Nicht standardmäßig. Bei offenen Links mit Anreizen oder bei bezahlten Panels hilft eine Aufmerksamkeitsprüfung, Beantwortungen mit geringem Aufwand zu erkennen. Bei einer vertrauenswürdigen internen Liste stört sie meist nur und erzeugt Ausschlüsse, die Sie dann begründen müssen. Wenn Sie eine verwenden, schreiben Sie die Regel (was als nicht bestanden gilt, wie viele Fehler erlaubt sind) vor der Feldphase fest und berichten Sie, wie viele Datensätze sie entfernt hat.
Wie dieser Leitfaden entstanden ist und was er nicht abdeckt
Das Designvokabular und die acht Schritte folgen der Fachliteratur zur Umfragemethodik, vor allem dem Total-Survey-Error-Ansatz von Groves und Kollegen, Dillmans Tailored Design Method, Fowlers Survey Research Methods sowie den Dokumenten der AAPOR zu Best Practices und Standarddefinitionen, jeweils dort zitiert, wo sie verwendet werden. Nichts stammt aus dem Rahmenwerk eines Anbieters. Die Zahlen zur Stichprobengröße beruhen auf der Standardformel für Anteile bei 95 Prozent Konfidenzniveau mit Endlichkeitskorrektur; die Seite des Rechners zeigt die Rechnung.
Der Abschnitt mit den Vergleichswerten ist unsere eigene Auswertung der Produktionsdaten von SuperSurvey, vollständig beschrieben im Methodenhinweis oben. Seine Grenzen sind dort genannt: Er sieht weder Rücklaufquoten auf Einladungen noch Antwortqualität, er ist beobachtend und mittelt über sehr unterschiedliche Zielgruppen. Wo sich ein Wert eines Wettbewerbers nicht auf eine Primärquelle zurückführen ließ, wurde er weggelassen; insbesondere wiederholen wir nicht die häufig zitierten Anbieterstatistiken zur Genauigkeit von oder zum Vertrauen in Umfragen.
Diese Seite behandelt das Design. Sie behandelt nicht, wie Sie Teilnehmer auswählen, wie viele Sie auswählen oder wie Sie die Items schreiben; das sind eigene Aufgaben, behandelt unter Stichprobenziehung, Stichprobengröße und Fragebogen erstellen.
Offenlegung. SuperSurvey entwickelt Umfragesoftware, daher haben wir ein kommerzielles Interesse daran, dass Menschen Umfragen durchführen. Nichts auf dieser Seite wird verkauft oder ist gesperrt, und keiner der Ratschläge setzt unser Tool voraus. Die Design-Auswahlhilfe läuft in Ihrem Browser und sendet nichts irgendwohin. Die Vergleichswerte gibt es, weil nur wir diese Daten sehen können, und sie zu veröffentlichen, einschließlich der Befunde, die gängigen Ratschlägen widersprechen, schien nützlicher, als sie zu behalten.
Quellen
- Groves, R. M., Fowler, F. J., Couper, M. P., Lepkowski, J. M., Singer, E., & Tourangeau, R. (2009). Survey Methodology (2. Aufl.). Wiley. wiley.com
- Dillman, D. A., Smyth, J. D., & Christian, L. M. (2014). Internet, Phone, Mail, and Mixed-Mode Surveys: The Tailored Design Method (4. Aufl.). Wiley. wiley.com
- Fowler, F. J., Jr. (2014). Survey Research Methods (5. Aufl.). SAGE. methods.sagepub.com
- Ponto, J. (2015). Understanding and evaluating survey research. Journal of the Advanced Practitioner in Oncology, 6(2), 168-171. pmc.ncbi.nlm.nih.gov
- American Association for Public Opinion Research. Best Practices for Survey Research. aapor.org
- American Association for Public Opinion Research (2023). Standard Definitions: Final Dispositions of Case Codes and Outcome Rates for Surveys (10. Aufl.). aapor.org
- Pew Research Center. Writing Survey Questions. pewresearch.org
- Krosnick, J. A., & Presser, S. (2010). Question and questionnaire design. In P. V. Marsden & J. D. Wright (Hrsg.), Handbook of Survey Research (2. Aufl.). Emerald.
- Creswell, J. W., & Creswell, J. D. (2018). Research Design: Qualitative, Quantitative, and Mixed Methods Approaches (5. Aufl.). SAGE.
- SuperSurvey (2026). The SuperSurvey Response Benchmark: 2.274.520 Beantwortungen auf 25.112 Umfragen, 16. September 2023 bis 25. August 2026. Methodenhinweis auf dieser Seite.