Главное
- Начинайте с решения, а не с темы. Запишите, что Вы будете делать по-разному в зависимости от ответов. Любой пункт, который не может повлиять на решение, — кандидат на удаление.
- Одна мысль, один пункт, один период времени. Если в вопросе спрятаны два вопроса, нельзя понять, какая половина определила ответ.
- Формулировка меняет цифры. В одном эксперименте с расщеплённой выборкой поддержка одних и тех же государственных программ изменилась на 45 процентных пунктов только из-за их переименования, поэтому нейтральная формулировка — это решение об измерении, а не вежливость.
- Продумывайте варианты ответов так же тщательно, как сам вопрос. Пересекающиеся диапазоны, пропущенные категории и неподписанная середина шкалы вредят больше, чем неуклюжая формулировка.
- Сначала предварительное тестирование с людьми, затем пилотаж с данными. Чтение вслух с несколькими участниками выявляет неверные прочтения, которых не видно с позиции автора.
Что такое составление анкеты и чего оно не исправит
Составление анкеты — это процесс, в котором исследовательская цель превращается в вопросы, понятные людям и позволяющие ответить точно. Сюда входят формулировки, варианты ответов, порядок, вступление и тестирование. Семь шагов ниже показывают, как эти решения работают вместе в готовой анкете.
Пункт составлен хорошо, когда два человека с одинаковым опытом понимают его одинаково, могут вспомнить ответ и выбирают для его описания один и тот же вариант. Всё, что ниже, — способы приблизиться к этому.
Две вещи оно исправить не может. Оно не исправит неправильную аудиторию: задайте идеальные вопросы не тем людям — и получите точные ответы на вопрос, который никто не задавал. Это проблема формирования выборки, а не формулировок. Не исправит оно и слишком малое число ответов — это проблема объёма выборки.
Стоит также разделить два слова, которые часто употребляют как синонимы. Анкета — это инструмент: список пунктов и вариантов ответов. Опрос — всё исследование вокруг неё: кого Вы спрашиваете, как до них добираетесь и что делаете с данными. Если нужен процесс целиком, он описан в нашем руководстве по дизайну исследования. Эта страница посвящена только инструменту.
7 шагов составления анкеты
Люди, которые ищут эту тему, чаще всего просят именно семь шагов, а списки, которые им выдаёт поиск, в основном скопированы с одной записи в блоге агентства 2006 года, чьей исходной страницы уже нет. Поэтому последовательность ниже — не тот список. Это процесс разработки, который действительно описан в литературе по методологии опросов16, 17, 20, разделённый в семи точках, где работа по-настоящему меняет характер, плюс две вещи, которых в тех копиях нет: что даёт каждый шаг и где каждый из них обычно даёт сбой.
| Шаг | Что Вы решаете | Что получается | Где обычно сбой |
|---|---|---|---|
| 1. Сначала решения | Какие решения должны принять по результатам | Короткий список решений и сравнений, на которых они основаны | Начинают с темы, и ничто не подсказывает, когда остановиться и перестать добавлять пункты |
| 2. Пункты и форматы | Один пункт на каждое решение и формат ответа для него | Черновой список пунктов с форматом рядом с каждым | Формат выбирают по привычке, а не по нужному анализу |
| 3. Понятные формулировки | Как сформулирован каждый вопрос | Формулировки с определёнными понятиями и указанным периодом времени | Просят вспомнить то, чего никто не помнит, или прячут два вопроса в одном |
| 4. Варианты и шкалы | Набор ответов для каждого закрытого пункта | Варианты, которые не пересекаются и никого не оставляют без подходящего ответа | Пересекающиеся диапазоны, нет варианта для выхода, неподписанная середина шкалы |
| 5. Нейтральные формулировки | Какие слова подталкивают к ответу | Нейтральные формулировки и сбалансированные наборы вариантов | Прилагательные в формулировке и однобокие списки ответов |
| 6. Порядок и вступление | Последовательность, группировка и вводный текст | Упорядоченный инструмент с коротким вступлением | Деликатные пункты слишком рано и вступление, которое никто не читает |
| 7. Предварительное тестирование и пилотаж | Работает ли анкета на реальных людях | Доработанный инструмент и оценка времени заполнения | Его пропускают или считают, что одного раунда достаточно |
Шаги 3, 4 и 5 здесь разделены, потому что они дают сбой по-разному и исправляются разными действиями. На практике Вы пройдёте через них не один раз. Пунктирная линия на схеме — самая важная петля: то, что выявляет предварительное тестирование, обычно возвращает Вас к шагу 3.
Шаг 1. Запишите решения до того, как напишете хоть один вопрос
Большинство раздутых анкет начинаются с темы. Хорошие начинаются с решения. Прежде чем набросать пункт, запишите короткий список того, что Вы будете делать по-разному в зависимости от полученных ответов.
Перечислите от трёх до пяти решений
Формулируйте их как выбор, а не как темы. «Повторить двухдневный формат или перейти на короткие онлайн-занятия» — это решение. «Отзывы об обучении» — это тема.
Назовите сравнения, которые нужно сделать
Команды, площадки, смены, периоды времени, новички и вернувшиеся. Сравнения определяют и формулировки, и варианты ответов, поэтому решите это сейчас, а не потом.
Набросайте результаты на одной странице
Набросайте реальные таблицы и диаграммы, которые собираетесь построить. Если Вы не можете нарисовать результат, для которого нужен пункт, у этого пункта нет задачи.
Именно этот шаг руководства по методологии ставят первым, и по той же причине: только он подсказывает, когда пора перестать добавлять вопросы.16, 17
Прочитайте каждый черновой пункт и закончите фразу: «Если все ответят Б вместо А, мы ...» Если не получается её закончить, удалите пункт или переписывайте его, пока не получится.
Шаг 2. Превратите каждое решение в один пункт и осознанно выберите его формат
Формат вопроса — это решение об измерении, а не предпочтение в вёрстке. Выбирайте формат, на который читатель может ответить и который подходит для запланированного результата.
| Если результат — | Используйте | Пример формулировки |
|---|---|---|
| Число, которое Вы будете отслеживать во времени | Закрытый пункт-шкала с подписями всех делений | «Насколько легко или трудно было завершить настройку без посторонней помощи?» |
| Список того, что нужно исправить, в порядке важности | Один вариант ответа, затем один уточняющий вопрос | «Какое одно изменение помогло бы Вам больше всего?», затем «Почему именно оно?» |
| Количество или частота | Закрытые диапазоны, которые не пересекаются | «Сколько раз за последние 30 дней Вы обращались в поддержку?» |
| Формулировки, которых Вы ещё не слышали | Одно целевое поле для свободного ответа | «По какой главной причине Вы обратились к нам сегодня?» |
| Право отвечать на следующие пункты | Отборочный вопрос плюс логика перехода | «Пользовались ли Вы вкладкой отчётов за последние 30 дней?» |
Закрытые пункты дешевле анализировать, и их проще сравнивать между волнами. Открытые пункты находят то, о чём забыл Ваш список вариантов. Практическая причина, по которой преобладают закрытые пункты, — стоимость: открытым ответам нужна схема кодирования и больше одного кодировщика, прежде чем они начнут что-то значить.1 Используйте один-два открытых пункта там, где они действительно окупаются, а остальные оставьте закрытыми. Наши руководства по вопросам с вариантами ответов и открытым и закрытым вопросам подробнее разбирают каждый формат.
Одно предупреждение о шкалах согласия. Если о чём-то можно спросить прямо, спрашивайте прямо. В эксперименте на четырёх выборках пункты с вариантами ответов, привязанными к конструкту, достигли коэффициентов надёжности от 0,87 до 0,93, а то же содержание, заданное как утверждения «согласен или не согласен», — лишь от 0,36 до 0,73.4 Это большой разрыв для формата, который большинство выбирает по привычке. Значительную его часть объясняют два известных эффекта ответов. Склонность к согласию — это тяга соглашаться, что бы ни говорило утверждение, поэтому формат добавляет крен, который потом невозможно отделить. Минимизация усилий — когда читатель прикладывает ровно столько усилий, чтобы дать приемлемый, а не точный ответ, и столбец утверждений «согласен или не согласен» делает это очень простым. Оба эффекта усиливаются по мере удлинения анкеты. Если этот формат всё же нужен, следуйте нашим рекомендациям по шкале Лайкерта.
Шаг 3. Пишите формулировку, на которую люди действительно могут ответить
Многие плохие пункты не расплывчаты. На них просто невозможно ответить. Они требуют вспомнить то, чего никто не помнит, или знаний, которых участнику никогда не давали.
Задавайте период времени в каждом вопросе о поведении
У вопроса «Как часто Вы обращаетесь в поддержку?» нет точки отсчёта, поэтому два человека с одинаковым поведением ответят по-разному. Назовите период и подберите его под то, как часто это поведение случается.
| Нужно узнать | Трудно ответить | Можно ответить |
|---|---|---|
| Частоту | «Как часто Вы обращаетесь в поддержку?» | «Сколько раз за последние 30 дней Вы обращались в поддержку?» |
| Недавнее поведение | «Вы регулярно занимаетесь спортом?» | «Сколько дней за последние 7 дней Вы занимались спортом не менее 30 минут?» |
| Один эпизод | «Подключение прошло гладко?» | «Если вспомнить Вашу последнюю настройку, насколько легко или трудно было завершить её без посторонней помощи?» |
Используйте слова, которыми говорят Ваши читатели
- Выбирайте распространённое слово. «Помощь» лучше, чем «содействие». «Купить» лучше, чем «приобрести». Простые слова к тому же легче переводить.
- Определяйте любой термин, без которого не обойтись. Если пункт строится на словах «инцидент» или «случай», укажите прямо в формулировке, что под ними понимается.
- Расшифровывайте аббревиатуру один раз. Потом используйте её. Не рассчитывайте, что внутренние сокращения понятны всем.
- Спрашивайте, что произошло, а не почему. Люди могут сообщать о событиях. О причинах внутри Вашей организации они обычно сообщить не могут.
Одна мысль в пункте
Пункт, в котором спрятаны два вопроса, даёт ответ, который невозможно прочитать. У человека, которому понравилась цена и не понравилось качество, нет честного варианта, и что бы он ни выбрал, Вы не узнаете, какая половина определила ответ.
Насколько Вы довольны ценой и качеством?
Лучше два пункта: «Насколько Вы довольны качеством?» и «Насколько Вы довольны ценой?»
Здесь стоит честно сказать о доказательствах. Разделение двойных вопросов — почти универсальное правило, но прямых экспериментальных исследований, на которых оно основано, мало, и они недавние. Самая чёткая проверка показала, что двойной пункт и его переписанный вариант с одной мыслью измеряют не одно и то же и что вариант с одной мыслью валиднее.15 Считайте это правило обоснованным и хорошо мотивированным, но не устоявшимся сорокалетним выводом, как эффекты формулировок из шага 5.
Шаг 4. Составьте варианты ответов и шкалы, которые можно анализировать
Многие анкеты дают сбой не в формулировке, а в списке ответов. Две проверки ловят большую часть ошибок. Варианты не должны пересекаться, и никто не должен остаться без честного выбора.
Сколько Вам лет? От 18 до 30, от 30 до 40, от 40 до 55, 55 и старше
Сколько Вам лет? От 18 до 29, от 30 до 39, от 40 до 54, 55 или старше, Предпочитаю не отвечать
Шкалы оценки
| Решение | Что делать | Почему |
|---|---|---|
| Число делений | От пяти до семи для установок | Надёжность и валидность резко растут примерно до семи делений, затем выходят на плато, а ретестовая надёжность после десяти снова падает.5, 1 |
| Подписи | Подписывайте каждое деление, когда это возможно | Одни лишь числа понимают по-разному. Два человека по-разному воспримут «6 из 10», но одинаково — «Довольно легко». |
| Направление | Одинаковое на протяжении всей анкеты | Смена направления посреди анкеты приводит к ошибочным нажатиям, которые выглядят как настоящие изменения мнения. |
| Середина шкалы | Включайте её, когда нейтральная позиция реально существует | Если её убрать, скрытый крен не проявится. Люди просто выбирают наугад рядом с тем местом, где она была бы.1 |
| Неприменимо | Держите отдельно от середины шкалы | Иначе люди, которые не могут судить, засчитываются как нейтральные, и это незаметно сдвигает Ваше среднее. |
Середина шкалы и вариант «не знаю» — не независимые переключатели, хотя большинство советов относится к ним именно так. Вариант «не знаю» рядом с серединой шкалы уменьшил долю выбравших середину примерно на 7–17 процентных пунктов в зависимости от пункта.6 Иначе говоря, значительная часть Ваших нейтральных ответов — это люди без мнения, а не люди посередине. Решайте насчёт обоих вариантов вместе. Детали оформления описаны в нашем руководстве по вопросам со шкалой оценки.
В одном пункте об установках 15 процентов выбрали «не знаю», когда такой вариант был. В связанных пунктах того же интервью, где его не было, лишь 3 и 4 процента не дали содержательного ответа, и эти ответы всё равно предсказывали, как люди потом проголосовали.7 Лёгким выходом пользуются, и часть того, что он собирает, была настоящим мнением.
Шаг 5. Сохраняйте нейтральность формулировок и проверяйте их на смещение
За этим шагом стоит больше всего данных и самые большие измеренные эффекты. Эксперименты с расщеплённой выборкой меняли результаты на десятки процентных пунктов при одном и том же мнении — только за счёт других слов.
В исследовании General Social Survey 1985 года 65,2 процента американцев сказали, что на «помощь бедным» тратится слишком мало. Когда о тех же программах спросили под названием «социальные пособия», лишь 19,8 процента сказали, что тратится слишком мало. Разрыв в 45 пунктов из-за одного слова, и на следующий год он повторился: 62,8 против 23,1.2, 3
Подача вопроса делает то же самое. Поддержка военной операции в Ираке составляла 68 процентов и упала до 43 процентов, когда к тому же вопросу добавили «даже если это означает, что вооружённые силы США могут потерять тысячи человек».8
Это эксперименты с расщеплённой выборкой: две случайные половины одного опроса, у каждой своя формулировка. Именно этот дизайн превращает «формулировка важна» из мнения в измерение.
Что убрать
| Шаблон | С подсказкой | Нейтрально |
|---|---|---|
| Прилагательное в формулировке | «Насколько полезной была наша отличная служба поддержки?» | «Насколько полезной или бесполезной была наша служба поддержки?» |
| Предложено только одно направление | «Насколько неприятной была регистрация?» | «Насколько лёгкой или трудной была регистрация?» |
| Однобокий список ответов | «Насколько Вы довольны?» только с положительными вариантами | Равное число отрицательных и положительных вариантов |
| Предполагаемое поведение | «Как Вы пользуетесь вкладкой отчётов?» | «Пользовались ли Вы вкладкой отчётов за последние 30 дней?» |
Смещение возникает и со стороны участника, а не только из-за формулировок. Больше всего вреда наносят три привычки. Социальная желательность — отвечать так, как выглядит лучше. Склонность к согласию — соглашаться, что бы ни говорило утверждение. Минимизация усилий — прикладывать ровно столько усилий, чтобы дать приемлемый, а не точный ответ. Все три описаны в нашем руководстве по смещению ответов.
Шаг 6. Упорядочьте пункты, затем напишите короткое вступление
Порядок — не косметика. Предыдущий вопрос может изменить ответ на следующий, и этот эффект измерим. Поддержка юридически оформленных союзов однополых пар составила 45 процентов, когда пункт шёл после вопроса о браке, и 37 процентов, когда он стоял отдельно.9 В самом пункте не изменилось ничего, кроме того, что было перед ним.
Работающая последовательность
Отбор
Убедитесь, что человек подходит, прежде чем спрашивать о чём-либо ещё. Всех остальных сразу направьте к выходу.
Разминка
Простые фактические пункты, которые показывают, что анкета о знакомом им предмете.
Основные блоки
Группируйте по темам. Внутри блока используйте одну и ту же шкалу, чтобы никому не пришлось переучиваться.
Диагностика
Причины и препятствия, которые объясняют оценки выше.
Деликатные пункты и сегменты
В конце и только те, которые Вы действительно будете использовать. Шаблоны формулировок — в разделе демографические вопросы.
Завершение
Одно открытое поле «что-нибудь ещё», затем благодарность и рассказ о том, что будет дальше.
Вступление, которое можно скопировать
Уложитесь в пять строк. Люди пришли отвечать, а не читать.
Цель: мы собираем отзывы, чтобы улучшить [процесс или услугу].
Время: около [X] минут.
Конфиденциальность: Ваши ответы [анонимны или конфиденциальны], результаты увидит [кто].
Добровольность: любой вопрос можно пропустить.
Контакты: есть вопросы? [имя и email].
Будьте осторожны с оценкой времени: от неё зависит, кто примет участие. Когда одну и ту же анкету анонсировали как рассчитанную на 10, 20 или 30 минут, доля начавших упала с 75 до 64,9 и до 62,4 процента, а доля завершивших среди начавших — с 68,2 до 56,8 и до 46,8 процента.10 Указывать продолжительность правильно. Просто убедитесь, что это число получено на Вашем предварительном тестировании.
Прямо скажите, кто увидит исходные ответы и как долго Вы их храните, и убедитесь, что это соответствует Вашим реальным обязательствам по конфиденциальности. Согласие и ясность цели — часть разработки анкеты, а не бумажная формальность, добавленная потом.17
Шаг 7. Предварительное тестирование с людьми, пилотаж с данными, затем запуск
Именно здесь анкеты по-настоящему становятся лучше. Предварительное тестирование показывает, что, по мнению людей, означает пункт. Пилотажное исследование показывает, как выглядят данные, когда на него отвечают. Это разные задачи, и нужны обе.16, 19 Соберите пилотажный опрос в нашем бесплатном конструкторе опросов и проверьте порядок вопросов, варианты ответов и ветвление на телефоне, прежде чем отправлять его всей выборке.
Прочитайте вслух
Попросите кого-нибудь прочитать каждый пункт вслух. Всё, на чём человек запинается, что перечитывает или пересказывает своими словами, — кандидат на переписывание.
Проверьте понимание
Спросите: «Что для Вас означает этот вопрос?» и «Как Вы пришли к этому ответу?» Вы проверяете понимание, а не мнение.
Засеките время
Запишите, сколько времени это занимает на самом деле. Это число пойдёт во вступление, и обычно оно больше, чем Вы предполагали.
Перепишите и повторите
Для нового инструмента одного раунда редко бывает достаточно. Исправьте, затем проверьте исправления на новом человеке.
Сколько нужно интервью для предварительного тестирования
Больше, чем Вы думаете. Моделирование предварительного тестирования методом когнитивных интервью показало, что реальные проблемы с вопросами продолжали обнаруживаться по мере роста числа интервью, без чёткого плато, на котором можно спокойно остановиться.14 Считайте любое фиксированное число бюджетом, а не гарантией полноты, и тратьте его на людей, похожих на Ваших реальных участников.
Зачем нужно пилотажное исследование
- Охват вариантов. Если «Другое» или «Предпочитаю не отвечать» выбирают часто, в Вашем списке чего-то не хватает.
- Использование шкалы. Ответы, скопившиеся на одном краю, обычно означают, что их туда подтолкнула формулировка.
- Монотонные ответы. Одинаковые ответы на весь блок. В панельных данных их доля составляет от 15 до 40 процентов в блоках, где такой рисунок правдоподобен, и меньше 2 процентов там, где нет.13
- Логика. Убедитесь, что люди видят только те уточняющие вопросы, которые к ним относятся.
- Точка выхода. Отметьте пункт, на котором люди уходят. Проблема обычно в нём, а не в длине анкеты.
Это два разных числа, отвечающих на два разных вопроса, и принимать одно за другое — частая и дорогая ошибка. Тридцати человек достаточно, чтобы выявить сломанный список вариантов, формулировку, которую все понимают по-разному, или ветку логики, которая никогда не срабатывает. Только для этого и нужно пилотажное исследование. Для оценки процента или уверенного различения двух групп этого совсем недостаточно. Исправьте инструмент по итогам пилотажа, а размер основного исследования рассчитайте отдельно с помощью нашего руководства по объёму выборки.
При запуске закладывайте скромную долю ответивших: для невероятностных онлайн-панелей показатели 10 процентов и ниже теперь обычное дело.21
Разобранный пример: одна анкета, составленная по всем семи шагам
Каждое руководство на эту тему показывает, как исправить отдельные вопросы. Почти ни одно не показывает, как строится анкета целиком. Поэтому вот полная анкета — от решения наверху до инструмента внизу, по шагам выше и в том же порядке.
Команда операционного отдела примерно из 40 человек прошла в мае двухдневное обучение по технике безопасности. Руководству нужно выбрать формат следующего цикла, а данных ни у кого нет. Вот и вся вводная. Теперь пройдём по шагам.
| Шаг | Что он дал в этом случае |
|---|---|
| 1. Сначала решения | Три решения: сохранить двухдневный формат или перейти на короткие онлайн-занятия; какой модуль переписать первым; применяют ли материал в работе вообще. Всё, что ниже, восходит к одному из них. |
| 2. Пункты и форматы | Девять пунктов. Два закрытых вопроса о количестве, две шкалы с подписями, три списка с одним вариантом ответа, одно целевое открытое поле, одно открытое поле в конце. Один отборочный вопрос в начале. |
| 3. Понятные формулировки | Каждый пункт о поведении получил названный период («за 30 дней после обучения»). «Чек-лист» определён прямо в формулировке, а не подразумевается. |
| 4. Варианты и шкалы | Для количества используются непересекающиеся диапазоны. Обе шкалы оценки имеют одни и те же пять делений в одном направлении. «Я ещё им не пользовался» вынесено отдельно от середины шкалы. |
| 5. Убрать подсказку | «Насколько полезен отличный новый чек-лист» превратилось в «Насколько он полезен или бесполезен». Пункт о формате предлагает оба варианта плюс «любой» и «ни один», поэтому не подталкивает к предпочтительному ответу. |
| 6. Порядок и вступление | Отборочный вопрос, затем поведение, затем оценки, затем решение о формате, затем препятствия, затем смена, затем открытое завершение. Смена стоит ближе к концу, потому что это единственный пункт, на который люди могут не захотеть отвечать. |
| 7. Предварительное тестирование и пилотаж | Чтение вслух с четырьмя людьми. Двое поняли «чек-лист» как другой документ, поэтому в В2 добавились слова «одностраничный чек-лист из модуля 2». Одно это исправление — и есть весь аргумент в пользу шага 7. |
Готовая анкета
Девять пунктов и отборочный вопрос. Скопируйте её, затем замените существительные. Не копируйте оценку времени: получите её на собственном чтении вслух.
Анкета после обучения: 10 пунктов
- В0. Вы посещали обучение по технике безопасности 12 и 13 мая? Один вариант ответа, отборочныйЭто отборочный вопрос, а не разминка. Любого, кто ответил «Нет», нужно сразу направить в конец. Без него нельзя отличить не посещавшего обучение от недовольного участника.
- В1. Сколько раз за 30 дней после обучения Вы пользовались одностраничным чек-листом из модуля 2 в реальной работе? Один вариант ответа, количествоНазванный период и названный документ. Диапазоны не пересекаются, поэтому человеку, который пользовался им три раза, подходит ровно один вариант. Этот пункт сам по себе отвечает на третье решение.
- В2. Насколько легко или трудно было пользоваться чек-листом в реальной работе? Пятибалльная шкала, подписи у всех делений1Очень трудно2345Очень легкоВ формулировке есть оба направления, поэтому ничего не подсказывается. «Я ещё им не пользовался» стоит вне шкалы, а не внутри неё, поэтому те, кто не может судить, не засчитываются как нейтральные.
- В3. Какую часть обучения было труднее всего понять? Один вариант ответа, с вариантом выходаЭтот пункт отвечает на второе решение. Вариант «Всё было понятно» так же важен, как и модули: без него каждый вынужден назвать проблему, которой может и не быть.
- В4. Что мешало понять эту часть? Открытый ответ, показывается, только если в В3 выбран модульКраткоЕдинственный открытый пункт, который оправдывает своё место. Он нацелен на конкретный ответ, большинство его пропускает, и только он подскажет, как переписать модуль.
- В5. Если то же обучение проведут снова, какой формат позволит Вам посетить его полностью? Один вариант ответа, сбалансированныйПункт для принятия решения. Он спрашивает о посещении, на что люди могут ответить, а не о предпочтении, которое заставляет гадать. «Любой» и «ни один» — оба настоящие ответы, и по обоим можно действовать.
- В6. Что могло бы помешать Вам посетить обучение? Выберите все подходящие варианты. Несколько вариантов ответа, с вариантом выходаВыбор всех подходящих вариантов требует усилий, поэтому используйте его экономно. Здесь он оправдан, потому что препятствия складываются: человек может столкнуться сразу с двумя, а принуждение к одному ответу это скрыло бы.
- В7. Насколько вероятно или маловероятно, что Вы порекомендуете это обучение кому-то из своей команды? Пятибалльная шкала, та же, что в В21Очень маловероятно2345Очень вероятноТе же пять делений, то же направление, что в В2. Одна и та же шкала избавляет от необходимости переучиваться, и два пункта можно показать рядом на одной диаграмме.
- В8. В какую смену Вы обычно работаете? Один вариант ответа, ближе к концуБлиже к концу, потому что это единственный пункт, на который люди могут не захотеть отвечать. Он здесь только потому, что план анализа сравнивает смены. Иначе его бы убрали.
- В9. Есть ли что-то ещё, что нам следует знать, прежде чем мы выберем формат? Открытый ответ, необязательныйНеобязательноЗавершающее поле. Оно ловит то, что пропустили списки вариантов, и это самое дешёвое раннее предупреждение о вопросе, который Вам следовало задать.
Варианты ответов выше показаны для наглядности, на них нельзя нажать. Это изображение инструмента, а не рабочая форма. Здесь ничего не собирается. При печати пояснения убираются и остаются только десять пунктов, поэтому функция браузера «Сохранить как PDF» превращает это в документ, который можно раздать.
Этот инструмент составлен для примера выше. Если не хочется начинать с чистого листа, можно начать с готового шаблона и изменить пункты под собственные решения.
Проверьте уже написанный пункт
Вставьте вопрос, над которым работаете. Здесь выполняются те же проверки, что описаны в шагах выше, и показывается, какие из них он не проходит. Это контрольный список, а не приговор: он ищет шаблоны в словах, не может прочитать Ваш замысел, и отмеченный пункт иногда как раз правильный.
Проектируйте под файл для анализа, а не под слайд
Это ограничение действует на каждом шаге, поэтому его нет среди семи. Анкета — это ещё и спецификация данных. Если ответы нельзя чисто подсчитать, Вы обеспечили себе недели наведения порядка и число, которое не сможете защитить.
- Один конструкт на столбец. Если Вам важны и скорость, и точность, измеряйте их двумя пунктами. Объединённые конструкты потом не разделить.
- Стандартизируйте периоды времени. Если в одном пункте «прошлая неделя», а в следующем «прошлый год», их невозможно поместить на одну диаграмму.
- Заранее кодируйте всё, по чему будете группировать. Названия отделов в свободной форме приходят как сорок написаний шести отделов. Дайте список.
- До запуска решите, что означает пропуск. Пропущенный вопрос, «предпочитаю не отвечать» и «неприменимо» — три разные вещи, и им нужны три разных кода.
Планируйте сравнения и точность одновременно. Даже идеальный инструмент не спасёт исследование, собравшее слишком мало ответов, чтобы различить две группы, — это вопрос объёма выборки, а момент, когда разница считается реальной, — вопрос статистической значимости.
Проектируйте для телефона, а не для ноутбука, на котором создавали анкету
Второе сквозное ограничение. Исходите из того, что это телефон, мобильная связь и прерывание на полпути.
На телефонах тот же инструмент заполняют дольше, чем на компьютерах. В перекрёстном эксперименте, где одни и те же люди отвечали на обоих устройствах, медианное время заполнения составило 17,7 минуты на смартфоне против 10,5 минуты на ПК.11 Это на 69 процентов дольше при одинаковом содержании, поэтому время анкеты, замеренное на ноутбуке, замерено не на том устройстве.
Привычное предположение, что ответы с телефона хуже, верно лишь отчасти, и здесь стоит быть точным. Одно прямое сравнение показало, что участники с мобильных устройств писали более короткие открытые ответы и чаще пропускали пункты, но монотонно отвечали на табличные вопросы чаще как раз участники с ПК.12 Проблема телефона — усилия и прерывания, а не небрежность.
- Разбивайте таблицы. Широкая матрица на маленьком экране — худший из возможных шаблонов, и именно там живут монотонные ответы.
- Делайте варианты достаточно короткими, чтобы они не переносились. Варианты в две строки уже не сравнить с одного взгляда.
- Показывайте уточняющие вопросы, только когда они применимы. Логика перехода сокращает ощущаемую длину сильнее, чем удаление пунктов.
- Делайте области нажатия крупными. Переключатели с нормальными промежутками между ними, а не плотная стопка.
- Используйте индикатор прогресса, только если он честный. Индикатор, который прыгает назад из-за логики перехода, хуже, чем никакого.
Анкета — это качественный или количественный метод?
И то и другое, в зависимости от того, что в неё входит. Инструмент — это не метод. Анкета из закрытых пунктов с фиксированными вариантами даёт количественные данные. Анкета из открытых вопросов даёт качественные данные. Большинство реальных инструментов сочетают и то и другое, и ошибка не в том, чтобы выбрать, а в том, чтобы не решить.
| Решение | Количественная цель | Качественная цель |
|---|---|---|
| Что Вы хотите узнать | Сколько, как много, как это различается между группами | Почему, чьими словами и о чём Вы не подумали спросить |
| Пункты | В основном закрытые, форматы заданы заранее | В основном открытые вопросы с уточнениями |
| Правило формулировок | Одинаково для всех, без исключений | Последовательно, но вопрос может приглашать к развёрнутому ответу |
| Сколько людей | Достаточно для запланированных сравнений | Столько, чтобы новые ответы перестали добавлять новые темы |
| Что получается на выходе | Количества, проценты, различия между группами | Закодированные темы, цитаты, гипотезы для следующей проверки |
| Главный риск | Точные ответы на плохо сформулированный вопрос | Содержательные ответы, которые нечем последовательно закодировать |
Для исследовательского проекта обычно подходит смешанная форма: небольшой набор закрытых пунктов, на которых держится измерение, и один-два открытых вопроса, объясняющих цифры. Больше всего меняется шаг 2, потому что открытым ответам нужна схема кодирования, а схемам кодирования — больше одного кодировщика, прежде чем им можно доверять.1 Если Вы выбираете форму исследования, а не пункты, это решение уровнем выше — в дизайне исследования.
Какие правила доказаны, а какие просто повторяются
Советы по составлению анкет копируют со страницы на страницу, пока каждое правило не начинает звучать одинаково устоявшимся. Это не так. Одни правила опираются на десятилетия экспериментов с расщеплённой выборкой. Другие — на одно недавнее исследование, а некоторые широко распространённые цифры не опираются ни на что. Вот на чём на самом деле основано каждое утверждение этой страницы.
| Утверждение | Цифра | Уровень | Источник |
|---|---|---|---|
| Формулировка меняет результат | 65,2 % против 19,8 % сказали, что тратится «слишком мало», на одни и те же программы под названием «помощь бедным» или «социальные пособия» | A | Rasinski 1989; Smith 19872, 3 |
| Подача меняет результат | 68 % против 43 % поддержки с упоминанием потерь и без него | A | Pew Research Center8 |
| Порядок меняет результат | 45 % против 37 % поддержки: тот же пункт, другая позиция | A | Pew Research Center 20039 |
| Варианты, привязанные к пункту, лучше, чем «согласен или не согласен» | Надёжность 0,87–0,93 против 0,36–0,73 | A | Saris и соавторы, 20104 |
| Заявленная длительность меняет участие | Доля завершивших среди начавших упала с 68,2 % до 56,8 % и до 46,8 % при заявленных 10, 20 и 30 минутах | A | Galesic и Bosnjak, 200910 |
| Предложенный вариант «не знаю» выбирают | Его выбрали 15 %; без него сопоставимые пункты пропустили лишь 3 % и 4 % | A | Gilljam и Granberg, 19937 |
| На телефоне дольше | Медиана 17,7 против 10,5 минуты, одни и те же люди, оба устройства | A | Antoun и соавторы, 201711 |
| От пяти до семи делений шкалы | Показатели растут примерно до 7 делений, затем выходят на плато; после 10 надёжность снова падает | B | Preston и Colman, 20005, 1 |
| Вариант «не знаю» уводит людей с середины шкалы | Выбор середины снизился примерно на 7–17 пунктов | B | Wetzelhutter 20206 |
| Монотонные ответы часты там, где они правдоподобны | От 15 % до 40 % в правдоподобных блоках, меньше 2 % в остальных | B | Schonlau и Toepoel, 201513 |
| Ответы с телефона не обязательно хуже | Более короткие открытые ответы на мобильных, но больше монотонных ответов на ПК | B | Mavletova 201312 |
| Разделяйте двойные пункты | Чёткого процента нет; две версии не измеряли одно и то же | B | Menold 202015 |
| У предварительного тестирования нет безопасной точки остановки | Проблемы продолжали появляться по мере роста числа интервью | B | Blair и Conrad, 201114 |
Уровни означают: A — воспроизведённый эксперимент или обобщение всей литературы. B — одно сильное исследование. C — широко повторяется, но оспаривается или не прослеживается до источника, поэтому на этой странице такого уровня нет ни у одного утверждения.
Цифры, которые мы намеренно не использовали
Каждая из них часто встречается в советах по составлению анкет. Мы проследили каждую до источника и не включили их.
«Объём внимания теперь 8 секунд — меньше, чем у золотой рыбки»
Восходит к маркетинговому отчёту 2015 года, который ссылался на сайт-генератор контента, чьи собственные источники не смогли предъявить, когда журналисты их запросили.24 Сравнение с золотой рыбкой тоже выдумано.
«От пяти до семи интервью предварительного тестирования выявляют от 75 до 85 процентов проблем»
Это результат юзабилити-тестирования об ошибках в программах22, который перенесли на когнитивные интервью. Настоящее исследование опросов никакого такого плато не нашло.14
«Средняя доля ответивших в опросах составляет [выберите число]»
В ходу как минимум четыре несовместимые цифры, и у каждой своё скрытое определение того, кого опрашивали. Вместо них существуют обоснованные диапазоны по типам выборки.21
«Уложитесь в 10 минут, иначе потеряете людей»
Направление верное, обрыва нет. Измеренная кривая — плавный спад от 10 до 30 заявленных минут, без порога.10
«Семь плюс-минус два, поэтому используйте 7-балльную шкалу»
Статья Миллера 1956 года — о кратковременной памяти на списки, а не о том, сколько делений шкалы человек может различить.23 Настоящие данные о числе делений и так приводят к пяти–семи.5
«Двойные вопросы портят данные»
Правило здравое, доказательства скудные. Мы нашли одну специальную рандомизированную проверку против десятков для эффектов формулировки и порядка.15 Мы прямо говорим об этом в шаге 3, а не преувеличиваем.
Особые случаи, которые незаметно ломают анкеты
Деликатные пункты
Доход, здоровье, проблемы с результатами работы и всё, что может прочитать руководитель. При низком доверии такие пункты увеличивают и число прерванных анкет, и недостоверные ответы. Ставьте их ближе к концу, в одной строке объясните, зачем спрашиваете, и дайте реальную возможность отказаться. «Предпочитаю не отвечать» — это данные. Пустое поле — нет.
«Неприменимо» — это не «нейтрально»
Не допускайте, чтобы люди, которые не могут судить, оказывались в середине шкалы. Дайте им отдельный вариант вне шкалы или проведите мимо пункта с помощью логики перехода. Иначе Ваше среднее сдвинется по причине, не имеющей отношения к мнению.
Эффекты порядка в длинном списке
Варианты в начале длинного списка на экране выбирают чаще. Перемешивайте порядок брендов, причин и проблем и фиксируйте его только там, где он что-то значит, например в шкале частоты или списке дат.
Отрицания
Вопрос «Согласны ли Вы, что подключение не сложное?» заставляет читателя разобраться с двумя отрицаниями, прежде чем ответить. Напишите утвердительный вариант, а направление пусть задаёт шкала.
Перевод
Избегайте идиом, спортивных метафор и местных сокращений: они не переживают перевода и отсекают читателей, для которых Ваш язык второй. Если переводите, используйте обратный перевод и отдайте его на проверку тому, кто знает предмет, а не только язык.
Повторные волны
Если Вы планируете сравнивать этот цикл со следующим, зафиксируйте формулировки сейчас. Улучшение пункта между волнами означает, что измеренное изменение может оказаться Вашей же правкой. Сохраните старую формулировку, на одну волну добавьте рядом более удачную, затем переключитесь.
Контрольный список перед отправкой
Контрольный список проверки анкеты
- Решения. Каждый пункт восходит к решению, записанному на шаге 1.
- Форматы. Формат каждого пункта выбран под результат, для которого он нужен, а не по привычке.
- Периоды. В каждом пункте о поведении указан период времени, и он подходит к этому поведению.
- Термины. Профессиональный жаргон определён в формулировке. Аббревиатуры расшифрованы один раз.
- Одна мысль. Ни в одном пункте не спрятаны два свойства, два объекта или два периода времени.
- Варианты. Диапазоны не пересекаются, список охватывает реалистичные ответы, и есть вариант выхода.
- Шкалы. Одинаковые деления, одно направление, подписи, а «неприменимо» вынесено за пределы шкалы.
- Нейтральные формулировки. В формулировке нет прилагательных, и предложены оба направления.
- Порядок. Отборочный вопрос в начале, деликатные пункты в конце, одна шкала на блок.
- Вступление. Цель, честная оценка времени, конфиденциальность, добровольность, контакты. Пять строк.
- Телефон. Открыто на реальном телефоне, нет широких таблиц и переносящихся вариантов.
- Чтение вслух. Человек вне проекта прочитал каждый пункт и понял каждый так, как задумано.
- Время. Число во вступлении получено при этом чтении вслух, а не угадано.
- Коды. У пропуска, отказа и «неприменимо» три отдельных кода.
Частые вопросы
С чего начинается составление анкеты?
С того, чтобы записать решения, которые должны поддержать результаты. Не тему, а решения. Пока Вы не можете сказать, что будете делать по-разному в зависимости от ответов, нельзя отличить необходимый пункт от необязательного, и черновик растёт, пока кому-нибудь не надоест.
Чем анкета отличается от опроса?
Анкета — это инструмент: список пунктов и вариантов ответов к ним. Опрос — всё исследование вокруг неё: кого Вы спрашиваете, как до них добираетесь, сколько их нужно и что Вы делаете с результатами. Можно провести один опрос с несколькими анкетами и использовать одну анкету в нескольких опросах.
Сколько вопросов должно быть в анкете?
Столько, сколько требуют Ваши решения. Гнаться за целевым числом — неверный ход; ориентируйтесь на время заполнения, причём получите его на собственном чтении вслух, а не из эмпирического правила. Заявленная длительность влияет на то, кто примет участие: в контролируемом эксперименте доля завершивших среди начавших упала с 68,2 процента при заявленных 10 минутах до 46,8 процента при заявленных 30 минутах.
Сколько времени должно занимать заполнение анкеты?
Достаточно мало, чтобы заявленное время не отпугивало, и достаточно честно, чтобы оно соответствовало действительности. Резкого обрыва на какой-то конкретной минуте нет. Измеренная зависимость — плавное снижение участия по мере роста заявленной длительности, поэтому каждый оставленный пункт немного стоит Вам ответов, и Вы должны уметь назвать, что даёт каждый из них.
Анкета — это качественный или количественный метод?
Может быть и тем и другим, и большинство анкет понемногу сочетают оба. Закрытые пункты с фиксированными вариантами дают количественные данные. Открытые вопросы дают качественные данные. Важно решить, для чего нужен пункт, ещё до того, как Вы его напишете, потому что для этих двух типов нужны разные правила формулировок, разное число участников и совершенно разный анализ.
Нужна ли нейтральная середина в шкале оценки?
Включайте её, когда «нейтрально» — реальная позиция по отношению к тому, что Вы измеряете. Если её убрать, скрытое мнение не проявится: люди более-менее случайно выбирают среди делений ближе к середине. Кроме того, решайте насчёт середины и варианта «не знаю» вместе, потому что вариант «не знаю» сокращает выбор середины примерно на 7–17 процентных пунктов.
Когда стоит предлагать вариант «Не знаю»?
Когда у участника действительно может не быть информации, например названия тарифа, даты или технической детали. Избегайте его в вопросах о собственном опыте, где ответить может почти каждый. Лёгким выходом пользуются: в одном пункте об установках 15 процентов выбрали «не знаю», когда такой вариант был, а сопоставимые пункты без него пропустили лишь 3–4 процента.
Сколько открытых вопросов использовать?
Один или два, там, где они окупятся: обычно как уточнение к конкретному закрытому ответу и как итоговое поле «что-нибудь ещё». Открытые ответы — единственный способ услышать то, о чём забыл Ваш список вариантов, но им нужны схема кодирования и больше одного кодировщика, прежде чем результаты начнут что-то значить, и это реальные затраты.
Как проверить анкету перед отправкой?
В два этапа. Предварительное тестирование проверяет понимание: попросите людей прочитать каждый пункт вслух и рассказать, что, по их мнению, он означает и как они выбрали ответ. Пилотажное исследование — небольшой реальный запуск, который проверяет данные: точки выхода, охват вариантов, поведение шкал и то, работает ли запланированный анализ. Начинайте с предварительного тестирования, потому что именно оно меняет формулировки.
В каком дизайне исследования используется анкета?
Анкета — это инструмент сбора данных, а не дизайн, поэтому она встречается в нескольких дизайнах. Поперечные исследования используют её в один момент времени. Трендовые и панельные исследования повторяют её во времени. Эксперименты используют её, чтобы измерить результаты после воздействия. Выбор между ними — решение о дизайне исследования, которое стоит уровнем выше формулировок пунктов.
Как проверить валидность анкеты?
Нескольким новым пунктам, измеряющим что-то конкретное, нужно предварительное тестирование, а не психометрическая валидация. Шкале, которая должна измерять что-то абстрактное, сравниваться между группами или использоваться другими людьми, нужно больше: экспертная оценка содержания, пилотажное исследование достаточного размера, чтобы проверить согласованность пунктов, и данные о том, что баллы связаны с чем-то внешним так, как Вы предсказали. Если для Вашего конструкта уже есть валидированный инструмент, используйте его, а не пишите свой.
Как составлено это руководство и чего оно не охватывает
Последовательность из семи шагов повторяет процесс разработки, описанный в литературе по методологии анкет16, 17, 18, 20, а не схему какого-то одного поставщика. Каждая цифра на этой странице взята из опубликованного эксперимента или официального методического отчёта, перечисленных ниже. Каждый источник получил оценку до использования, и эта оценка указана рядом с утверждением в таблице доказательности.
Утверждения, которые мы не смогли проследить до первоисточника, не включены, а самые распространённые из них названы в разделе «Цифры, которые мы намеренно не использовали», чтобы Вы могли узнать их в других местах. Там, где правило здравое, но прямых доказательств мало, как с разделением двойных пунктов, страница прямо об этом говорит, а не заимствует уверенность у более сильного вывода.
Большая часть экспериментальных данных здесь получена в опросах, проведённых в США и Западной Европе, в основном на выборках из населения в целом и веб-панелей. Величина эффектов формулировки и порядка не перенесётся без изменений на любой язык, тему или генеральную совокупность, и ничего из этого не проверялось на Ваших участниках. Считайте эти цифры доказательством того, что эффекты реальны и могут быть большими, а не константами, которые можно подставить.
Разобранный пример — смоделированный случай, построенный, чтобы показать все семь шагов в одном месте. Это не отчёт о реальном исследовании, а описанное в нём предварительное тестирование приведено для иллюстрации.
Эта страница посвящена инструменту. Она не охватывает, кого спрашивать, сколько людей спрашивать и как анализировать полученное. Это отдельные задачи, описанные в разделах формирование выборки, объём выборки и статистическая значимость.
SuperSurvey делает программное обеспечение для опросов, поэтому у нас есть коммерческий интерес в том, чтобы люди проводили опросы. Это руководство можно читать бесплатно, а его советы применимы к любой платформе для опросов. Проверка пунктов работает полностью в Вашем браузере и никуда ничего не отправляет. Ссылки на наш конструктор и библиотеку шаблонов предлагают способы применить анкету на практике.
Источники
- Krosnick, J. A., & Presser, S. (2010). Question and questionnaire design. In P. V. Marsden & J. D. Wright (ред.), Handbook of Survey Research (2-е изд., гл. 9). Emerald.
- Rasinski, K. A. (1989). The effect of question wording on public support for government spending. Public Opinion Quarterly, 53(3), 388-394. doi.org/10.1086/269158
- Smith, T. W. (1987). That which we call welfare by any other name would smell sweeter. Public Opinion Quarterly, 51(1), 75-83. doi.org/10.1086/269015
- Saris, W. E., Revilla, M., Krosnick, J. A., & Shaeffer, E. M. (2010). Comparing questions with agree/disagree response options to questions with item-specific response options. Survey Research Methods, 4(1), 61-79. doi.org/10.18148/srm/2010.v4i1.2682
- Preston, C. C., & Colman, A. M. (2000). Optimal number of response categories in rating scales. Acta Psychologica, 104(1), 1-15. doi.org/10.1016/S0001-6918(99)00050-5
- Wetzelhutter, D. (2020). Scale-sensitive response behavior: consequences of offering versus omitting a "don't know" option and/or a middle category. Survey Practice, 13(1). doi.org/10.29115/SP-2020-0012
- Gilljam, M., & Granberg, D. (1993). Should we take don't know for an answer? Public Opinion Quarterly, 57(3), 348-357. doi.org/10.1086/269380
- Pew Research Center. Writing survey questions. Методическое пояснение. pewresearch.org/writing-survey-questions
- Pew Research Center (18 ноября 2003). Religious beliefs underpin opposition to homosexuality, Part 2: Gay marriage. pewresearch.org/politics/2003/11/18/part-2-gay-marriage
- Galesic, M., & Bosnjak, M. (2009). Effects of questionnaire length on participation and indicators of response quality in a web survey. Public Opinion Quarterly, 73(2), 349-360. doi.org/10.1093/poq/nfp031
- Antoun, C., Couper, M. P., & Conrad, F. G. (2017). Effects of mobile versus PC web on survey response quality. Public Opinion Quarterly, 81(S1), 280-306. doi.org/10.1093/poq/nfw088
- Mavletova, A. (2013). Data quality in PC and mobile web surveys. Social Science Computer Review, 31(6), 725-743. doi.org/10.1177/0894439313485201
- Schonlau, M., & Toepoel, V. (2015). Straightlining in web survey panels over time. Survey Research Methods, 9(2), 125-137. doi.org/10.18148/srm/2015.v9i2.6128
- Blair, J., & Conrad, F. G. (2011). Sample size for cognitive interview pretesting. Public Opinion Quarterly, 75(4), 636-658. doi.org/10.1093/poq/nfr035
- Menold, N. (2020). Double barreled questions: an analysis of the similarity of elements and effects on measurement quality. Journal of Official Statistics, 36(4), 855-886. doi.org/10.2478/jos-2020-0041
- Rattray, J., & Jones, M. C. (2007). Essential elements of questionnaire design and development. Journal of Clinical Nursing, 16(2), 234-243. doi.org/10.1111/j.1365-2702.2006.01573.x
- Boparai, J. K., Singh, S., & Kathuria, P. (2019). How to design and validate a questionnaire: a guide. Current Clinical Pharmacology, 13(4), 210-215. doi.org/10.2174/1574884713666180807151328
- Slattery, E. L., Voelker, C. C. J., Nussenbaum, B., Rich, J. T., Paniello, R. C., & Neely, J. G. (2011). A practical guide to surveys and questionnaires. Otolaryngology-Head and Neck Surgery, 144(6), 831-837. doi.org/10.1177/0194599811399724
- Edwards, P. (2010). Questionnaires in clinical trials: guidelines for optimal design and administration. Trials, 11, 2. doi.org/10.1186/1745-6215-11-2
- Stone, D. H. (1993). Design a questionnaire. BMJ, 307(6914), 1264-1266. pmc.ncbi.nlm.nih.gov/articles/PMC1679392
- American Association for Public Opinion Research (2022). Data quality metrics for online samples: considerations for study design and analysis. Доклад рабочей группы. доклад рабочей группы на aapor.org (PDF)
- Nielsen, J., & Landauer, T. K. (1993). A mathematical model of the finding of usability problems. Proceedings of ACM INTERCHI '93, 206-213. doi.org/10.1145/169059.169166
- Miller, G. A. (1956). The magical number seven, plus or minus two. Psychological Review, 63(2), 81-97. doi.org/10.1037/h0043158
- Maybin, S. (10 марта 2017). Busting the attention span myth. BBC News. bbc.com/news/health-38896790
Каждый DOI выше проверен через сервис разрешения DOI, а каждая ссылка — на доступность 21 августа 2026 года.