Виды выборки: что такое выборка в исследовании?

Определение выборки (и 5 терминов, в которых нельзя ошибиться)

Формирование выборки — это процесс отбора меньшей группы (выборки) из большей группы (генеральной совокупности), чтобы узнать о генеральной совокупности, не измеряя всех. Сплошное исследование всей генеральной совокупности часто непрактично, поэтому исследователи используют выборку: так работа становится выполнимой, а выводы остаются полезными.

Пять терминов ниже несут основную нагрузку в любой главе о методологии. Ошибётесь в них — и каждое последующее решение унаследует эту ошибку.

• warning
  Генеральная совокупность: вся группа, которую Вы хотите описать, с чётко заданными границами и временными рамками. «Все студенты выпускного курса сестринского дела трёх кампусов, зачисленные на 1 марта» — это генеральная совокупность. «Медсёстры» — нет.
• warning
  Целевая и доступная генеральная совокупность: кого Вы хотите описать и кого Ваши способы привлечения и инструменты могут реально охватить. Если в отчёте назван разрыв между ними, это сильная сторона работы, а не слабая.
• warning
  Основа выборки: список или механизм, из которого Вы отбираете. Реестр студентов, реестр пациентов, база данных клиентов, перечень домохозяйств деревни, список избирателей. Проблемы основы выборки порождают ошибку охвата, и никакой метод их не исправит.
• warning
  Единица выборки: то, что фактически отбирается. Человек, домохозяйство, клиника, класс, смена, заказ. В кластерных и многоступенчатых дизайнах единицей на первой ступени является группа, и такая группа называется первичной единицей выборки.
• warning
  Дизайн выборки: весь план в письменном виде. Основа выборки, метод, сколько единиц, как с ними связываются и что Вы будете делать с теми, кто не ответит. Именно «дизайн выборки» на самом деле хочет увидеть экзаменатор или рецензент, когда спрашивает о Вашей выборке.

Краткое официальное определение той же идеи приведено в учебной заметке о выборке Управления по добросовестности в научных исследованиях США (Office of Research Integrity).¹ Если Вы встраиваете выборку в более широкий план исследования, наше руководство по дизайну исследования описывает шаги до и после неё.

Зачем вообще нужна выборка и когда сплошное обследование — лучший ответ

Потребность в выборке сначала практическая и лишь потом статистическая. Снова и снова возникают четыре причины.

1. Стоимость

   Каждый дополнительный участник стоит денег, рабочего времени сотрудников или доброй воли. Хорошо отобранная выборка из 600 человек может ответить на тот же вопрос, что и плохо организованная попытка опросить 60 000.

2. Скорость

   У решений есть сроки. Выборка даёт ответ в том временном окне, когда этот ответ ещё полезен.

3. Осуществимость

   Некоторые генеральные совокупности вообще невозможно перечислить: прохожие на рынке, люди, отказавшиеся от услуги, неформальные торговцы. Другие фактически бесконечны, или измерение единицы её уничтожает.

4. Качество

   Эта причина удивляет многих. Сосредоточив усилия на меньшей группе, можно добиваться ответа от тех, кто не ответил, как следует обучить интервьюеров и проверить данные. Усилия на одну единицу обычно ценнее, чем количество единиц.

Сплошное обследование (перепись), напротив, измеряет всех. Это лучший выбор, когда генеральная совокупность достаточно мала, чтобы охватить её целиком, когда контактные данные уже есть или когда каждый её член имеет право быть опрошенным. Опрос сотрудников в организации из 200 человек — это вопрос сплошного обследования, а не выборки. Как и оценка учебного курса группой. Когда генеральная совокупность мала, выборка почти ничего не даёт и лишает Вас возможности отчитываться по отдельным командам.

Как на самом деле выглядит хорошая выборка

Учебники называют хорошую выборку «репрезентативной», но это не практический критерий. А вот следующие четыре свойства — критерий.

• Охват: любой член целевой генеральной совокупности в принципе мог быть отобран.
• Контролируемый отбор: кто попадёт в выборку, решает правило, а не то, кто вызвался сам или кто оказался ближе всех к двери.
• Достаточно единиц в самой малой группе, по которой нужно отчитаться: общая цифра может выглядеть солидно, тогда как группа, которая Вас действительно интересует, держится на 11 ответах.
• Поддаётся описанию: Вы можете точно записать, как она была отобрана, и кто-то другой сможет это повторить.

Понятное изложение того, как выборки позволяют получать оценки для генеральной совокупности, можно найти в обзоре Бюро переписи населения США (U.S. Census Bureau) о выборочных обследованиях и статистическом выводе — хорошая отправная точка.²

Основа выборки задаёт потолок

Основа выборки — это конкретный список или механизм, из которого Вы отбираете. Это самая недооценённая часть формирования выборки и место, где большинство реальных исследований незаметно идут не туда, ведь именно основа выборки решает, кто вообще мог быть отобран.

Основы выборки — вполне обычные вещи. Реестр студентов, реестр пациентов, кадровый список, база данных клиентов. Список деревень с числом домохозяйств, список избирателей, поток заказов, перечень клиник района. Обратите внимание: одни основы выборки перечисляют людей, другие — места. От этого различия зависит, какие методы Вам доступны.

Проверяйте основу выборки до отбора, а не после. Посчитайте строки. Сравните это число с любым независимым итогом, который сможете найти, например с численностью персонала по данным отдела кадров или с числом зачисленных. Найдите сегмент, пропуск которого было бы особенно неловко признать, и убедитесь, что он есть. Удалите дубликаты. Запишите, что основа выборки не охватывает, потому что эта фраза в любом случае войдёт в раздел об ограничениях.

Сравнение 9 методов формирования выборки

Методы формирования выборки делятся на два семейства. Вероятностная выборка использует случайный механизм, поэтому у каждой единицы основы выборки есть известный ненулевой шанс быть отобранной. Невероятностная выборка его не использует, поэтому вероятности отбора неизвестны. Всё остальное вытекает из этого одного различия.

Второй столбец большинство руководств опускают, поэтому здесь он идёт первым. Только вероятностный дизайн позволяет указать погрешность, доверительный интервал или фразу «плюс-минус 5 пунктов». Если у метода там стоит «нет», он всё равно может многое Вам дать. Просто Вы не сможете опубликовать показатель точности рядом с результатом. Сама точность — тема отдельного разговора, которому посвящено наше руководство по объёму выборки.

Как читать таблицу: первые пять методов — вероятностные дизайны, последние четыре — нет. Именно это разделение, а не названия отдельных методов, решает, будет ли показатель точности честным.

Методы вероятностной выборки по порядку

Вероятностная выборка означает, что у каждой единицы основы выборки есть известный ненулевой шанс быть отобранной, а отбор выполняет случайный механизм. Только на этом и основано право говорить о генеральной совокупности что-либо в числах. Пять дизайнов покрывают почти любое реальное исследование. Обзоры клинических исследований и исследований в здравоохранении описывают то же семейство под несколько иными названиями, и стоит понимать причину, прежде чем Вы встретите оба варианта: оба цитируемых здесь обзора включают многоступенчатую выборку в кластерную, а не выделяют её отдельно.³⁴

Простая случайная выборка

Простая случайная выборка даёт каждой единице списка ровно одинаковый шанс быть отобранной. Вы нумеруете список, генерируете случайные числа и берёте единицы, на которые они выпали.

Разобранный пример. В реестре университета 12 000 зачисленных студентов, а Вам нужно 400 ответов. Пронумеруйте реестр от 1 до 12 000, сгенерируйте 400 неповторяющихся случайных чисел в этом диапазоне в электронной таблице или статистическом пакете и пригласите этих студентов. Если Вы ожидаете долю ответивших 40 процентов, отберите и пригласите 1000 человек, чтобы 400 заполненных ответов были реалистичны.

Где метод даёт сбой. Когда 400 ответов распределены по реестру из 12 000 студентов, кафедра из 300 студентов даёт около 10 человек. Для отчёта этого недостаточно. Если какая-либо подгруппа должна фигурировать в результатах, простая случайная выборка — неподходящий инструмент, а решение — стратифицированная выборка.

Задокументируйте рандомизацию. Использованная программа, начальное значение генератора (seed), если оно было, и дата. Именно это одно предложение делает отбор воспроизводимым, и рецензенты действительно его требуют.

Систематическая выборка

Систематическая выборка берёт каждую k-ю единицу из упорядоченного списка после случайного начала. Разделите размер списка на нужное число единиц, чтобы получить шаг k, выберите случайное число от 1 до k в качестве начальной точки, затем отсчитывайте вперёд.

Разобранный пример. Районная больница фиксирует 9000 амбулаторных посещений за квартал и хочет провести 600 интервью на выходе. Шаг равен 9000, делённым на 600, то есть k равно 15. Выберите случайное начало от 1 до 15, например 7, затем опрашивайте посещения 7, 22, 37, 52 и так далее. Полевая команда может следовать этому правилу без ноутбука — в этом и есть настоящая причина, по которой метод до сих пор жив.

Где метод даёт сбой. Периодичность. Если в списке есть повторяющийся цикл, совпадающий с k, Вы каждый раз попадаете в одну и ту же позицию. Список посещений, упорядоченный по дням приёма с 7-дневным циклом, при шаге 7 дал бы Вам один день недели и ничего больше. Проверьте порядок, прежде чем фиксировать k, и перемешайте список, если порядок связан с тем, что Вы измеряете.

Стратифицированная выборка

Стратифицированная выборка делит генеральную совокупность на непересекающиеся группы, называемые стратами, а затем внутри каждой страты проводится случайный отбор. Для большинства исследований это самое полезное из доступных улучшений, потому что оно гарантирует, что каждая группа, по которой Вы обязаны отчитаться, действительно попадёт в выборку.

Разобранный пример с расчётами. В организации 4200 сотрудников в шести провинциях, и ей нужно 600 ответов.

• Пропорциональное размещение. В провинции с 1400 сотрудниками работает 1400, делённое на 4200, то есть треть персонала, поэтому она получает треть от 600, то есть 200 ответов. Провинция с 210 сотрудниками получает 210, делённое на 4200 и умноженное на 600, то есть 30 ответов. Каждая провинция представлена пропорционально своему размеру, и при анализе взвешивание не требуется.
• Непропорциональное размещение, или избыточный отбор. Тридцати ответов слишком мало, чтобы отчитываться по этой маленькой провинции отдельно. Поэтому Вы намеренно берёте из неё 80 ответов, а для компенсации сокращаете самую крупную провинцию. Теперь вероятности отбора в провинциях различаются, и прежде чем приводить любую цифру по организации в целом, данные нужно взвесить обратно к истинным пропорциям. Пропуск этого шага — самая распространённая ошибка стратифицированной выборки.

Выбор страт. Выбирайте переменные, связанные с изучаемым показателем или с тем, кто вероятнее ответит, и уже имеющиеся в основе выборки. Обычные кандидаты — регион, площадка, должность, стаж, курс, тип тарифа и возрастная группа. Страты, никак не связанные с изучаемым показателем, добавляют административной работы и не дают точности. Если группирующей переменной нет в основе выборки, возможно, её придётся собрать в самой анкете. Наше руководство по демографическим вопросам в опросе рассказывает, как спрашивать о таких переменных, не теряя участников.

Кластерная выборка

Кластерная выборка случайным образом отбирает целые естественные группы, а затем опрашивает всех внутри отобранных групп. Нужен список групп, а не список людей — ради этого метод и существует.

Разобранный пример. В районе 180 начальных школ и нет централизованного списка учеников. Вы случайно отбираете 24 школы и опрашиваете в каждой всех учеников 8-го класса. Вы совершили 24 выезда в школы вместо 180, и для начала Вам ни разу не понадобился реестр учеников.

Чем за это приходится платить. Ученики одной школы больше похожи друг на друга, чем на учеников по всему району. Поэтому каждый дополнительный ученик из уже отобранной школы добавляет меньше новой информации, чем независимый ученик. Ваше эффективное число ответов меньше фактического. Это увеличение и есть эффект дизайна, и его нужно заложить в план, а не обнаружить при анализе.

Где метод даёт сбой. Слишком мало кластеров. Шесть случайно отобранных школ могут сильно отличаться друг от друга, и результат колеблется в зависимости от того, какие шесть школ Вам выпали. Больше кластеров с меньшим числом людей в каждом почти всегда лучше, чем наоборот.

Многоступенчатая выборка

Многоступенчатая выборка проводит отбор в две или более ступени: сначала группы, затем единицы внутри отобранных групп, а иногда и третья ступень внутри них. Почти все национальные обследования домохозяйств в мире построены именно так.

Разобранный пример. Отберите 120 избирательных округов из общенационального списка округов. Внутри каждого отобранного округа полевая команда составляет список домохозяйств на месте, затем случайно отбирает 20 из них. Внутри каждого отобранного домохозяйства одного взрослого выбирают случайно, а не оставляют того, кто откроет дверь. Это три ступени, и последняя важна: если домохозяйство само решает, кто будет отвечать, возвращается именно то смещение отбора, от которого дизайн должен был защитить.

Чем за это приходится платить. У разных людей оказываются разные вероятности отбора, поэтому для анализа нужны веса, а расчёт дисперсии должен учитывать кластеризацию на каждой ступени. Это полноценный дизайн, которому нужен человек, способный провести взвешенный анализ. Если в проекте такого человека нет, выберите более простой дизайн, а не многоступенчатый без взвешивания.

Стратифицированная и кластерная выборка: разница в одной строке

Эти два метода постоянно путают, потому что оба начинаются с деления генеральной совокупности на группы. Разница в том, что Вы делаете дальше.

Методы невероятностной выборки по порядку

Невероятностная выборка означает, что вероятности отбора неизвестны, потому что никакой случайный механизм не решал, кто будет отобран. Это правильный выбор в четырёх ситуациях. Невозможно построить пригодную основу выборки. Группа скрыта. Скорость важнее точности. Или вопрос касается смысла, а не масштаба.

Эти методы не второсортные. Они отвечают на другой вопрос. Ошибка — никогда не в том, чтобы их использовать, а в том, чтобы использовать их и затем написать фразу, которую может обосновать только вероятностная выборка.

Удобная выборка

Удобная выборка, которую также называют доступной, привлекает тех, кто доступнее всего. Всплывающее окно на сайте, ссылка в рассылке, студенты Вашей собственной группы, люди, проходящие мимо прилавка на рынке.

Пример. Магазин размещает ссылку для отзыва на чеке. Каждый, кто ответил, что-то купил, имел при себе телефон, располагал временем и имел причину потрудиться. Каждый из этих фильтров отсекает свою часть клиентской базы.

Честное применение. Пилотажное исследование анкеты, выдвижение гипотез, выяснение того, какими словами говорят клиенты, проверка понятности вопроса. Всё это отличные применения. Ни одно из них не требует оценки для генеральной совокупности.

Квотная выборка

Квотная выборка задаёт цели набора для названных групп и заполняет их. Сорок сельских и шестьдесят городских жителей. Пятьдесят женщин и пятьдесят мужчин. По двадцать человек в каждой из пяти возрастных групп.

Пример. Команде маркетинговых исследований нужно 500 ответов, соответствующих национальному распределению по возрасту, полу и региону, а списка генеральной совокупности нет. Она набирает участников, пока не заполнится каждая ячейка.

Почему это всё же не вероятностная выборка. Квоты контролируют структуру выборки, а не отбор людей в неё. Тот, кто набирает участников, всё равно выбирает, а люди, к которым легко подойти, систематически отличаются от тех, к кому подойти трудно. Выборка может идеально совпадать с генеральной совокупностью по возрасту и полу и всё равно сильно ошибаться во взглядах, потому что вред наносили вовсе не возраст и пол.

Целевая выборка

Целевая выборка, которую также называют экспертной (выборкой по суждению), намеренно отбирает случаи, отвечающие заданным критериям. Распространённые варианты — отбор типичных случаев, крайних случаев, критических случаев, максимальной вариативности и экспертов.

Пример. Для исследования того, как используется новая платёжная система, отбирают восемь человек. Двоих, кто пользуется ею ежедневно, двоих, кто от неё отказался, двоих, кто так и не начал ею пользоваться, и двух сотрудников поддержки, разбирающих жалобы. Такой разброс выбран намеренно, и обоснование этого выбора и есть метод.

Честное применение. Большинство качественных исследований. Критерий здесь не случайность. Он в том, можете ли Вы объяснить, почему именно эти случаи, а не другие, и достаточно ли широк диапазон мнений, чтобы подкрепить Ваши выводы.

Выборка методом «снежного кома»

Выборка методом «снежного кома» привлекает небольшое число участников, которые затем рекомендуют других, отвечающих критериям, а те — следующих.

Пример. Исследование неформальных приграничных торговцев начинается с четырёх участников, найденных через местную ассоциацию, и каждый из них знакомит исследователей ещё с двумя. Реестра неформальных торговцев не существует, поэтому ни один метод, требующий основы выборки, недоступен.

Как это влияет на выборку. Гомофилия. Люди рекомендуют похожих на себя. Выборка смещается к одной социальной сети и уходит от изолированных членов генеральной совокупности, а ведь именно их исследованию зачастую важнее всего услышать. Если начинать с нескольких не связанных между собой стартовых участников, а не с одного, смещение уменьшается, но не исчезает.

Как сделать невероятностную выборку защитимой

Большинство руководств останавливаются на фразе «обобщать нельзя» и бросают читателя на полпути, хотя большинство читателей проводят именно такое исследование. Вот та часть, которой обычно не хватает.

• Описывайте процедуру привлечения, а не только название метода. Где была размещена ссылка, в какие даты, кто её видел, предлагалось ли вознаграждение и сколько людей было приглашено по сравнению с тем, сколько ответило. Именно это позволяет читателю оценить выборку, а не гадать.
• Сравните полученную выборку с известным эталоном и опубликуйте это сравнение. Если в Вашей организации 60 процентов составляют полевые сотрудники, а среди участников их 25 процентов, укажите это в таблице. Названный перекос — это результат. Скрытый — это дефект.
• Знайте, на что способно взвешивание, а на что нет. Корректировка данных так, чтобы демографический состав совпадал с генеральной совокупностью, может исправить видимый дисбаланс. Она не может исправить различия между участниками и остальными по признаку, который Вы не измеряли, и никогда не превращает невероятностную выборку в такую, которая позволяет заявлять о точности.
• Меняйте формулировку, а не статистику. Вместо «38 процентов клиентов недовольны, плюс-минус 4 пункта» напишите: «38 процентов из 620 клиентов, ответивших на опрос, сообщили о недовольстве. Участники привлекались через подсказку в приложении в течение двух недель и не являются случайной выборкой клиентов». Вторая формулировка короче, полезнее и неуязвима для критики.

У качественных исследований для этого есть собственный словарь. Протокол обычно требует обоснования, а не числовой цели. В нём должны быть указаны планируемое число участников и диапазон мнений — это различие кратко сформулировано в руководстве Университета Бата (University of Bath).⁵

Подберите метод к ситуации

Шесть ситуаций, шесть методов. Примите решение, прежде чем открывать ответ. Это самый быстрый способ проверить, действительно ли Вы усвоили таблицу выше.

Как выбрать метод формирования выборки

Большинство исследований проваливаются не потому, что кто-то выбрал не тот метод с громким названием. Они проваливаются потому, что метод не соответствовал основе выборки, принимаемому решению или тому, что полевая команда могла реально выполнить. Три вопроса почти всегда решают дело.

1. Начните с утверждения, которое Вам нужно сделать

   Прежде чем что-либо выбирать, напишите фразу, которую хотите опубликовать. «Шестьдесят два процента наших клиентов порекомендовали бы нас» и «уходящие клиенты называют три повторяющиеся проблемы» — это разные утверждения, которым нужны разные дизайны. Если никто не будет воспринимать результат как цифру для генеральной совокупности, свободы у Вас гораздо больше, чем кажется.

2. Проверьте основу выборки, прежде чем принимать решение

   Можете ли Вы действительно составить список генеральной совокупности или близкой замены? Если нет, можете ли перечислить группы, к которым эти люди относятся? Ответ на этот единственный вопрос сразу исключает большинство из девяти методов — поэтому он идёт вторым, а не последним.

3. Назовите подгруппы, по которым Вы обязаны отчитаться

   Если результат должен быть представлен по каждому региону, площадке или должности, это определяет дизайн — через страты или квоты. Это же определяет, сколько ответов нужно в каждой группе. Если решить это после полевого этапа, исправить уже ничего нельзя.

4. Сверьте дизайн с полевой реальностью

   Время, бюджет, возможность связаться с людьми, языковая доступность, грамотность, наличие связи и политика вознаграждений определяют, что выполнимо. Дизайн, которому полевая команда не может следовать, превращается в удобную выборку с формальным названием, а это хуже, чем честно выбрать удобную выборку. Инклюзивное планирование привлечения снижает систематическую недопредставленность.⁶ Когда выборка отобрана, используйте онлайн-конструктор опросов, чтобы подготовить анкету и отправить её людям, отобранным по Вашему плану выборки. Если поделиться общедоступной ссылкой без ограничений, изменится круг тех, кто может ответить; случайная выборка при этом не сохраняется.

Где выборки на самом деле дают сбой: охват, отбор и неответы

Об отборе беспокоятся все, а ошибки в нём случаются реже всего. Ущерб обычно возникает до отбора — в основе выборки — или после него — в том, кто потрудится ответить. И то и другое даёт аккуратные на вид таблицы и неверные выводы.

В самом известном провале выборки было 2,4 миллиона участников

В 1936 году журнал Literary Digest предсказал, что Альф Лэндон получит примерно 55 процентов голосов. Франклин Рузвельт набрал около 61 процента.⁷ Журнал разослал 10 миллионов бюллетеней и получил обратно около 2,4 миллиона — доля ответивших 24 процента, к которой сегодня не приближается ни один общенациональный опрос общественного мнения.⁸ Опрос занизил долю Рузвельта на двадцать пунктов по сравнению с фактической — на выборке в два с половиной миллиона человек.

Цифра, которая должна быть на каждой странице о выборке. Позднейший повторный анализ рассчитал выборочную погрешность для оценок Digest по отдельным штатам: она составляла от 0,18 до 2,3 процентного пункта, медиана — 0,6.⁸ Показатель точности плюс-минус полпункта поверх ошибки в двадцать пунктов. Ничто не показывает нагляднее, что погрешность измеряет лишь один из нескольких способов, которыми опрос может ошибиться.

И стандартное объяснение верно лишь наполовину. Всех учат, что Digest опрашивал владельцев автомобилей и телефонных абонентов — людей богатых и голосующих за республиканцев. Одна эмпирическая проверка этого утверждения использовала опрос Gallup от мая 1937 года. Люди, у которых были и автомобиль, и телефон, всё равно поддерживали Рузвельта — 55 против 45. Среди всех, кто сказал, что получил бюллетень Digest, Рузвельт лидировал со счётом 55 против 44. Основа выборки была смещена в сторону республиканцев, но далеко не настолько, чтобы дать Лэндону сокрушительную победу.⁷

Недостающая половина — неответы. Среди тех, кто сказал, что вернул бюллетень, Лэндон лидировал со счётом 51 против 48. Среди тех, кто его не вернул, Рузвельт лидировал со счётом 69 против 30. Грубое разложение относит около одиннадцати пунктов ошибки на основу выборки и около семи — на различия в неответах.⁷ Взвешивание полученных ответов по вопросу, который Digest уже задавал, — как Вы голосовали в 1932 году, — дало бы правильного победителя с помощью арифметики, доступной в 1936 году.⁸

Высокая доля ответивших — не та цель, которой Вы её считаете

Доля ответивших в собственных телефонных опросах Pew Research Center упала с 36 процентов в 1997 году до 9 процентов к 2012 году и до 6 процентов к 2018 году.⁹ Тем временем Национальное обследование семьи и здоровья Индии (National Family Health Survey), проводимое лично, отобрало 664 972 домохозяйства и обнаружило, что 653 144 из них заселены. Из них было опрошено 636 699 — доля ответивших 97,5 процента. Внимательно посмотрите на знаменатель, потому что именно здесь доля ответивших чаще всего считается неверно: относительно числа отобранных, а не заселённых домохозяйств та же полевая работа даёт 95,7 процента. Выборка обследования была извлечена из 30 456 кластеров во всех 707 округах.¹⁰

Оба факта относятся к одному десятилетию. Способ сбора и усилия в поле влияют на долю ответивших гораздо сильнее, чем любое общее утверждение об усталости от опросов. Если руководство говорит Вам, что средняя доля ответивших равна какому-то одному числу, оно описывает несуществующую величину.

Теперь более неудобный вывод. Метаанализ 235 оценок смещения из-за неответов, взятых из 30 опубликованных исследований, показал, что корреляция между долей ответивших и величиной смещения из-за неответов составляет 0,33. В квадрате это означает, что доля ответивших объясняет около 11 процентов вариации смещения.¹¹ Последующий анализ 59 исследований, специально задуманных для измерения смещения из-за неответов, пришёл к тому же выводу.¹²

Долю ответивших стоит указывать и стоит повышать. Но это не сертификат качества. Смещение возникает тогда, когда склонность отвечать связана с тем, что Вы измеряете. Опрос о волонтёрстве страдает от этого гораздо сильнее, чем опрос о скорости интернета. Следите за корреляцией, а не за процентом.

Больше ответов не исправят негодную основу выборки

Во время кампании вакцинации 2021 года два очень крупных опроса отслеживали охват вакцинацией в США. Один собирал около 250 000 ответов в неделю и завысил охват первой дозой на 17 процентных пунктов по сравнению с официальным эталоном. Другой собирал около 75 000 ответов каждые две недели и завысил его на 14. Третий опрос примерно из 1000 участников, проведённый по стандартной вероятностной методике, дал надёжные оценки.¹³

Та же картина видна и в обычной работе с опросами. При сравнении трёх вероятностных панелей с тремя онлайн-источниками с добровольным участием по 28 эталонным показателям и 29 937 интервью средняя абсолютная ошибка составила 5,8 процентного пункта для выборок с добровольным участием и 2,6 для вероятностных панелей. По 25 из этих показателей, доступным для подгрупп, разрыв для взрослых в возрасте от 18 до 29 лет составил 11,2 против 3,6.¹⁴

И запоминающийся диагностический пример: в одном опросе с добровольным участием 12 процентов взрослых моложе 30 лет заявили, что имеют лицензию на управление атомной подводной лодкой.¹⁵ Реальная цифра близка к нулю. Если панель способна выдать такое, она способна выдать что угодно, а более крупный заказ у той же панели просто купит больше того же самого.

Кого упускает основа выборки за пределами США и Великобритании

Большинство руководств по выборке молча предполагают западную основу выборки: список адресов электронной почты, стационарный телефон, национальный адресный реестр. Значительная часть мира так выборку не строит, и пробелы в охвате там хорошо измерены.

• Онлайн-опрос в стране с низким или средним уровнем дохода — это выборка из её подключённой к интернету части, а эта часть смещена в сторону мужчин. Женщины в странах с низким и средним уровнем дохода на 14 процентов реже мужчин пользуются мобильным интернетом, то есть в сети примерно на 235 миллионов женщин меньше, чем мужчин.¹⁶
• Телефонные выборки перепредставляют глав домохозяйств. В телефонных опросах Всемирного банка в четырёх африканских странах среди участников было 52 процента мужчин в Уганде и 73 процента в Нигерии, тогда как среди взрослого населения мужчин примерно половина. В Уганде 6 процентов участников телефонного опроса были в возрасте от 15 до 24 лет, тогда как во взрослом населении таких 38 процентов.¹⁷
• Что с этим делать. Сочетайте способы сбора, а не отстаивайте один. Составляйте списки домохозяйств на месте там, где реестра нет. Проводите опрос на тех языках, на которых Ваша генеральная совокупность действительно читает, и проводите предварительное тестирование перевода вместо обратного перевода. Затем укажите оставшийся разрыв в ограничениях, потому что он всё равно останется.

Что взвешивание может исправить, а что нет

Взвешивание корректирует данные так, чтобы состав выборки совпадал с известными показателями генеральной совокупности. Это действительно мощный инструмент, и его возможности постоянно преувеличивают.

Аргумент за. В 2016 году последний опрос Университета Нью-Гэмпшира показывал преимущество Клинтон в 11 пунктов в гонке, которую она выиграла с перевесом в 0,4 пункта. Поправки на образование в нём не было. Комиссия по анализу пришла к выводу, что одна эта поправка устранила бы практически всю ошибку.¹⁸ Одна переменная, связанная и с откликом, и с результатом, сделала всю работу.

Аргумент против того, чтобы на него полагаться. Когда более 30 000 онлайн-интервью с добровольным участием сравнили с 24 эталонными показателями, среднее оценённое смещение без взвешивания составило 8,4 процентного пункта. Ни одна из проверенных процедур взвешивания, включая сложные методы сопоставления, не снизила среднее смещение ниже 6 пунктов.¹⁹ Увеличение объёма выборки в четыре раза дало ещё 0,2 пункта.

Отсюда простое правило. Взвешивание исправляет дисбаланс по тем переменным, по которым Вы взвешиваете, в той мере, в какой эти переменные связаны с изучаемым показателем. Оно никак не влияет на различия между ответившими и не ответившими по признакам, которые Вы никогда не измеряли, и никогда не превращает невероятностную выборку в такую, которая позволяет заявлять о точности.

Показатель точности — нижняя граница, а не верхняя

Погрешность количественно описывает выборочную изменчивость, и только её. Она предполагает, что выборка извлечена случайно из целевой генеральной совокупности и что оставшееся смещение устранено. Ошибка охвата, смещение из-за неответов, ошибка измерения и недобросовестные участники — всё это вне её.

Данные говорят прямо. В последние две недели кампании 2020 года 348 президентских опросов по отдельным штатам указали погрешность, и в среднем она составляла 3,9 пункта. Если мерить этим средним, 55 процентов из них ошиблись в итоговом перевесе больше чем на одну погрешность, а 21 процент — больше чем на две.²⁰ Это были современные опросы с современными методами. Считайте погрешность нижней границей Вашей неопределённости, а не верхней.

Уровень A означает официальную статистику, метаанализ или воспроизведённый результат. Уровень B означает одно сильное исследование, вывод которого ещё не был независимо повторён.

Эффект дизайна: почему кластерным выборкам нужно больше людей

Почти каждое руководство рекомендует кластерную выборку за экономию и на этом останавливается. Экономия реальна, но реален и счёт. Люди внутри одной школы, клиники, отделения или магазина похожи друг на друга. Они похожи друг на друга больше, чем на людей, случайно отобранных из всей генеральной совокупности. Поэтому каждый дополнительный ответ из уже отобранной группы несёт меньше новой информации.

Эту величину измеряет эффект дизайна. Словами: насколько шире становится Ваша неопределённость по сравнению с независимым отбором того же числа людей. Для дизайна с группами одинакового размера он равен

эффект дизайна = 1 + (средний размер группы - 1) x внутриклассовая корреляция

Внутриклассовая корреляция (ICC) показывает, насколько похожи люди внутри группы по тому, что Вы измеряете. Ноль означает, что принадлежность к одной школе ничего не говорит об ответе ученика. Единица означает, что все в школе отвечают одинаково, и школа с тем же успехом могла бы быть одним человеком. Реальные значения невелики, но малые значения наносят большой ущерб, когда группы становятся крупными. По данным 48 национальных обследований домохозяйств средняя внутриклассовая корреляция составляет около 0,06. Она зависит от того, что Вы измеряете. Для пунктов о рождаемости — примерно от 0,01 до 0,03, для текущего использования контрацепции — от 0,03 до 0,05, а для родов с медицинской помощью — вплоть до 0,22 в национальных показателях.²¹

Если собственной оценки нет, заимствуйте значение по умолчанию осторожно. Руководство DHS по выборке использует для deft значение 1,5, когда у обследования нет собственной цифры.²² Deft — не та же величина, что эффект дизайна в формуле выше: это отношение двух стандартных ошибок, тогда как эффект дизайна — отношение двух дисперсий. Его нужно возвести в квадрат, поэтому deft 1,5 соответствует эффекту дизайна 2,25. Руководство называет это значение запасным, а не типичным, и в его собственных разобранных примерах используется 1,40 для использования современных методов контрацепции и 1,22 для вакцинации детей.

Взвешивание добавляет собственную составляющую. Национальное обследование, в котором один регион отобран с избытком, а затем взвешен обратно, несёт сразу два эффекта дизайна. Эффект взвешивания 1,22 и эффект кластеризации 1,80 дают общий эффект дизайна 2,20. Поэтому 5000 опрошенных домохозяйств ведут себя как 2277 независимых.²³

Урок для дизайна. Больше групп с меньшим числом людей в каждой почти всегда лучше, чем меньше групп с большим числом людей в каждой. Сорок школ по 24 ученика и 24 школы по 40 учеников обходятся примерно в те же 960 ответов, но у первого варианта эффект дизайна меньше, а результат защитим. Если Вы планируете, сколько всего ответов Вам нужно, рассчитайте это с помощью нашего руководства по объёму выборки, а затем умножьте на эффект дизайна. Если делать наоборот, кластерные исследования в итоге оказываются с недостаточной статистической мощностью.

Три разобранных примера от начала до конца

Названия методов запомнить легко. А ошибаются исследования как раз в решениях вокруг них. Эти три примера проводят реальный дизайн от описания генеральной совокупности до фразы, которую можно опубликовать.

Пример 1: опыт пациентов в районе

• Генеральная совокупность. Взрослые, посетившие амбулаторный приём в любой из 46 государственных клиник района в период с 1 апреля по 30 июня.
• Основа выборки. Единого реестра пациентов района не существует. Существует список 46 клиник с ежемесячным числом посещений.
• Метод. Многоступенчатый. Отберите 18 клиник с вероятностью, пропорциональной посещаемости, затем систематически отбирайте каждого 8-го выходящего пациента в течение двух случайно выбранных дней приёма.
• Почему не что-то попроще. Полный список пациентов позволил бы использовать стратифицированную выборку, но его нет и составить его в отведённые сроки невозможно. Удобная выборка в трёх крупнейших клиниках была бы быстрее и описывала бы три крупнейшие клиники.
• Что необходимо указать. Вероятности отбора зависят от размера клиники, поэтому анализу нужны веса, а интервал нужно расширить с учётом эффекта дизайна.
• Фраза для публикации. «Среди взрослых, посещавших государственные амбулаторные клиники района во втором квартале, по оценкам, 71 процент сочли время ожидания приемлемым — на основе 1240 интервью на выходе в 18 клиниках, отобранных с вероятностью, пропорциональной посещаемости».

Пример 2: диссертационное исследование среди студентов

• Генеральная совокупность. Студенты, зачисленные на коммерческий факультет в текущем учебном году: 3100 человек на трёх курсах.
• Основа выборки. Реестр зачисленных студентов факультета, в котором указаны курс и образовательная программа.
• Метод. Стратифицированная случайная выборка по курсам, пропорциональное размещение, цель — 350 заполненных ответов.
• Расчёт. На первом курсе 1300 студентов, это 42 процента от 3100, поэтому он получает 42 процента от 350, то есть 147 ответов. Повторите для каждого курса. Поскольку размещение пропорциональное, взвешивание не требуется.
• Планирование отклика. При ожидаемой доле ответивших 35 процентов нужно пригласить примерно 1000 студентов, чтобы получить 350 заполненных ответов, и приглашать их следует страта за стратой, чтобы слабый отклик на каком-то курсе был заметен, пока ещё есть время что-то предпринять.
• Ограничения, которые нужно указать. Отчисленные студенты, оставшиеся в реестре, — это избыточный охват. Студенты, зачисленные после выгрузки реестра, — недостаточный охват. И то и другое относится к абзацу об ограничениях.

Пример 3: отзывы клиентов интернет-магазина

• Генеральная совокупность. Клиенты, оформившие заказ за последние 90 дней.
• Основа выборки. Таблица заказов. Она полна для онлайн-заказов и для заказов без регистрации, но клиент с двумя аккаунтами встречается в ней дважды.
• Метод. Удалите дубликаты, чтобы на каждого клиента приходилась одна строка, затем примените систематическую выборку — каждый 12-й клиент после случайного начала, непрерывно, а не одной партией.
• Ловушка, которой это позволяет избежать. Приглашать только подписчиков рассылки быстрее, но это удобная выборка из самых вовлечённых клиентов. Удовлетворённость будет выглядеть лучше, чем есть на самом деле, — стабильно, каждый квартал.
• Примечание о сотрудниках. Той же организации, опрашивающей собственных 180 сотрудников, выборка не нужна вовсе. Эта генеральная совокупность мала, досягаема, и каждый имеет право быть опрошенным. Проведите сплошное обследование, а если участие окажется низким, считайте это результатом, а не проблемой выборки.

Как описать выборку в разделе о методологии

Этот шаг большинство руководств пропускают, а именно его на самом деле читают научный руководитель, рецензент или заказчик. Описание выборки должно по порядку ответить на пять вопросов: кто, из какого списка, как отобраны, сколько и что Вы, следовательно, вправе утверждать.

Заполните пропуски ниже. Шаблон намеренно простой: экзаменаторы ищут здесь не изящную прозу, а дизайн, который можно оценить.

Одно и то же исследование: слабое описание и сильное

Слабо. «Была сделана случайная выборка студентов, и собрано 350 ответов».

Здесь ничего нельзя проверить. Слово «случайная» претендует на то, чего ничем не подтверждает: нет основы выборки, нет знаменателя и не сказано, кто был исключён.

Сильно. «Целевой генеральной совокупностью были 3100 студентов, зачисленных на коммерческий факультет в 2026 году. Основой выборки служил реестр зачисленных студентов факультета, выгруженный 3 марта 2026 года. Использовалась стратифицированная случайная выборка по курсам с пропорциональным размещением, чтобы по каждому курсу можно было отчитаться отдельно. Была приглашена тысяча студентов, и 350 из них заполнили анкету, доля ответивших — 35 процентов. Взвешивание не применялось, поскольку размещение было пропорциональным. Студенты, отчисленные после даты выгрузки, остались в основе выборки и не могли быть выявлены, что является незначительным источником избыточного охвата».

Вторая версия длиннее, и каждое дополнительное предложение — это вопрос, который рецензенту больше не нужно задавать.

Чек-лист плана выборки

Письменный план выборки предотвращает большинство ошибок, которых можно избежать, потому что заставляет принимать решения до полевого этапа, а не во время анализа. Восемь пунктов, одна страница.

Когда план утверждён, именно инструмент решает, стоило ли отбирать выборку. Идеальная выборка не спасёт наводящий или двойной вопрос, поэтому перед запуском стоит просмотреть примеры вопросов для опроса.

Частые вопросы

Читайте также

Выборка — лишь одно решение внутри более крупного исследования. Эти руководства описывают решения до и после неё.

• Дизайн исследования показывает место выборки в последовательности шагов исследования — от определения генеральной совокупности до запуска.
• Как определить объём выборки — расчёты точности, которые эта страница намеренно выносит за свои рамки, включая формулы.
• Как составлять вопросы для опроса — сторона измерения, которую не спасёт никакой дизайн выборки.
• Принципы разработки анкеты — как собирается весь инструмент, когда вопросы уже готовы.
• Смещение ответов — подробнее о разнице между теми, кого Вы отобрали, и теми, кто ответил.
• Демографические вопросы в опросе — полезно, когда в основе выборки нет переменной, нужной для стратификации.
• Статистическая значимость — что делать с цифрами, когда выборка собрана.
• Количественный анализ данных — последующие шаги анализа, включая то, где применяются веса.

Как написано это руководство и чего оно не охватывает

Кто его написал. Michael Hodge, который занимается методологией опросов, разработкой вопросов и качеством данных в SuperSurvey и пишет практические руководства для нашего раздела «Руководства и помощь».

На чём оно основано. Определения следуют методологическому обзору и университетским руководствам по исследованиям, приведённым ниже: именно там технические термины действительно определены. Официальные страницы о добросовестности в исследованиях и статистических ведомств указаны как краткие понятные отправные точки, а не как источник этих определений. Описания методов основаны на тех же обзорах и руководствах. Каждая цифра в разделе с данными взята из названного первоисточника, указанного ниже. Каждое утверждение также имеет уровень надёжности, чтобы Вы видели, какие выводы устоялись, а какие основаны на одном исследовании. Цифры эффекта дизайна на диаграмме и в таблице — наши собственные расчёты. Мы использовали стандартную формулу с допущениями, указанными в подписи, чтобы Вы могли повторить их или оспорить, подставив размеры своих кластеров.

Чего оно не охватывает. Это руководство посвящено выборке для опросов и наблюдательных исследований. Оно не охватывает планирование экспериментов и случайное распределение по группам — лишь объясняет, чем они отличаются. В нём также не рассматривается выборка для приёмочного контроля, аудита и обработки сигналов, где то же слово означает другое. Выборка, управляемая респондентами (respondent-driven sampling), выборка по времени и месту и адаптивная кластерная выборка — реальные методы, которые специалисты используют для скрытых генеральных совокупностей, но здесь они не рассматриваются. Значения внутриклассовой корреляции взяты из обследований домохозяйств в странах с низким и средним уровнем дохода. Считайте их иллюстративными, а не значениями для переноса в другие условия.

Где цифры наименее надёжны. Повторный анализ Literary Digest основан на одном опросе 1937 года и одном более позднем повторном анализе, и оба автора сами указывают на свою неопределённость; поэтому ему присвоен уровень B. Цифры об ошибках опросов взяты из предвыборных опросов в США, которые изучены необычайно хорошо и не обязательно отражают ошибки опросов в целом.

Раскрытие информации. SuperSurvey продаёт программное обеспечение для опросов. Ничто на этой странице не продаётся, ни одна её часть не требует регистрации, и ни одна организация не спонсировала и не рецензировала это руководство. Если мы ссылаемся на собственные страницы, то потому, что они описывают следующее решение, а не потому, что ссылка нам что-то приносит.

Источники