Статистическая значимость связи в исследовании: что она означает и как её проверить

Что означает значимая связь в исследовании

Всё дело в направлении условного утверждения, и именно его большинство отчётов переворачивают.

Начните с утверждения, которое Вы оспариваете. Оно всегда скучное: в генеральной совокупности эти две переменные никак не связаны. Теперь измерьте связь в своей выборке и задайте один вопрос. Если бы скучное утверждение было верным, как часто выборка такого объёма давала бы связь по меньшей мере такой же силы чисто случайно? Это число и есть p-значение. Малое значение означает, что случайность плохо объясняет результат.

Чего делать нельзя, так это переворачивать фразу. Критерий никогда не сообщает вероятность того, что переменные связаны, потому что он вычислял всё в предположении, что они не связаны. Прежняя версия этой страницы утверждала, что значимая связь означает, что корреляция «вряд ли равна нулю в генеральной совокупности». Звучит хорошо, но это неверно. Наблюдаемая Вами корреляция маловероятна, если корреляция в генеральной совокупности равна нулю. Те же слова, противоположное направление, и только одно из них Ваши данные могут подтвердить.

Три вещи, которых эта фраза не означает, как бы часто её так ни читали:

• Не силу. Значимость отвечает на вопрос, отличима ли связь от нулевой. Насколько она велика, показывает сам r или наклон линии регрессии. При достаточном числе ответов r = 0,05 значим и всё равно почти ничего не стоит.
• Не причину. То, что две переменные меняются вместе, ничего не говорит о том, какая из них влияет на другую и не влияет ли на обе третья. Это вопрос дизайна, который решается тем, как построено исследование, и никакая статистика критерия не ответит на него задним числом.
• Не истину. p-значение вычисляется внутри модели, которая предполагает, что Ваша выборка такова, какой она себя заявляет. Если ответили не те люди, арифметика по-прежнему безупречна, а вывод по-прежнему неверен.

Проверка статистической значимости корреляции между двумя переменными

r Пирсона принимает значения от -1 до +1 и показывает, насколько точно две переменные следуют прямой линии. Чтобы выяснить, объясняется ли полученный r чем-то большим, чем случайность, преобразуйте его в t-статистику:

t = r x sqrt(n - 2) / sqrt(1 - r^2), и сопоставьте с t-распределением с n - 2 степенями свободы.

Вот как это выглядит на реальных данных. Прежде чем на что-либо смотреть, я зафиксировал один вопрос: связано ли по 109 действующим шаблонам нашей библиотеки число вопросов в шаблоне с долей открытых вопросов среди них? Затем я провёл проверку один раз.

1. Найдите r

   r = -0,3701 при n = 109 шаблонах. С округлением для отчёта r = -0,37.

2. Найдите число степеней свободы

   n - 2 = 107. Значит, sqrt(107) = 10,3441.

3. Найдите знаменатель

   r в квадрате равно 0,1369, поэтому 1 - r^2 = 0,8631 и sqrt(0,8631) = 0,9290.

4. Разделите

   t = -0,37 x 10,3441 / 0,9290 = -4,1197 при 107 степенях свободы.

5. Найдите хвост распределения

   При t = 4,12 и 107 степенях свободы за этим значением лежит 0,000075 двустороннего распределения. Это p = 7,5 x 10^-5, или примерно одна выборка из 13 000.

Приводите вместе с ним интервал. По преобразованию Фишера 95-процентный интервал для r составляет от -0,52 до -0,20. Это честное резюме: отрицательная связь от слабой до умеренной, и точнее данные её определить не могут. Что такой коэффициент может и чего не может подтвердить и как построить исследование вокруг него, подробно описано в материале о том, как интерпретировать корреляцию в опросе.

Результат для доли выдерживает проверку на то, не тянет ли его за собой один шаблон: на рангах вместо значений ро Спирмена равен -0,44 при p = 1,6 x 10^-6, а результат для числа остаётся нулевым: ро = -0,03. r Пирсона требует прямолинейной связи, независимых пар и отсутствия отдельной точки, настолько удалённой, чтобы в одиночку изогнуть линию. Проверьте диаграмму рассеяния, прежде чем доверять коэффициенту. Если Вам нужен размер эффекта, а не ответ «да или нет», оцените коэффициент наклона и оцените связь в реальных единицах: на столько-то открытых вопросов меньше на каждый дополнительный вопрос, а не голый r.

Значимое различие и значимая связь

Почти любой вопрос опроса принимает одну из этих двух форм, и проверяются они по-разному. Различие сравнивает группы по одному показателю. Связь спрашивает, меняются ли два измерения вместе.

Оба являются проверками гипотез и оба дают p-значение, поэтому читаются одинаково. Но они не взаимозаменяемы: разница между группами — это не корреляция, и выдавать одно за другое — распространённый способ преувеличить результат. И то и другое можно применять к количественным данным опросов.

Значимо ли различие между двумя группами?

Допустим, служба поддержки после каждого обращения отправляет один и тот же опрос из одного вопроса двумя способами приглашения. Из 400 человек, ответивших после приглашения по email, высшую оценку выбрали 208. Из 420 ответивших после подсказки в приложении — 189. Это 52,0 процента против 45,0 процента, разница 7,0 пункта. Больше ли это, чем могла бы дать одна выборочная изменчивость при таких объёмах?

Поскольку показатель — доля, а не среднее, используется z-критерий для двух долей. Объедините две группы, чтобы оценить долю, которую следовало бы ожидать, если бы способ приглашения ни на что не влиял, рассчитайте, насколько такая разница колеблется при этих объёмах выборки, и разделите.

1. Объедините две группы

   (208 + 189) / (400 + 420) = 397 / 820 = 0.4841.

2. Постройте стандартную ошибку

   0,4841 x 0,5159 = 0,2497. 1/400 + 1/420 = 0,004881. Перемножьте: 0,00121901. Квадратный корень: 0,03491.

3. Разделите на неё разницу

   z = 0,07 / 0,03491 = 2,0049. Сохраняйте знаки после запятой. Если разделить на округлённую стандартную ошибку 0,0349, z получится 2,0057, что выводится как 2,01 и даёт хвост 0,0444. Именно 0,044 эта страница публиковала годами, и ошибка здесь — в шаге округления, а не в разряде.

4. Найдите хвост распределения

   У стандартного нормального распределения за пределами 2,0049 в двух хвостах вместе лежит 0,04497 всей вероятности. Значит, p = 0,045. Это меньше 0,05, поэтому разница значима на 5-процентном уровне, но с очень малым запасом.

Если провести те же числа через критерий независимости хи-квадрат для таблицы два на два, получится тот же ответ: хи-квадрат равен z в квадрате, 4,0197 при одной степени свободы, p = 0,04497. Это один и тот же критерий, записанный двумя способами, поэтому значимый хи-квадрат для таблицы два на два и значимый z-критерий никогда не противоречат друг другу.

Разница не изменилась, когда мы изменили объём выборки. Изменился вердикт. При четверти ответов — 52 из 100 против 45 из 100 при той же разнице 7,0 пункта — z падает до 0,9904, а p возрастает до 0,32. В приглашениях ничего не изменилось. Изменились только данные, поэтому число ответов планируют до полевого этапа, а не после.

Если сравнение у Вас ещё впереди, именно сейчас всё решается. Создайте опрос для сравнения групп и задайте объём каждой группы исходя из наименьшей разницы, которую нужно обнаружить. Сравнение, которое было слишком малым при проведении, таким и останется; более крупное повторное исследование — это новое исследование со своим p-значением, а не исправление этого.

Калькулятор значимости для двух долей

Ваши собственные числа, тот же расчёт. Введите, сколько людей ответило в каждой группе и сколько выбрало отслеживаемый ответ. Результат обновляется по мере ввода.

Два метода, оба названы в результатах: z-критерий для двух долей на объединённой стандартной ошибке для вердикта и интервал Вальда на необъединённой стандартной ошибке для размера. Это стандартная пара, и поскольку ошибки различаются, вблизи порога они могут расходиться; калькулятор сообщает об этом каждый раз, когда так происходит. Уровень интервала следует выбранному Вами уровню значимости, поэтому альфа = 0,05 даёт 95-процентный интервал, а подпись каждый раз указывает уровень.

Он показывает наименьшую ожидаемую частоту, чтобы Вы видели, когда нормальная аппроксимация перестаёт быть надёжной. Наблюдаемую мощность он не показывает: апостериорная мощность — фиксированная функция p-значения, поэтому она ничего не добавляет к тому, что Вы и так видите.

Доверительный интервал для разницы между двумя группами

p-значение отвечает на вопрос «да или нет», которого на самом деле никто не задавал. Интервал отвечает на тот, который задавали: насколько велика разница?

Доверительный интервал — это диапазон, построенный так, что если бы Вы повторили всю процедуру много раз, 95 процентов построенных таким способом интервалов содержали бы истинное значение. Это свойство метода, а не вероятность, приписанная одному интервалу перед Вами. Вольные формулировки вроде «95-процентная вероятность, что истина здесь» — та же инверсия, из-за которой неверно понимают p-значения.

Для разницы между двумя долями стандартная ошибка строится по каждой группе отдельно, а не по объединённой, потому что теперь Вы оцениваете разницу, а не проверяете, равна ли она нулю:

1. Стандартная ошибка разницы

   0,52 x 0,48 / 400 = 0,00062400. 0,45 x 0,55 / 420 = 0,00058929. Сложите их и извлеките квадратный корень: 0,03483, или 3,483 процентного пункта.

2. Умножьте на критическое значение

   Для 95 процентов это 1,9600, а не 2. Округление до 2 сдвигает нижнюю границу с 0,2 до 0,0 — а это разница между интервалом, который не включает ноль, и интервалом, который будто бы его касается. 1,9600 x 3,483 = 6,827 пункта.

3. Отложите его по обе стороны от оценки

   7,0 плюс-минус 6,827 даёт от 0,2 до 13,8 процентного пункта.

Теперь прочитайте, что это на самом деле означает. Приглашение по email впереди, и данные согласуются с преимуществом от пятой доли пункта до почти четырнадцати. Вывод «значимо на уровне 0,05» скрыл всё это. Если разница в два пункта изменила бы действия команды, это исследование не ответило на вопрос, и p-значение никак на это не намекнуло.

Обычно оба прочтения совпадают, и стоит точно понимать, почему они не обязаны совпадать. z-критерий выше делил на объединённую стандартную ошибку, 0,03491, потому что вычислялся в рамках гипотезы о том, что у обеих групп одна доля. Этот интервал использовал необъединённую, 0,03483, потому что оценивает разницу без этого допущения. Критерий и интервал совпадают точно, только когда они построены одинаково: интервал, полученный обращением объединённого критерия, или критерий, проведённый на необъединённой ошибке. Стандартная пара — два приближения к этому, и вблизи порога они могут разойтись.

Возьмём 5 из 20 против 11 из 20: объединённый критерий даёт z = -1,9365 и p = 0,0528 — незначимо на уровне 0,05, тогда как необъединённый 95-процентный интервал составляет от -58,9 до -1,1 пункта и не включает ноль. Оба верны в рамках своего метода; результат пограничный, и о нём следует сообщать обоими числами. Интервал всё равно лучше публиковать, потому что он несёт и размер, и вердикт, а один вердикт не несёт ни того ни другого.

Что p-значение говорит о нулевой гипотезе

У скучного утверждения есть название: нулевая гипотеза, H0. p-значение — это вероятность получить статистику критерия, по меньшей мере столь же экстремальную, как Ваша, при условии, что H0 верна. Всё остальное, что о нём говорят, — либо сокращение, либо ошибка.

Ошибка всегда одна и та же, и её стоит назвать точно. p — это вероятность данных при условии гипотезы. А люди считывают с него вероятность гипотезы при условии данных. Это разные величины, и вторую вообще невозможно вычислить по p-значению: для этого нужно знать, насколько правдоподобной была гипотеза до того, как Вы что-либо собрали. Американская статистическая ассоциация (American Statistical Association) сделала это вторым из шести своих принципов в 2016 году: p-значение не измеряет ни вероятность того, что изучаемая гипотеза верна, ни вероятность того, что данные получены исключительно случайно. ⁴

Поэтому p = 0,045 в примере с приглашениями не означает 4,5-процентной вероятности того, что способы приглашения равноценны, и не означает 95,5-процентной вероятности того, что результат воспроизведётся. Воспроизводимость зависит от истинного эффекта и объёма следующего исследования, а ни того ни другого в этом числе нет.⁵

Альфа и уровень значимости

Альфа — это порог, который Вы фиксируете до получения данных. Задав альфа = 0,05, Вы заявили: если нулевая гипотеза верна, я допускаю 5-процентную вероятность всё равно назвать результат значимым. Проведите двадцать таких проверок на чистом шуме, и примерно одна окажется значимой — по построению, а не случайно.

Ничто не делает 0,05 правильным значением. Это соглашение, закрепившееся после того, как Фишер использовал его как ориентир, и компромисс очевиден: меньшая альфа даёт меньше ложных тревог, но стоит Вам реальных эффектов, которые Вы теперь упустите. Выбирайте её исходя из цены ошибки в каждую сторону, запишите заранее и не меняйте после того, как увидели p-значение.

Односторонние и двусторонние критерии

Двусторонний критерий спрашивает, различаются ли группы вообще, учитывая экстремальные результаты в обе стороны. Односторонний критерий спрашивает, выше ли одна конкретная группа, и учитывает только эту сторону.

Обычно утверждают, что одностороннее p-значение вдвое меньше двустороннего. Это верно, только когда эффект действительно направлен так, как Вы предсказали. В нашем примере двустороннее p равно 0,04497. Если бы Вы заранее предсказали, что email опередит приложение, — а так и вышло, — одностороннее p равно 0,02249. Если бы Вы предсказали, что победит приложение, одностороннее p было бы не 0,02249. Оно равно 1 минус это значение, 0,9775, потому что почти всё распределение лежит на заявленной Вами стороне. Деление пополам — частный случай, а не правило.

Выбирайте односторонний критерий, только если разница в противоположную сторону действительно не изменила бы Ваше решение, и только до того, как посмотрите на данные. Переход к одностороннему критерию после того, как Вы увидели двустороннее p, равное 0,08, — старейший трюк, и он удваивает долю ложноположительных результатов в том направлении, которое Вам понравилось.

Какой статистический критерий использовать для двух групп?

Выбирайте по форме показателя, а затем проверьте условия, прежде чем верить p-значению. Условия — не формальность: каждое из них — допущение, которое арифметика молча принимает.

Над всеми этими условиями стоит ещё одно, и его не проверяет ни один критерий: ответы должны поступить от тех людей, которых Вы собирались опросить. Крошечное p-значение на смещённой выборке — точный ответ не на тот вопрос, и в этом практическая цена смещения ответов.

Статистическая значимость не означает практической важности

Значимость говорит, что эффект обнаружим при Вашем объёме выборки. Она ничего не говорит о том, стоит ли на этот эффект реагировать, а при достаточном числе ответов эти две вещи полностью расходятся.

Возьмём сдвиг на один пункт: доля высших оценок растёт с 51,0 процента до 52,0 процента между двумя волнами. При 400 ответах на волну p = 0,777, и никто не придаёт этому значения. Сдвиг становится значимым на уровне 0,05, когда в каждой волне около 19 191 ответа: ровно при таком объёме p = 0,0500. Пункт не стал важнее. Вы просто купили достаточно точности, чтобы его увидеть.

Поэтому публикуйте размер вместе с вердиктом. Для сравнения приглашений это 7,0 процентного пункта, интервал от 0,2 до 13,8. Если нужен стандартизованный показатель, h Коэна для 52,0 процента против 45,0 процента равно 0,14, что ниже 0,2, которое Коэн называл малым эффектом.⁷ Обнаружимая разница — и малая.

Два опроса с интервалом в полгода дали разные результаты

Чаще всего вопрос доходит до команды опросов именно в таком виде, и хвататься сначала за проверку значимости — неверный ход. Критерий предполагает, что две выборки различаются лишь случайно. Между двумя волнами они обычно различаются гораздо сильнее.

Проверьте это, прежде чем что-либо вычислять. Был ли вопрос сформулирован одинаково, с теми же подписями шкалы в том же порядке? Шли ли обе волны одинаковое время, в те же дни? Отвечали ли люди одного и того же типа, или одна волна шла через канал, который охватывает другую аудиторию? Не пришлась ли одна волна на период, когда сама компания что-то меняла? Любое из этого даёт разницу, которую ни один критерий не пометит как случайную и которая не имеет ничего общего с тем, что Вы измеряете.

Когда сравнение действительно сопоставимо, критерий определяется тем, что Вы сравниваете, а в работе с опросами это обычно доля. Из 1422 вопросов нашей библиотеки шаблонов 45,3 процента — пункты с оценкой, и 98,9 процента из них предлагают пять градаций. Естественная сводка для пятибалльного пункта — доля выбравших высшую оценку или две высшие, поэтому основной рабочий инструмент — z-критерий для двух долей выше, а не t-критерий. Усреднение пятибалльной шкалы приравнивает шаг от 4 к 5 к шагу от 1 к 2, чего никто не доказал.

Источник: SuperSurvey Question Corpus, 109 действующих шаблонов и 1422 вопроса, данные на 11 сентября 2026 года.

Ещё две полезные привычки. Решите, какие сравнения будете проводить, до получения данных, потому что доля ложноположительных результатов растёт с числом проверок, а не с числом тех, о которых Вы сообщаете. И относитесь к выборке серьёзно: кто ответил, важнее, чем сколько, — для этого и нужны методы формирования выборки. Остальные материалы раздела «Руководства и помощь» описывают решения до и после этого.

Частые вопросы

Метод и ограничения

Каждая цифра на этой странице вычисляется в файле, который её собирает, а не вводится вручную, и сборка отказывается выполняться, если какая-либо из них изменится. Вероятности хвостов получены из неполной гамма-функции и неполной бета-функции с двойной точностью и сверены с замкнутыми формами там, где они существуют: форма Коши для t-распределения с одной степенью свободы, алгебраические формы для двух и четырёх и exp(-x/2) для хи-квадрат с двумя. Ничего не взято из таблиц.

Корреляция рассчитана по действующей библиотеке шаблонов SuperSurvey, разобранной шаблон за шаблоном 10 сентября 2026 года: 109 действующих шаблонов и 1422 вопроса. Подсчитывалось число вопросов в каждом шаблоне и сколько из них предполагают ответ в свободной форме. Черновики и перенаправления исключены. Оба варианта показателя были заданы до проведения проверки, и оба приведены выше.

Важны два ограничения. Это наша собственная опубликованная библиотека, поэтому она показывает, что один поставщик опросов считает хорошей практикой, а не то, как устроены опросы в мире, и ни один результат здесь не следует считать фактом об опросах в целом. Кроме того, результат для доли отчасти структурный: длина шаблона входит в знаменатель показателя, поэтому часть отрицательной корреляции — арифметика, а не редакторское решение. Именно поэтому рядом приведён вариант с числом.

Сравнение приглашений, лестница объёмов выборки и сдвиг на один пункт — разобранные примеры с заданными исходными данными, а не измерения. Арифметика реальна и воспроизводима по приведённым числам; сценарии иллюстративны.

Источники

1. Centers for Disease Control and Prevention, National Center for Health Statistics. Statistical significance. In Health, United States: Sources and Definitions. cdc.gov
2. National Institutes of Health, National Center for Advancing Translational Sciences. Statistical significance. NCATS Toolkit glossary. toolkit.ncats.nih.gov
3. US Department of Education, National Center for Education Statistics. Statistical significance and sample size. National Assessment of Educational Progress. nces.ed.gov
4. Wasserstein, R. L. and Lazar, N. A. (2016). The ASA statement on p-values: context, process, and purpose. The American Statistician, 70(2), 129-133. doi.org/10.1080/00031305.2016.1154108
5. Greenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N. and Altman, D. G. (2016). Statistical tests, P values, confidence intervals, and power: a guide to misinterpretations. European Journal of Epidemiology, 31(4), 337-350. doi.org/10.1007/s10654-016-0149-3
6. Cochran, W. G. (1954). Some methods for strengthening the common chi-square tests. Biometrics, 10(4), 417. doi.org/10.2307/3001616
7. Cohen, J. (1992). A power primer. Psychological Bulletin, 112(1), 155-159. doi.org/10.1037/0033-2909.112.1.155
8. Hoenig, J. M. and Heisey, D. M. (2001). The abuse of power: the pervasive fallacy of power calculations for data analysis. The American Statistician, 55(1), 19-24. doi.org/10.1198/000313001300339897
9. Cox, D. R. (2020). Statistical significance. Annual Review of Statistics and Its Application, 7, 1-10. doi.org/10.1146/annurev-statistics-031219-041051
10. Корпус вопросов SuperSurvey: 109 действующих шаблонов и 1422 вопроса, данные на 11 сентября 2026 года.

Что почитать дальше

• Корреляция в данных опросов Как построить исследование, способное подтвердить корреляцию, о которой Вы хотите сообщить.
• Сколько ответов Вам нужно Решите это до полевого этапа, пока ещё можно расширить список приглашений.
• Этапы регрессионного анализа От вердикта «да или нет» к наклону, который можно выразить одной фразой.