Relação significativa em pesquisa: o que significa e como testar

O que significa uma relação significativa em pesquisa

A direção da condicional é tudo, e é a parte que a maioria dos textos inverte.

Comece pela afirmação contra a qual você está argumentando. Ela é sempre a sem graça: na população, essas duas variáveis não têm nada a ver uma com a outra. Agora meça a relação na sua amostra e faça uma única pergunta. Se a afirmação sem graça fosse verdadeira, com que frequência uma amostra deste tamanho produziria uma relação pelo menos tão forte, só por acaso? Esse número é o valor-p. Pequeno significa que o acaso é uma explicação ruim.

O que você não pode fazer é inverter a frase. O teste nunca diz a probabilidade de as variáveis estarem relacionadas, porque ele calculou tudo sob a premissa de que elas não estão. A versão publicada desta página dizia que uma relação significativa significa que a correlação “provavelmente não é zero na população”. Soa bem e está errado. A correlação que você observou é improvável se a correlação na população for zero. As mesmas palavras, direção oposta, e só uma delas é algo que os seus dados conseguem sustentar.

Três coisas que a expressão não carrega, por mais que seja lida assim:

• Não é força. A significância responde se a relação é distinguível do nada. O tamanho dela vem do próprio r, ou de uma inclinação. Com envios suficientes, um r de 0,05 é significativo e ainda assim não vale quase nada.
• Não é causa. Duas variáveis que variam juntas não dizem nada sobre qual delas move a outra, nem se uma terceira está movendo as duas. Essa é uma questão de desenho, resolvida pela forma como o estudo foi construído, e nenhuma estatística de teste consegue respondê-la depois.
• Não é verdade. Um valor-p é calculado dentro de um modelo que pressupõe que sua amostra é o que diz ser. Se as pessoas erradas responderam, as contas continuam perfeitas e a conclusão continua errada.

Como testar uma correlação significativa entre duas variáveis

O r de Pearson vai de -1 a +1 e mede o quanto duas variáveis acompanham uma linha reta. Para saber se o r que você obteve é mais do que acaso, converta-o em uma estatística t:

t = r x sqrt(n - 2) / sqrt(1 - r^2), lida na distribuição t com n - 2 graus de liberdade.

Veja isso com dados reais. Antes de olhar qualquer coisa, fixei uma pergunta: nos 109 modelos publicados da nossa biblioteca, o número de perguntas de um modelo tem relação com a parcela dessas perguntas que são de texto aberto? Depois, rodei o teste uma única vez.

1. Obtenha r

   r = -0,3701 em n = 109 modelos. Arredondado para o relatório, r = -0,37.

2. Obtenha os graus de liberdade

   n - 2 = 107. Então sqrt(107) = 10,3441.

3. Obtenha o denominador

   r ao quadrado é 0,1369, então 1 - r^2 = 0,8631 e sqrt(0,8631) = 0,9290.

4. Divida

   t = -0,37 x 10,3441 / 0,9290 = -4,1197, com 107 graus de liberdade.

5. Leia a cauda

   Um t de 4,12 com 107 graus de liberdade deixa 0,000075 da distribuição bicaudal além dele. Isso é p = 7,5 x 10^-5, ou cerca de uma amostra em 13.000.

Reporte o intervalo junto. Pela transformação de Fisher, o intervalo de 95% para r vai de -0,52 a -0,20. Esse é o resumo honesto: uma relação negativa, entre fraca e moderada, e os dados não conseguem defini-la com mais precisão do que isso. O que um coeficiente assim pode e não pode sustentar, e como desenhar um estudo em torno dele, é explicado em detalhes quando interpretamos uma correlação em pesquisas.

O resultado da parcela resiste a uma verificação de que um único modelo o esteja puxando: usando postos em vez de valores, o rho de Spearman é -0,44 com p = 1,6 x 10^-6, e o resultado da contagem continua estável em rho = -0,03. O r de Pearson pressupõe uma relação linear, pares independentes e nenhum ponto isolado distante o bastante para entortar a linha sozinho. Confira o gráfico de dispersão antes de confiar no coeficiente. Se você quer o tamanho do efeito, e não um sim ou não, ajuste uma inclinação e estime a relação em unidades reais: tantas perguntas de texto aberto a menos por pergunta a mais, em vez de um r isolado.

Diferença significativa vs. relação significativa

Estes são os dois formatos em que quase toda pergunta de pesquisa aparece, e eles são testados de formas diferentes. Uma diferença compara grupos em um resultado. Uma relação pergunta se duas medidas variam juntas.

Ambos são testes de hipótese e ambos produzem um valor-p, então ambos são lidos da mesma forma. Eles não são intercambiáveis: uma diferença entre grupos não é uma correlação, e reportar uma como a outra é uma forma comum de exagerar um achado. Qualquer um deles pode ser aplicado a dados quantitativos de pesquisas.

A diferença entre dois grupos é significativa?

Digamos que uma equipe de suporte envie a mesma pesquisa de uma pergunta após cada chamado, por dois tipos de convite. Das 400 pessoas que responderam após um convite por e-mail, 208 escolheram a opção máxima. Das 420 que responderam após um aviso no aplicativo, 189 escolheram. Isso dá 52,0% contra 45,0%, uma diferença de 7,0 pontos. Isso é mais do que a variação amostral sozinha produziria com esses tamanhos?

Como o resultado é uma parcela, e não uma média, o teste é o teste z para duas proporções. Junte os dois grupos para estimar a taxa que você esperaria se o tipo de convite não fizesse diferença, calcule o quanto uma diferença desse tipo oscila com esses tamanhos de amostra e divida.

1. Junte os dois grupos

   (208 + 189) / (400 + 420) = 397 / 820 = 0.4841.

2. Monte o erro-padrão

   0,4841 x 0,5159 = 0,2497. 1/400 + 1/420 = 0,004881. Multiplique: 0,00121901. Raiz quadrada: 0,03491.

3. Divida a diferença por ele

   z = 0,07 / 0,03491 = 2,0049. Mantenha as casas decimais. Se dividir pelo erro-padrão arredondado de 0,0349, o z sai como 2,0057, que aparece como 2,01 e tem uma cauda de 0,0444. Esse é o 0,044 que esta página publicou por anos, e ele está errado por uma etapa de arredondamento, não por uma casa decimal.

4. Leia a cauda

   Uma normal padrão deixa 0,04497 da sua massa além de 2,0049 nas duas caudas somadas. Então p = 0,045. Abaixo de 0,05, então a diferença é significativa ao nível de 5%, com pouquíssima folga.

Rode os mesmos números como um teste qui-quadrado de independência na tabela dois por dois e você obtém a mesma resposta: o qui-quadrado é z ao quadrado, 4,0197 com um grau de liberdade, p = 0,04497. São o mesmo teste escrito de duas formas, então um qui-quadrado significativo em uma tabela dois por dois e um teste z significativo nunca estão em conflito.

A diferença não mudou quando mudamos o tamanho da amostra. O veredito, sim. Com um quarto dos envios, 52 de 100 contra 45 de 100, para os mesmos 7,0 pontos, o z cai para 0,9904 e o p sobe para 0,32. Nada nos convites mudou. Só as evidências mudaram, e é por isso que você planeja o número de envios antes de ir a campo, e não depois.

Se a comparação ainda está por vir, este é o momento que a decide. Crie uma pesquisa para comparar grupos e defina o tamanho de cada grupo a partir da menor diferença que você precisa detectar. Uma comparação que foi pequena demais quando rodou continua pequena demais; um acompanhamento maior é um novo estudo, com o seu próprio valor-p, e não um conserto deste.

Calculadora de significância para duas proporções

Seus próprios números, as mesmas contas. Informe quantas pessoas responderam em cada grupo e quantas escolheram a resposta que você está acompanhando. O resultado é atualizado enquanto você digita.

Dois métodos, ambos nomeados no resultado: um teste z para duas proporções com o erro-padrão conjunto para o veredito, e um intervalo de Wald com o erro-padrão não conjunto para o tamanho. Esse é o par padrão e, como os dois erros são diferentes, eles podem discordar perto do limite; a calculadora avisa sempre que isso acontece. O nível do intervalo acompanha o nível de significância que você escolher, então alfa = 0,05 gera um intervalo de 95%, e o rótulo informa o nível todas as vezes.

Ela informa a menor contagem esperada, para que você veja quando a aproximação normal deixa de ser segura. Ela não informa o poder observado: o poder post hoc é uma função fixa do valor-p, então não acrescenta nada ao que você já consegue ver.

Um intervalo de confiança para a diferença entre dois grupos

O valor-p responde a uma pergunta de sim ou não que ninguém de fato fez. O intervalo responde à que fizeram: qual é o tamanho?

Um intervalo de confiança é uma faixa construída de modo que, se você repetisse todo o exercício muitas vezes, 95% dos intervalos construídos dessa forma conteriam o valor verdadeiro. É uma propriedade do método, e não uma probabilidade associada ao intervalo específico que você tem diante de si. Falar vagamente em “95% de chance de a verdade estar aqui dentro” é a mesma inversão que leva às interpretações erradas dos valores-p.

Para uma diferença entre duas proporções, o erro-padrão é construído a partir de cada grupo separadamente, sem juntá-los, porque agora você está estimando a diferença, e não testando se ela é zero:

1. Erro-padrão da diferença

   0,52 x 0,48 / 400 = 0,00062400. 0,45 x 0,55 / 420 = 0,00058929. Some os dois e tire a raiz quadrada: 0,03483, ou 3,483 pontos percentuais.

2. Multiplique pelo valor crítico

   Para 95%, ele é 1,9600, e não 2. Arredondá-lo para 2 puxa o limite inferior de 0,2 para 0,0, que é a diferença entre um intervalo que fica acima de zero e um que parece tocá-lo. 1,9600 x 3,483 = 6,827 pontos.

3. Coloque-o dos dois lados da estimativa

   7,0 mais ou menos 6,827 dá de 0,2 a 13,8 pontos percentuais.

Agora leia o que isso realmente diz. O convite por e-mail está à frente, e os dados são compatíveis com uma vantagem de qualquer valor entre um quinto de ponto e quase catorze. Um achado “significativo a 0,05” escondia tudo isso. Se uma diferença de dois pontos mudaria o que a equipe faz, este estudo não respondeu à pergunta, e o valor-p não deu nenhuma pista disso.

As duas leituras costumam concordar, e vale ser exato sobre por que não precisam concordar. O teste z acima dividiu pelo erro-padrão conjunto, 0,03491, porque foi calculado sob a hipótese de que os dois grupos compartilham uma única taxa. Este intervalo usou o não conjunto, 0,03483, porque estima a diferença sem essa premissa. Um teste e um intervalo só concordam exatamente quando são construídos da mesma forma: um intervalo obtido pela inversão do teste conjunto, ou um teste aplicado ao erro não conjunto. Este par padrão é formado por duas aproximações disso e, perto do limite, eles podem divergir.

Considere 5 de 20 contra 11 de 20: o teste conjunto dá z = -1,9365 e p = 0,0528, não significativo a 0,05, enquanto o intervalo de 95% não conjunto vai de -58,9 a -1,1 ponto e exclui o zero. Os dois estão corretos para o seu próprio método; o resultado é limítrofe e deve ser reportado com os dois números. O intervalo continua sendo a melhor coisa a publicar, porque carrega o tamanho além do veredito, e o veredito sozinho não carrega nenhum dos dois.

O que o valor-p diz sobre a hipótese nula

A afirmação sem graça tem nome: a hipótese nula, H0. O valor-p é a probabilidade de obter uma estatística de teste pelo menos tão extrema quanto a sua quando H0 é verdadeira. Todo o resto que se diz sobre ele é ou uma abreviação ou um erro.

O erro é sempre o mesmo, e vale nomeá-lo com precisão. O p é a probabilidade dos dados dada a hipótese. O que as pessoas leem nele é a probabilidade da hipótese dados os dados. São grandezas diferentes, e a segunda simplesmente não pode ser calculada a partir de um valor-p: ela exige saber o quanto a hipótese era plausível antes de você coletar qualquer coisa. A American Statistical Association (associação americana de estatística) fez disso o segundo dos seus seis princípios em 2016: um valor-p não mede a probabilidade de a hipótese estudada ser verdadeira, nem a probabilidade de os dados terem sido produzidos apenas pelo acaso. ⁴

Então, p = 0,045 no exemplo dos convites não significa 4,5% de chance de os convites serem equivalentes, nem significa 95,5% de chance de o resultado se replicar. A replicação depende do efeito real e do tamanho do próximo estudo, e nenhum dos dois está no número.⁵

Alfa e o nível de significância

Alfa é o limite com que você se compromete antes de os dados chegarem. Defina alfa = 0,05 e você terá dito: se a hipótese nula for verdadeira, aceito uma chance de 5% de chamar um resultado de significativo mesmo assim. Rode vinte testes desse tipo sobre puro ruído e cerca de um volta significativo, por construção, e não por acidente.

Nada torna 0,05 correto. É uma convenção que se cristalizou depois que Fisher a usou como referência aproximada, e a troca é clara: um alfa menor compra menos alarmes falsos e custa efeitos reais que você passará a não detectar. Escolha-o pelo custo de errar em cada direção, registre-o antes e não o mude depois de ver o valor-p.

Testes unicaudais e bicaudais

Um teste bicaudal pergunta se os grupos diferem de alguma forma, contando resultados extremos dos dois lados. Um teste unicaudal pergunta se um grupo específico é maior e conta apenas esse lado.

A afirmação usual é que o valor-p unicaudal é metade do bicaudal. Isso só vale quando o efeito de fato vai na direção que você previu. Nosso exemplo teve um p bicaudal de 0,04497. Se você tivesse previsto antes que o e-mail superaria o aplicativo, que foi a direção observada, o p unicaudal é 0,02249. Se você tivesse previsto que o aplicativo venceria, o p unicaudal não é 0,02249. É 1 menos isso, 0,9775, porque quase toda a distribuição fica do lado que você afirmou. Dividir pela metade é um caso especial, não uma regra.

Escolha o unicaudal só quando uma diferença na outra direção realmente deixaria sua decisão inalterada, e só antes de olhar os dados. Trocar para unicaudal depois de ver um p bicaudal de 0,08 é o truque mais velho que existe, e ele dobra sua taxa de falsos positivos na direção que você por acaso preferiu.

Qual teste estatístico devo usar para dois grupos?

Escolha pelo formato do resultado e depois confira as condições antes de acreditar no valor-p. As condições não são burocracia: cada uma delas é uma premissa que as contas assumem silenciosamente.

Há uma condição acima de todas estas, e nenhum teste a verifica: os envios precisam vir das pessoas que você pretendia consultar. Um valor-p minúsculo em uma amostra enviesada é uma resposta precisa para a pergunta errada, que é o custo prático do viés de resposta.

Significância estatística não implica importância prática

A significância diz que um efeito é detectável com o seu tamanho de amostra. Não diz nada sobre se o efeito vale uma ação, e, com envios suficientes, as duas coisas se separam completamente.

Considere uma variação de um ponto: a opção máxima passa de 51,0% para 52,0% entre duas ondas. Com 400 envios por onda, p = 0,777 e ninguém dá importância a isso. A variação se torna significativa a 0,05 quando cada onda tem cerca de 19.191 envios: exatamente nesse tamanho, p = 0,0500. O ponto não ficou mais importante. Você apenas comprou precisão suficiente para vê-lo.

Então publique o tamanho junto com o veredito. Na comparação dos convites, isso é 7,0 pontos percentuais, intervalo de 0,2 a 13,8. Se você quer um número padronizado, o h de Cohen para 52,0% contra 45,0% é 0,14, abaixo do 0,2 que Cohen chamou de pequeno.⁷ Uma diferença detectável, e pequena.

Duas pesquisas com seis meses de intervalo deram resultados diferentes

Esta é a forma mais comum de a pergunta chegar a uma equipe de pesquisa, e recorrer primeiro a um teste de significância é o movimento errado. Um teste pressupõe que as duas amostras diferem apenas por acaso. Entre duas ondas, elas costumam diferir por bem mais do que isso.

Confira isto antes de calcular qualquer coisa. A pergunta tinha exatamente a mesma redação, com os mesmos rótulos de escala na mesma ordem? As duas ondas ficaram abertas pelo mesmo tempo, nos mesmos dias? Responderam os mesmos tipos de pessoas, ou uma das ondas foi enviada por um canal que alcança outro público? Uma das ondas caiu em um período que a própria empresa perturbou? Qualquer um desses fatores produz uma diferença que nenhum teste vai apontar como acaso e que não tem nada a ver com aquilo que você está medindo.

Quando a comparação é de fato equivalente, o teste decorre do que você está comparando, e, em pesquisas, geralmente é uma parcela. Das 1.422 perguntas da nossa biblioteca de modelos, 45,3% são itens de avaliação, e 98,9% deles oferecem cinco pontos. O resumo natural de um item de cinco pontos é a parcela que escolhe a opção máxima ou as duas mais altas, então o teste z para duas proporções acima é a ferramenta do dia a dia, e não o teste t. Tirar a média de uma escala de cinco pontos trata o passo de 4 para 5 como igual ao passo de 1 para 2, o que ninguém demonstrou.

Fonte: SuperSurvey Question Corpus (acervo de perguntas da SuperSurvey), 109 modelos publicados e 1.422 perguntas, lido em 11 de setembro de 2026.

Mais dois hábitos que vale manter. Decida quais comparações você vai fazer antes de os dados chegarem, porque a taxa de falsos positivos sobe com o número de testes, e não com o número que você reporta. E leve a amostra a sério: quem respondeu importa mais do que quantos, e é para isso que servem os métodos de amostragem. O restante da seção Guias e ajuda cobre as decisões antes e depois desta.

Perguntas frequentes

Método e limitações

Todos os números desta página são calculados no arquivo que a gera, não digitados, e a geração se recusa a rodar se algum deles mudar. As probabilidades das caudas vêm das funções gama incompleta e beta incompleta em precisão dupla, conferidas com formas fechadas onde existem: a forma de Cauchy para uma distribuição t com um grau de liberdade, as formas algébricas com dois e quatro, e exp(-x/2) para o qui-quadrado com dois. Nada é lido de uma tabela.

A correlação usa a biblioteca de modelos publicada da SuperSurvey, analisada modelo por modelo em 10 de setembro de 2026: 109 modelos publicados e 1.422 perguntas. Foram contados o número de perguntas de cada modelo e quantas delas recebem resposta em texto livre. Foram excluídos rascunhos e redirecionamentos. As duas versões do resultado foram especificadas antes de o teste rodar, e ambas estão reportadas acima.

Duas limitações importam. Esta é a nossa própria biblioteca publicada, então ela mostra o que um fornecedor de pesquisas considera boa prática, e não o que as pesquisas do mundo fazem; por isso, nenhum resultado aqui deve ser lido como um fato sobre pesquisas em geral. E o resultado da parcela é em parte estrutural: o tamanho do modelo está no denominador do resultado, então parte da correlação negativa é aritmética, e não julgamento editorial. É exatamente por isso que a versão da contagem aparece ao lado.

A comparação dos convites, a escada de tamanhos de amostra e a variação de um ponto são exemplos resolvidos com valores declarados, e não medições. As contas são reais e reproduzíveis a partir dos números mostrados; os cenários são ilustrações.

Referências

1. Centers for Disease Control and Prevention, National Center for Health Statistics. Statistical significance. In: Health, United States: Sources and Definitions. cdc.gov
2. National Institutes of Health, National Center for Advancing Translational Sciences. Statistical significance. Glossário do NCATS Toolkit. toolkit.ncats.nih.gov
3. US Department of Education, National Center for Education Statistics. Statistical significance and sample size. National Assessment of Educational Progress. nces.ed.gov
4. Wasserstein, R. L. e Lazar, N. A. (2016). The ASA statement on p-values: context, process, and purpose. The American Statistician, 70(2), 129-133. doi.org/10.1080/00031305.2016.1154108
5. Greenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N. e Altman, D. G. (2016). Statistical tests, P values, confidence intervals, and power: a guide to misinterpretations. European Journal of Epidemiology, 31(4), 337-350. doi.org/10.1007/s10654-016-0149-3
6. Cochran, W. G. (1954). Some methods for strengthening the common chi-square tests. Biometrics, 10(4), 417. doi.org/10.2307/3001616
7. Cohen, J. (1992). A power primer. Psychological Bulletin, 112(1), 155-159. doi.org/10.1037/0033-2909.112.1.155
8. Hoenig, J. M. e Heisey, D. M. (2001). The abuse of power: the pervasive fallacy of power calculations for data analysis. The American Statistician, 55(1), 19-24. doi.org/10.1198/000313001300339897
9. Cox, D. R. (2020). Statistical significance. Annual Review of Statistics and Its Application, 7, 1-10. doi.org/10.1146/annurev-statistics-031219-041051
10. Corpus de perguntas da SuperSurvey, 109 modelos ativos e 1.422 perguntas, lido em 11 de setembro de 2026.

O que ler a seguir

• Correlação em dados de pesquisas Como desenhar um estudo capaz de sustentar a correlação que você quer reportar.
• De quantos envios você precisa Defina isso antes de ir a campo, enquanto ainda é possível ampliar a lista de convites.
• Etapas da análise de regressão De um veredito de sim ou não a uma inclinação que você pode colocar em uma frase.