Relation significative en recherche : ce qu’elle signifie et comment la tester

Ce que signifie une relation significative en recherche

Le sens de la condition est tout l’enjeu, et c’est ce que la plupart des comptes rendus inversent.

Partez de l’affirmation que vous contestez. C’est toujours la plus banale : dans la population, ces deux variables n’ont rien à voir l’une avec l’autre. Mesurez ensuite la relation dans votre échantillon et posez une seule question. Si l’affirmation banale était vraie, à quelle fréquence un échantillon de cette taille ferait-il apparaître, par le seul hasard, une relation au moins aussi forte ? Ce nombre est la valeur p. Une petite valeur signifie que le hasard explique mal le résultat.

Ce que vous ne devez pas faire, c’est retourner la phrase. Le test ne vous donne jamais la probabilité que les variables soient liées, car il a tout calculé en supposant qu’elles ne le sont pas. La version en ligne de cette page indiquait auparavant qu’une relation significative signifie que la corrélation « a peu de chances d’être nulle dans la population ». La formule sonne bien et elle est fausse. C’est la corrélation observée qui est peu probable si la corrélation dans la population est nulle. Les mêmes mots, dans le sens opposé, et seule l’une des deux phrases peut être étayée par vos données.

Trois choses que l’expression ne dit pas, si souvent qu’on la lise ainsi :

• Pas la force. La significativité indique si la relation se distingue de l’absence de relation. Son ampleur vient de r lui-même, ou d’une pente. Avec suffisamment de participations, un r de 0,05 est significatif et ne vaut pourtant presque rien.
• Pas la cause. Que deux variables varient ensemble ne dit rien de celle qui fait varier l’autre, ni d’une troisième qui ferait varier les deux. C’est une question de plan d’étude, tranchée par la façon dont l’étude a été construite, et aucune statistique de test ne peut y répondre après coup.
• Pas la vérité. Une valeur p est calculée à l’intérieur d’un modèle qui suppose que votre échantillon est bien ce qu’il prétend être. Si ce ne sont pas les bonnes personnes qui ont répondu, le calcul reste parfait et la conclusion reste fausse.

Tester une corrélation significative entre deux variables

Le r de Pearson va de -1 à +1 et mesure à quel point deux variables suivent une ligne droite. Pour savoir si le r obtenu dépasse le simple hasard, convertissez-le en statistique t :

t = r x sqrt(n - 2) / sqrt(1 - r^2), à lire sur la loi t à n - 2 degrés de liberté.

Voici ce que cela donne sur des données réelles. Avant de regarder quoi que ce soit, j’ai fixé une seule question : sur les 109 modèles en ligne de notre bibliothèque, le nombre de questions d’un modèle est-il lié à la part de ces questions en texte libre ? Puis j’ai fait le test une seule fois.

1. Obtenir r

   r = -0,3701 sur n = 109 modèles. Arrondi pour la présentation, r = -0,37.

2. Obtenir les degrés de liberté

   n - 2 = 107. Donc sqrt(107) = 10,3441.

3. Obtenir le dénominateur

   r au carré vaut 0,1369, donc 1 - r^2 = 0,8631 et sqrt(0,8631) = 0,9290.

4. Diviser

   t = -0,37 x 10,3441 / 0,9290 = -4,1197, à 107 degrés de liberté.

5. Lire la queue de distribution

   Un t de 4,12 à 107 degrés de liberté laisse au-delà de lui 0,000075 de la distribution bilatérale. Cela donne p = 7,5 x 10^-5, soit environ un échantillon sur 13 000.

Indiquez l’intervalle avec ce résultat. Avec la transformation de Fisher, l’intervalle à 95 % pour r va de -0,52 à -0,20. C’est le résumé honnête : une relation négative, quelque part entre faible et modérée, et les données ne permettent pas de la cerner plus précisément. Ce qu’un tel coefficient peut et ne peut pas étayer, et comment construire une étude autour de lui, est traité en détail là où nous interprétons une corrélation d’enquête.

Le résultat sur la part résiste à une vérification de l’influence d’un modèle isolé : sur les rangs plutôt que sur les valeurs, le rho de Spearman vaut -0,44 avec p = 1,6 x 10^-6, et le résultat sur le nombre reste nul, à rho = -0,03. Le r de Pearson suppose une relation linéaire, des paires indépendantes, et aucun point isolé assez éloigné pour infléchir la droite à lui seul. Regardez le nuage de points avant de vous fier au coefficient. Si vous voulez l’ampleur de l’effet plutôt qu’un oui ou un non, ajustez une pente et estimez la relation en unités réelles : tant de questions en texte libre de moins par question supplémentaire, plutôt qu’un r nu.

Différence significative ou relation significative

Ce sont les deux formes que prennent presque toutes les questions d’enquête, et elles se testent différemment. Une différence compare des groupes sur un résultat. Une relation se demande si deux mesures varient ensemble.

Ce sont deux tests d’hypothèse qui produisent tous deux une valeur p, et ils se lisent donc de la même façon. Ils ne sont pas interchangeables : un écart entre groupes n’est pas une corrélation, et présenter l’un comme l’autre est une façon courante d’exagérer un résultat. L’un comme l’autre peut s’appliquer à des données d’enquête quantitatives.

La différence entre deux groupes est-elle significative ?

Imaginons qu’une équipe d’assistance envoie la même enquête à une question après chaque demande, par deux types d’invitation. Sur les 400 personnes qui ont répondu après une invitation par e-mail, 208 ont choisi la case la plus haute. Sur les 420 qui ont répondu après une invite dans l’application, 189 l’ont fait. Cela donne 52,0 % contre 45,0 %, soit un écart de 7,0 points. Est-ce plus que ce que la seule variabilité d’échantillonnage produirait avec de tels effectifs ?

Comme le résultat est une part et non une moyenne, le test est le test z à deux proportions. Regroupez les deux groupes pour estimer le taux attendu si le type d’invitation ne changeait rien, calculez à quel point un écart de ce genre fluctue avec ces tailles d’échantillon, puis divisez.

1. Regrouper les deux groupes

   (208 + 189) / (400 + 420) = 397 / 820 = 0.4841.

2. Construire l’erreur type

   0,4841 x 0,5159 = 0,2497. 1/400 + 1/420 = 0,004881. Multipliez : 0,00121901. Racine carrée : 0,03491.

3. Diviser l’écart par l’erreur type

   z = 0,07 / 0,03491 = 2,0049. Gardez les décimales. Divisez plutôt par l’erreur type arrondie de 0,0349 et z vaut 2,0057, qui s’affiche 2,01 et donne une queue de 0,0444. C’est le 0,044 que cette page a publié pendant des années, et l’erreur tient à une étape d’arrondi, pas à une décimale.

4. Lire la queue de distribution

   Une loi normale centrée réduite place 0,04497 de sa masse au-delà de 2,0049 dans les deux queues réunies. Donc p = 0,045. C’est inférieur à 0,05 : l’écart est significatif au seuil de 5 %, avec très peu de marge.

Faites les mêmes calculs sous forme de test du khi-deux d’indépendance sur le tableau deux par deux et vous obtenez exactement la même réponse : le khi-deux est égal à z au carré, 4,0197 à un degré de liberté, p = 0,04497. C’est le même test écrit de deux façons ; un khi-deux significatif sur un tableau deux par deux et un test z significatif ne se contredisent donc jamais.

L’écart n’a pas changé lorsque nous avons changé la taille de l’échantillon. Le verdict, si. Avec un quart des participations, 52 sur 100 contre 45 sur 100 pour les mêmes 7,0 points, z tombe à 0,9904 et p monte à 0,32. Rien n’a changé dans les invitations. Seules les preuves ont changé, et c’est pourquoi vous prévoyez le nombre de participations avant le terrain plutôt qu’après.

Si la comparaison est encore à venir, c’est le moment décisif. Créez une enquête pour comparer des groupes et fixez la taille de chaque groupe à partir du plus petit écart que vous devez détecter. Une comparaison trop petite au moment où elle a été menée le reste ; une étude de suivi plus grande est une nouvelle étude avec sa propre valeur p, pas une réparation de celle-ci.

Calculateur de significativité à deux proportions

Vos propres chiffres, le même calcul. Indiquez combien de personnes ont répondu dans chaque groupe et combien ont choisi la réponse que vous suivez. Le résultat se met à jour pendant la saisie.

Deux méthodes, toutes deux nommées dans le résultat : un test z à deux proportions sur l’erreur type regroupée pour le verdict, et un intervalle de Wald sur l’erreur type non regroupée pour l’ampleur. C’est l’association standard, et comme les deux erreurs diffèrent, elles peuvent se contredire près du seuil ; le calculateur le signale chaque fois que cela arrive. Le niveau de l’intervalle suit le seuil de significativité choisi : alpha = 0,05 donne un intervalle à 95 %, et le libellé indique le niveau à chaque fois.

Il indique le plus petit effectif attendu pour que vous voyiez quand l’approximation normale cesse d’être sûre. Il n’indique pas la puissance observée : la puissance a posteriori est une fonction fixe de la valeur p, elle n’ajoute donc rien à ce que vous voyez déjà.

Un intervalle de confiance pour la différence entre deux groupes

La valeur p répond à une question fermée que personne n’a réellement posée. L’intervalle répond à celle qu’on a posée : quelle est l’ampleur ?

Un intervalle de confiance est une fourchette construite de sorte que, si vous répétiez tout l’exercice de nombreuses fois, 95 % des intervalles construits ainsi contiendraient la vraie valeur. C’est une propriété de la méthode, pas une probabilité attachée à l’intervalle que vous avez sous les yeux. Parler approximativement d’« une probabilité de 95 % que la vérité soit dedans » relève de la même inversion qui fausse l’interprétation des valeurs p.

Pour une différence entre deux proportions, l’erreur type se construit à partir de chaque groupe séparément plutôt qu’en les regroupant, car vous estimez désormais l’écart au lieu de tester s’il est nul :

1. Erreur type de la différence

   0,52 x 0,48 / 400 = 0,00062400. 0,45 x 0,55 / 420 = 0,00058929. Additionnez-les et prenez la racine carrée : 0,03483, soit 3,483 points de pourcentage.

2. Multiplier par la valeur critique

   Pour 95 %, c’est 1,9600, et non 2. L’arrondir à 2 fait descendre la borne inférieure de 0,2 à 0,0, soit la différence entre un intervalle qui exclut zéro et un intervalle qui semble le toucher. 1,9600 x 3,483 = 6,827 points.

3. Le placer de part et d’autre de l’estimation

   7,0 plus ou moins 6,827 donne de 0,2 à 13,8 points de pourcentage.

Lisez maintenant ce que cela dit réellement. L’invitation par e-mail est en tête, et les données sont compatibles avec une avance allant d’un cinquième de point à près de quatorze points. Un résultat « significatif à 0,05 » masquait tout cela. Si un écart de deux points devait changer ce que fait l’équipe, cette étude n’a pas répondu à la question, et la valeur p n’en laissait rien deviner.

Les deux lectures concordent généralement, et il vaut la peine d’être précis sur la raison pour laquelle elles peuvent diverger. Le test z ci-dessus a divisé par l’erreur type regroupée, 0,03491, car il a été calculé sous l’hypothèse que les deux groupes partagent un même taux. Cet intervalle a utilisé l’erreur type non regroupée, 0,03483, car il estime l’écart sans cette hypothèse. Un test et un intervalle ne concordent exactement que s’ils reposent sur la même construction : un intervalle obtenu en inversant le test regroupé, ou un test mené sur l’erreur non regroupée. L’association standard n’en donne que deux approximations, et près du seuil elles peuvent diverger.

Prenez 5 sur 20 contre 11 sur 20 : le test regroupé donne z = -1,9365 et p = 0,0528, non significatif à 0,05, tandis que l’intervalle à 95 % non regroupé va de -58,9 à -1,1 points et exclut zéro. Les deux sont corrects selon leur propre méthode ; le résultat est limite et doit être présenté avec les deux chiffres. L’intervalle reste ce qu’il vaut mieux publier, car il donne l’ampleur en plus du verdict, alors que le verdict seul ne donne ni l’une ni l’autre.

Ce que la valeur p dit de l’hypothèse nulle

L’affirmation banale a un nom : l’hypothèse nulle, H0. La valeur p est la probabilité d’obtenir une statistique de test au moins aussi extrême que la vôtre lorsque H0 est vraie. Tout le reste de ce qu’on en dit est soit un raccourci, soit une erreur.

L’erreur est toujours la même, et il vaut la peine de la nommer précisément. P est la probabilité des données sachant l’hypothèse. Ce que les gens y lisent, c’est la probabilité de l’hypothèse sachant les données. Ce sont deux grandeurs différentes, et la seconde ne peut pas du tout être calculée à partir d’une valeur p : il faudrait savoir à quel point l’hypothèse était plausible avant toute collecte. L’American Statistical Association en a fait le deuxième de ses six principes en 2016 : une valeur p ne mesure ni la probabilité que l’hypothèse étudiée soit vraie, ni la probabilité que les données aient été produites par le seul hasard.⁴

Ainsi, p = 0,045 dans l’exemple des invitations ne signifie pas une probabilité de 4,5 % que les invitations soient équivalentes, ni une probabilité de 95,5 % que le résultat se reproduise. La reproductibilité dépend de l’effet réel et de la taille de l’étude suivante, deux éléments absents de ce chiffre.⁵

Alpha et le seuil de significativité

Alpha est le seuil que vous vous engagez à respecter avant l’arrivée des données. Fixez alpha = 0,05 et vous avez déclaré : si l’hypothèse nulle est vraie, j’accepte une probabilité de 5 % de qualifier quand même un résultat de significatif. Faites vingt tests de ce genre sur du bruit pur et environ un ressortira significatif, par construction et non par accident.

Rien ne rend 0,05 juste. C’est une convention qui s’est figée après que Fisher l’a utilisée comme repère approximatif, et le compromis est clair : un alpha plus bas vous épargne des fausses alertes et vous coûte des effets réels que vous manquerez désormais. Choisissez-le d’après le coût d’une erreur dans chaque sens, notez-le d’abord, et ne le modifiez pas une fois la valeur p connue.

Tests unilatéraux et bilatéraux

Un test bilatéral se demande si les groupes diffèrent tout court, en comptant les résultats extrêmes des deux côtés. Un test unilatéral se demande si un groupe précis est plus élevé, et ne compte que ce côté-là.

On affirme couramment qu’une valeur p unilatérale vaut la moitié de la valeur p bilatérale. Ce n’est vrai que si l’effet va réellement dans le sens prévu. Notre exemple avait un p bilatéral de 0,04497. Si vous aviez prédit à l’avance que l’e-mail l’emporterait sur l’invite dans l’application, ce qui s’est produit, le p unilatéral vaut 0,02249. Si vous aviez prédit que l’invite dans l’application l’emporterait, le p unilatéral ne vaut pas 0,02249. Il vaut 1 moins cette valeur, soit 0,9775, car presque toute la distribution se trouve du côté que vous avez annoncé. La division par deux est un cas particulier, pas une règle.

Ne choisissez un test unilatéral que si une différence dans l’autre sens laisserait réellement votre décision inchangée, et seulement avant de regarder. Passer à l’unilatéral après avoir vu un p bilatéral de 0,08 est la plus vieille ficelle qui soit, et cela double votre taux de faux positifs dans le sens qui vous arrangeait.

Quel test statistique utiliser pour deux groupes ?

Choisissez selon la forme du résultat, puis vérifiez les conditions avant de croire la valeur p. Les conditions ne sont pas une formalité : chacune d’elles est une hypothèse que le calcul fait discrètement.

Une condition prime sur toutes les autres et aucun test ne la vérifie : les réponses doivent venir des personnes que vous vouliez interroger. Une valeur p minuscule sur un échantillon biaisé est une réponse précise à la mauvaise question, et c’est le coût pratique du biais de réponse.

La significativité statistique n’implique pas l’importance pratique

La significativité vous indique qu’un effet est détectable avec votre taille d’échantillon. Elle ne dit rien de l’intérêt d’agir sur cet effet, et avec suffisamment de participations, les deux se dissocient complètement.

Prenez une variation d’un point : la case la plus haute passe de 51,0 % à 52,0 % entre deux vagues. Avec 400 participations par vague, p = 0,777 et personne n’y voit quoi que ce soit. La variation devient significative à 0,05 dès que chaque vague compte environ 19 191 participations : à exactement cette taille, p = 0,0500. Le point n’est pas devenu plus important. Vous avez simplement acheté assez de précision pour le voir.

Publiez donc l’ampleur à côté du verdict. Pour la comparaison des invitations, c’est 7,0 points de pourcentage, intervalle de 0,2 à 13,8. Si vous voulez un chiffre standardisé, le h de Cohen pour 52,0 % contre 45,0 % vaut 0,14, en dessous du 0,2 que Cohen qualifiait de petit.⁷ Une différence détectable, et petite.

Deux enquêtes à six mois d’intervalle ont donné des résultats différents

C’est la forme la plus courante sous laquelle la question parvient à une équipe d’enquête, et se précipiter sur un test de significativité est la mauvaise réaction. Un test suppose que les deux échantillons ne diffèrent que par le hasard. Entre deux vagues, ils diffèrent généralement de bien plus que cela.

Vérifiez ces points avant de calculer quoi que ce soit. La question était-elle formulée à l’identique, avec les mêmes libellés d’échelle dans le même ordre ? Les deux vagues ont-elles duré le même temps, les mêmes jours ? Les mêmes types de personnes ont-ils répondu, ou une vague est-elle passée par un canal qui touche un autre public ? Une vague a-t-elle eu lieu pendant une période perturbée par l’entreprise elle-même ? Chacun de ces facteurs produit un écart qu’aucun test ne signalera comme dû au hasard et qui n’a rien à voir avec ce que vous mesurez.

Une fois la comparaison réellement équivalente, le test découle de ce que vous comparez, et en enquête c’est généralement une part. Sur les 1 422 questions de notre bibliothèque de modèles, 45,3 % sont des items d’évaluation, et 98,9 % de ceux-ci proposent cinq points. Le résumé naturel d’un item à cinq points est la part qui choisit la case la plus haute ou les deux plus hautes ; le test z à deux proportions ci-dessus est donc l’outil de base, et non le test t. Faire la moyenne d’une échelle à cinq points revient à traiter l’écart entre 4 et 5 comme égal à l’écart entre 1 et 2, ce que personne n’a établi.

Source : corpus de questions SuperSurvey, 109 modèles en ligne et 1 422 questions, lus le 11 septembre 2026.

Deux autres habitudes à garder. Décidez des comparaisons que vous ferez avant l’arrivée des données, car le taux de faux positifs augmente avec le nombre de tests effectués, pas avec le nombre de tests présentés. Et prenez l’échantillon au sérieux : qui a répondu compte plus que combien, et c’est à cela que servent les méthodes d’échantillonnage. Le reste de la rubrique Guides et aide couvre les décisions qui encadrent celle-ci.

Questions fréquentes

Méthode et limites

Chaque chiffre de cette page est calculé dans le fichier qui la construit, et non saisi à la main, et la construction refuse de s’exécuter si l’un d’eux change. Les probabilités de queue proviennent des fonctions gamma incomplète et bêta incomplète en double précision, vérifiées par rapport aux formes exactes lorsqu’elles existent : la forme de Cauchy pour une loi t à un degré de liberté, les formes algébriques à deux et quatre degrés, et exp(-x/2) pour le khi-deux à deux degrés. Rien n’est lu dans une table.

La corrélation utilise la bibliothèque de modèles SuperSurvey en ligne, analysée modèle par modèle le 10 septembre 2026 : 109 modèles en ligne et 1 422 questions. Ont été comptés le nombre de questions de chaque modèle et le nombre de celles qui appellent une réponse en texte libre. Ont été exclus les brouillons et les redirections. Les deux versions du résultat ont été définies avant le test et toutes deux sont présentées ci-dessus.

Deux limites comptent. Il s’agit de notre propre bibliothèque publiée : elle montre ce qu’un éditeur d’outils d’enquête considère comme une bonne pratique, et non ce que font les enquêtes du monde entier ; aucun résultat ici ne doit donc être lu comme un fait sur les enquêtes en général. Et le résultat sur la part est en partie structurel : la longueur du modèle figure au dénominateur du résultat, si bien qu’une partie de la corrélation négative relève de l’arithmétique plutôt que d’un choix éditorial. C’est exactement pourquoi la version en nombre est présentée à côté.

La comparaison des invitations, l’échelle de tailles d’échantillon et la variation d’un point sont des exemples détaillés aux données d’entrée précisées, et non des mesures. Le calcul est réel et reproductible à partir des chiffres indiqués ; les scénarios sont des illustrations.

Références

1. Centers for Disease Control and Prevention, National Center for Health Statistics. Statistical significance. In Health, United States : Sources and Definitions. cdc.gov
2. National Institutes of Health, National Center for Advancing Translational Sciences. Statistical significance. NCATS Toolkit glossary. toolkit.ncats.nih.gov
3. US Department of Education, National Center for Education Statistics. Statistical significance and sample size. National Assessment of Educational Progress. nces.ed.gov
4. Wasserstein, R. L. et Lazar, N. A. (2016). The ASA statement on p-values : context, process, and purpose. The American Statistician, 70(2), 129-133. doi.org/10.1080/00031305.2016.1154108
5. Greenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N. et Altman, D. G. (2016). Statistical tests, P values, confidence intervals, and power : a guide to misinterpretations. European Journal of Epidemiology, 31(4), 337-350. doi.org/10.1007/s10654-016-0149-3
6. Cochran, W. G. (1954). Some methods for strengthening the common chi-square tests. Biometrics, 10(4), 417. doi.org/10.2307/3001616
7. Cohen, J. (1992). A power primer. Psychological Bulletin, 112(1), 155-159. doi.org/10.1037/0033-2909.112.1.155
8. Hoenig, J. M. et Heisey, D. M. (2001). The abuse of power : the pervasive fallacy of power calculations for data analysis. The American Statistician, 55(1), 19-24. doi.org/10.1198/000313001300339897
9. Cox, D. R. (2020). Statistical significance. Annual Review of Statistics and Its Application, 7, 1-10. doi.org/10.1146/annurev-statistics-031219-041051
10. Corpus de questions SuperSurvey, 109 modèles en ligne et 1 422 questions, lus le 11 septembre 2026.

À lire ensuite

• La corrélation dans les données d’enquête Concevoir une étude capable d’étayer la corrélation que vous voulez présenter.
• De combien de participations avez-vous besoin Réglez la question avant le terrain, tant que vous pouvez encore élargir la liste d’invitations.
• Les étapes de l’analyse de régression D’un verdict oui ou non à une pente que vous pouvez exprimer en une phrase.