Relazione significativa nella ricerca: che cosa significa e come verificarla

Che cosa significa una relazione significativa nella ricerca

La direzione del condizionale è tutto, ed è la parte che la maggior parte dei resoconti capovolge.

Parti dall’affermazione che stai cercando di confutare. È sempre quella noiosa: nella popolazione, queste due variabili non hanno nulla a che fare l’una con l’altra. Ora misura la relazione nel tuo campione e fatti una sola domanda. Se l’affermazione noiosa fosse vera, quanto spesso un campione di questa dimensione produrrebbe, per puro caso, una relazione almeno così forte? Quel numero è il p-value. Se è piccolo, il caso è una spiegazione debole.

Quello che non devi fare è rovesciare la frase. Il test non ti dice mai la probabilità che le variabili siano correlate, perché ha calcolato tutto partendo dall’ipotesi che non lo siano. La versione pubblicata di questa pagina diceva che una relazione significativa significa che la correlazione “è improbabile che sia zero nella popolazione”. Suona bene ed è sbagliato. La correlazione che hai osservato è improbabile se la correlazione nella popolazione è zero. Stesse parole, direzione opposta, e solo una delle due è qualcosa che i tuoi dati possono sostenere.

Tre cose che l’espressione non implica, per quanto spesso venga letta così:

• Non la forza. La significatività risponde alla domanda se la relazione sia distinguibile dal nulla. Quanto sia grande lo dice r stesso, o una pendenza. Con abbastanza risposte, una r di 0,05 è significativa e continua a valere quasi nulla.
• Non la causa. Due variabili che si muovono insieme non dicono nulla su quale muova l’altra, o se una terza le muova entrambe. È una questione di disegno, decisa da come è stato costruito lo studio, e nessuna statistica test può rispondere a posteriori.
• Non la verità. Un p-value è calcolato all’interno di un modello che presuppone che il tuo campione sia ciò che dichiara di essere. Se hanno risposto le persone sbagliate, i calcoli restano perfetti e la conclusione resta sbagliata.

Verificare una correlazione significativa tra due variabili

La r di Pearson va da -1 a +1 e misura quanto due variabili seguono da vicino una linea retta. Per chiederti se la r che hai ottenuto è più del caso, convertila in una statistica t:

t = r x sqrt(n - 2) / sqrt(1 - r^2), da leggere sulla distribuzione t con n - 2 gradi di libertà.

Ecco come funziona su dati reali. Prima di guardare qualsiasi cosa, ho fissato una sola domanda: nei 109 modelli attivi della nostra libreria, il numero di domande di un modello è legato alla quota di quelle domande che sono a testo libero? Poi ho eseguito il test una volta.

1. Calcola r

   r = -0,3701 su n = 109 modelli. Arrotondato per il report, r = -0,37.

2. Calcola i gradi di libertà

   n - 2 = 107. Quindi sqrt(107) = 10,3441.

3. Calcola il denominatore

   r al quadrato è 0,1369, quindi 1 - r^2 = 0,8631 e sqrt(0,8631) = 0,9290.

4. Dividi

   t = -0,37 x 10,3441 / 0,9290 = -4,1197, con 107 gradi di libertà.

5. Leggi la coda

   Una t di 4,12 con 107 gradi di libertà lascia oltre sé 0,000075 della distribuzione a due code. Cioè p = 7,5 x 10^-5, circa un campione su 13.000.

Riportalo insieme all’intervallo. Con la trasformazione di Fisher, l’intervallo al 95 per cento per r va da -0,52 a -0,20. Questa è la sintesi onesta: una relazione negativa, da debole a moderata, e i dati non permettono di definirla con più precisione. Che cosa può e non può sostenere un coefficiente del genere, e come progettare uno studio intorno a esso, è trattato per intero dove interpretiamo una correlazione in un’indagine.

Il risultato sulla quota regge anche quando si verifica che non sia un singolo modello a trascinarlo: sui ranghi invece che sui valori, la rho di Spearman è -0,44 con p = 1,6 x 10^-6, e il risultato sul conteggio resta piatto con rho = -0,03. La r di Pearson richiede una relazione lineare, coppie indipendenti e nessun punto così lontano da piegare la retta da solo. Controlla il grafico a dispersione prima di fidarti del coefficiente. Se vuoi la dimensione dell’effetto invece di un sì o un no, stima una pendenza e misura la relazione in unità reali: tante domande a testo libero in meno per ogni domanda in più, invece di una semplice r.

Differenza significativa o relazione significativa

Sono le due forme in cui si presenta quasi ogni domanda di un’indagine, e si verificano in modo diverso. Una differenza confronta gruppi su un esito. Una relazione chiede se due misure si muovono insieme.

Entrambi sono test di ipotesi ed entrambi producono un p-value, quindi entrambi si leggono allo stesso modo. Non sono intercambiabili: uno scarto tra gruppi non è una correlazione, e riportare l’uno come l’altro è un modo comune di esagerare un risultato. Entrambi si possono eseguire su dati quantitativi di un’indagine.

La differenza tra due gruppi è significativa?

Supponi che un team di assistenza invii lo stesso questionario di una domanda dopo ogni ticket, con due tipi di invito. Delle 400 persone che hanno risposto dopo un invito via email, 208 hanno scelto la casella più alta. Delle 420 che hanno risposto dopo un avviso nell’app, 189 hanno fatto lo stesso. Cioè il 52,0 per cento contro il 45,0 per cento, uno scarto di 7,0 punti. È più di quanto produrrebbe la sola variabilità campionaria con queste dimensioni?

Poiché l’esito è una quota e non una media, il test è il test z per due proporzioni. Unisci i due gruppi per stimare il tasso che ti aspetteresti se l’invito non facesse alcuna differenza, calcola quanto oscilla uno scarto di questo tipo con queste dimensioni del campione, e dividi.

1. Unisci i due gruppi

   (208 + 189) / (400 + 420) = 397 / 820 = 0.4841.

2. Costruisci l’errore standard

   0,4841 x 0,5159 = 0,2497. 1/400 + 1/420 = 0,004881. Moltiplica: 0,00121901. Radice quadrata: 0,03491.

3. Dividi lo scarto per l’errore standard

   z = 0,07 / 0,03491 = 2,0049. Tieni i decimali. Se dividi invece per l’errore standard arrotondato di 0,0349, z risulta 2,0057, che si stampa come 2,01 e ha una coda di 0,0444. È lo 0,044 che questa pagina ha pubblicato per anni, ed è sbagliato di un passaggio di arrotondamento, non di una cifra decimale.

4. Leggi la coda

   Una normale standard colloca 0,04497 della sua massa oltre 2,0049 nelle due code insieme. Quindi p = 0,045. Sotto 0,05, quindi lo scarto è significativo al livello del 5 per cento, con pochissimo margine.

Applica agli stessi numeri un test chi quadrato di indipendenza sulla tabella due per due e ottieni la stessa identica risposta: il chi quadrato è z al quadrato, 4,0197 con un grado di libertà, p = 0,04497. Sono lo stesso test scritto in due modi, quindi un chi quadrato significativo su una tabella due per due e un test z significativo non sono mai in conflitto.

Lo scarto non è cambiato quando abbiamo cambiato la dimensione del campione. Il verdetto sì. Con un quarto delle risposte, 52 su 100 contro 45 su 100 per gli stessi 7,0 punti, z scende a 0,9904 e p sale a 0,32. Negli inviti non è cambiato nulla. Sono cambiate solo le prove, ed è per questo che pianifichi il numero di risposte prima della rilevazione e non dopo.

Se il confronto deve ancora avvenire, questo è il momento che lo decide. Crea un questionario per confrontare gruppi e fissa la dimensione di ogni gruppo in base allo scarto più piccolo che devi rilevare. Un confronto troppo piccolo quando è stato fatto resta troppo piccolo; un’indagine di follow-up più grande è un nuovo studio con un proprio p-value, non una riparazione di questo.

Calcolatore di significatività per due proporzioni

I tuoi numeri, gli stessi calcoli. Inserisci quante persone hanno risposto in ogni gruppo e quante hanno scelto la risposta che stai monitorando. Si aggiorna mentre digiti.

Due metodi, entrambi indicati nel risultato: un test z per due proporzioni sull’errore standard combinato per il verdetto, e un intervallo di Wald sull’errore standard non combinato per la dimensione. È l’abbinamento standard, e poiché i due errori differiscono possono essere in disaccordo vicino alla soglia; il calcolatore lo segnala ogni volta che succede. Il livello dell’intervallo segue il livello di significatività che scegli, quindi alfa = 0,05 dà un intervallo al 95 per cento e l’etichetta indica sempre il livello.

Riporta il conteggio atteso più piccolo, così puoi vedere quando l’approssimazione normale smette di essere sicura. Non riporta la potenza osservata: la potenza a posteriori è una funzione fissa del p-value, quindi non aggiunge nulla a ciò che puoi già vedere.

Un intervallo di confidenza per la differenza tra due gruppi

Il p-value risponde a una domanda sì o no che nessuno ha davvero posto. L’intervallo risponde a quella che è stata posta: quanto è grande?

Un intervallo di confidenza è un intervallo costruito in modo che, se ripetessi l’intero procedimento molte volte, il 95 per cento degli intervalli costruiti così conterrebbe il valore vero. È una proprietà del metodo, non una probabilità associata all’unico intervallo che hai davanti. Dire in modo approssimativo che c’è “una probabilità del 95 per cento che la verità sia qui dentro” è la stessa inversione che fa sbagliare i p-value.

Per una differenza tra due proporzioni, l’errore standard si costruisce da ciascun gruppo separatamente invece che combinandoli, perché ora stai stimando lo scarto invece di verificare se è zero:

1. Errore standard della differenza

   0,52 x 0,48 / 400 = 0,00062400. 0,45 x 0,55 / 420 = 0,00058929. Sommali e calcola la radice quadrata: 0,03483, cioè 3,483 punti percentuali.

2. Moltiplica per il valore critico

   Per il 95 per cento è 1,9600, non 2. Arrotondarlo a 2 porta il limite inferiore da 0,2 a 0,0, che è la differenza tra un intervallo che supera lo zero e uno che sembra toccarlo. 1,9600 x 3,483 = 6,827 punti.

3. Collocalo ai due lati della stima

   7,0 più o meno 6,827 dà da 0,2 a 13,8 punti percentuali.

Ora leggi che cosa dice davvero. L’invito via email è in vantaggio, e i dati sono compatibili con un vantaggio che va da un quinto di punto a quasi quattordici. Un risultato “significativo a 0,05” nascondeva tutto questo. Se uno scarto di due punti cambierebbe ciò che fa il team, questo studio non ha risposto alla domanda, e il p-value non ne dava alcun segno.

Le due letture di solito concordano, e vale la pena essere precisi sul perché potrebbero non farlo. Il test z qui sopra ha diviso per l’errore standard combinato, 0,03491, perché è stato calcolato sotto l’ipotesi che i due gruppi abbiano lo stesso tasso. Questo intervallo ha usato quello non combinato, 0,03483, perché stima lo scarto senza quell’ipotesi. Un test e un intervallo concordano esattamente solo quando sono costruiti nello stesso modo: un intervallo ottenuto invertendo il test combinato, o un test eseguito sull’errore non combinato. L’abbinamento standard è fatto di due approssimazioni di questa costruzione, e vicino alla soglia possono divergere.

Prendi 5 su 20 contro 11 su 20: il test combinato dà z = -1,9365 e p = 0,0528, non significativo a 0,05, mentre l’intervallo non combinato al 95 per cento va da -58,9 a -1,1 punti ed esclude lo zero. Entrambi sono corretti per il proprio metodo; il risultato è al limite e va riportato con entrambi i numeri. L’intervallo resta la cosa migliore da pubblicare, perché porta con sé la dimensione oltre al verdetto, e il verdetto da solo non porta né l’una né l’altro.

Che cosa dice il p-value sull’ipotesi nulla

L’affermazione noiosa ha un nome: l’ipotesi nulla, H0. Il p-value è la probabilità di ottenere una statistica test almeno altrettanto estrema della tua quando H0 è vera. Tutto il resto che se ne dice è una semplificazione o un errore.

L’errore è sempre lo stesso, e vale la pena chiamarlo con precisione. P è la probabilità dei dati data l’ipotesi. Quello che ci si legge è la probabilità dell’ipotesi dati i dati. Sono grandezze diverse, e la seconda non si può calcolare affatto da un p-value: richiede di sapere quanto fosse plausibile l’ipotesi prima di raccogliere qualsiasi cosa. L’American Statistical Association ne ha fatto il secondo dei suoi sei principi nel 2016: un p-value non misura né la probabilità che l’ipotesi studiata sia vera, né la probabilità che i dati siano stati prodotti dal solo caso. ⁴

Quindi p = 0,045 nell’esempio degli inviti non significa una probabilità del 4,5 per cento che gli inviti siano equivalenti, e non significa una probabilità del 95,5 per cento che il risultato si replichi. La replicazione dipende dall’effetto reale e dalla dimensione dello studio successivo, e nessuna delle due cose è contenuta nel numero.⁵

Alfa e livello di significatività

Alfa è la soglia a cui ti impegni prima che arrivino i dati. Fissa alfa = 0,05 e hai detto: se l’ipotesi nulla è vera, accetto una probabilità del 5 per cento di dichiarare comunque significativo un risultato. Esegui venti test di questo tipo su puro rumore e circa uno risulterà significativo, per costruzione e non per caso.

Niente rende 0,05 corretto. È una convenzione che si è consolidata dopo che Fisher l’aveva usata come indicazione di massima, e il compromesso è chiaro: un alfa più basso dà meno falsi allarmi e ti fa perdere effetti reali che ora non vedrai. Sceglilo in base al costo di sbagliare in ciascuna direzione, scrivilo prima, e non spostarlo dopo aver visto il p-value.

Test a una coda e a due code

Un test a due code chiede se i gruppi differiscono in qualche modo, contando i risultati estremi da entrambi i lati. Un test a una coda chiede se uno specifico gruppo è più alto, e conta solo quel lato.

L’affermazione abituale è che un p-value a una coda sia la metà di quello a due code. Vale solo quando l’effetto va davvero nella direzione prevista. Il nostro esempio aveva un p a due code di 0,04497. Se avessi previsto in anticipo che l’email avrebbe battuto l’app, che è la direzione in cui è andata, il p a una coda sarebbe 0,02249. Se avessi previsto che avrebbe vinto l’app, il p a una coda non sarebbe 0,02249, ma 1 meno quel valore, 0,9775, perché quasi tutta la distribuzione si trova dal lato che hai dichiarato. Dimezzare è un caso particolare, non una regola.

Scegli il test a una coda solo quando una differenza nella direzione opposta lascerebbe davvero invariata la tua decisione, e solo prima di guardare i dati. Passare al test a una coda dopo aver visto un p a due code di 0,08 è il trucco più vecchio che esista, e raddoppia il tasso di falsi positivi nella direzione che ti è capitato di preferire.

Quale test statistico devo usare per due gruppi?

Scegli in base alla forma dell’esito, poi verifica le condizioni prima di credere al p-value. Le condizioni non sono burocrazia: ognuna è un’ipotesi che i calcoli fanno senza dirlo.

Una condizione sta sopra tutte queste e nessun test la verifica: le risposte devono provenire dalle persone che intendevi interpellare. Un p-value minuscolo su un campione distorto è una risposta precisa alla domanda sbagliata, ed è il costo pratico del bias di risposta.

La significatività statistica non implica l’importanza pratica

La significatività ti dice che un effetto è rilevabile con la tua dimensione del campione. Non dice nulla sul fatto che valga la pena agire, e con abbastanza risposte le due cose si separano del tutto.

Prendi uno spostamento di un punto: la casella più alta passa dal 51,0 per cento al 52,0 per cento tra due ondate. Con 400 risposte per ondata, p = 0,777 e nessuno ci fa caso. Lo spostamento diventa significativo a 0,05 quando ogni ondata ha circa 19.191 risposte: esattamente a quella dimensione p = 0,0500. Il punto non è diventato più importante. Hai solo raccolto abbastanza precisione per vederlo.

Quindi pubblica la dimensione insieme al verdetto. Per il confronto degli inviti sono 7,0 punti percentuali, intervallo da 0,2 a 13,8. Se vuoi un dato standardizzato, la h di Cohen per il 52,0 per cento contro il 45,0 per cento è 0,14, sotto lo 0,2 che Cohen definiva piccolo.⁷ Una differenza rilevabile, e piccola.

Due indagini a sei mesi di distanza hanno dato risultati diversi

È il modo più comune in cui la questione arriva a un team che conduce indagini, e ricorrere subito a un test di significatività è la mossa sbagliata. Un test presuppone che i due campioni differiscano solo per caso. Tra due ondate di solito differiscono per molto di più.

Controlla questi punti prima di calcolare qualsiasi cosa. La domanda era formulata in modo identico, con le stesse etichette della scala nello stesso ordine? Entrambe le ondate sono durate lo stesso tempo, negli stessi giorni? Hanno risposto gli stessi tipi di persone, o un’ondata è passata da un canale che raggiunge un pubblico diverso? Un’ondata è caduta in un periodo che l’azienda stessa ha perturbato? Ognuno di questi fattori produce uno scarto che nessun test segnalerà come caso e che non ha nulla a che fare con ciò che stai misurando.

Una volta che il confronto è davvero omogeneo, il test dipende da ciò che stai confrontando, e nel lavoro con i questionari di solito è una quota. Delle 1.422 domande della nostra libreria di modelli, il 45,3 per cento sono item di valutazione e il 98,9 per cento di questi offre cinque punti. La sintesi naturale di un item a cinque punti è la quota che sceglie la casella più alta o le due più alte, quindi il test z per due proporzioni qui sopra è lo strumento principale, non il test t. Fare la media di una scala a cinque punti tratta il passaggio da 4 a 5 come uguale a quello da 1 a 2, cosa che nessuno ha dimostrato.

Fonte: SuperSurvey Question Corpus, 109 modelli attivi e 1.422 domande, letti l’11 settembre 2026.

Altre due abitudini da mantenere. Decidi quali confronti eseguirai prima che arrivino i dati, perché il tasso di falsi positivi sale con il numero di test, non con il numero che riporti. E prendi sul serio il campione: chi ha risposto conta più di quanti, ed è a questo che servono i metodi di campionamento. Il resto della sezione Guide e aiuto tratta le decisioni che precedono e seguono questa.

Domande frequenti

Metodo e limiti

Ogni dato di questa pagina è calcolato nel file che la genera, non digitato a mano, e la generazione si rifiuta di procedere se uno di essi cambia. Le probabilità delle code provengono dalle funzioni gamma incompleta e beta incompleta in doppia precisione, verificate rispetto alle forme chiuse dove ne esiste una: la forma di Cauchy per una distribuzione t con un grado di libertà, le forme algebriche con due e quattro, ed exp(-x/2) per il chi quadrato con due. Niente viene letto da una tabella.

La correlazione usa la libreria di modelli attiva di SuperSurvey, analizzata modello per modello il 10 settembre 2026: 109 modelli attivi e 1.422 domande. Sono stati contati il numero di domande di ogni modello e quante di esse prevedono una risposta a testo libero. Sono stati esclusi bozze e reindirizzamenti. Entrambe le versioni dell’esito sono state specificate prima di eseguire il test ed entrambe sono riportate qui sopra.

Due limiti contano. Questa è la nostra libreria pubblicata, quindi mostra ciò che un fornitore di questionari considera una buona prassi, non ciò che fanno le indagini nel mondo, e nessun risultato qui va letto come un fatto sulle indagini in generale. Inoltre il risultato sulla quota è in parte strutturale: la lunghezza del modello sta nel denominatore dell’esito, quindi parte della correlazione negativa è aritmetica e non scelta editoriale. È proprio per questo che accanto è riportata la versione sul conteggio.

Il confronto degli inviti, la scala delle dimensioni del campione e lo spostamento di un punto sono esempi svolti con valori dichiarati, non misure. I calcoli sono reali e riproducibili dai numeri mostrati; gli scenari sono illustrazioni.

Bibliografia

1. Centers for Disease Control and Prevention, National Center for Health Statistics. Statistical significance. In Health, United States: Sources and Definitions. cdc.gov
2. National Institutes of Health, National Center for Advancing Translational Sciences. Statistical significance. Glossario NCATS Toolkit. toolkit.ncats.nih.gov
3. US Department of Education, National Center for Education Statistics. Statistical significance and sample size. National Assessment of Educational Progress. nces.ed.gov
4. Wasserstein, R. L. e Lazar, N. A. (2016). The ASA statement on p-values: context, process, and purpose. The American Statistician, 70(2), 129-133. doi.org/10.1080/00031305.2016.1154108
5. Greenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N. e Altman, D. G. (2016). Statistical tests, P values, confidence intervals, and power: a guide to misinterpretations. European Journal of Epidemiology, 31(4), 337-350. doi.org/10.1007/s10654-016-0149-3
6. Cochran, W. G. (1954). Some methods for strengthening the common chi-square tests. Biometrics, 10(4), 417. doi.org/10.2307/3001616
7. Cohen, J. (1992). A power primer. Psychological Bulletin, 112(1), 155-159. doi.org/10.1037/0033-2909.112.1.155
8. Hoenig, J. M. e Heisey, D. M. (2001). The abuse of power: the pervasive fallacy of power calculations for data analysis. The American Statistician, 55(1), 19-24. doi.org/10.1198/000313001300339897
9. Cox, D. R. (2020). Statistical significance. Annual Review of Statistics and Its Application, 7, 1-10. doi.org/10.1146/annurev-statistics-031219-041051
10. SuperSurvey Question Corpus, 109 modelli attivi e 1.422 domande, letti l’11 settembre 2026.

Che cosa leggere dopo

• La correlazione nei dati delle indagini Progettare uno studio che possa sostenere la correlazione che vuoi riportare.
• Di quante risposte hai bisogno Decidilo prima della rilevazione, quando puoi ancora ampliare l’elenco degli inviti.
• I passaggi dell’analisi di regressione Da un verdetto sì o no a una pendenza che puoi mettere in una frase.