Στατιστική σημαντικότητα μιας σχέσης στην έρευνα: τι σημαίνει και πώς ελέγχεται

Τι σημαίνει μια στατιστικά σημαντική σχέση στην έρευνα

Η κατεύθυνση της συνθήκης («αν… τότε») είναι το παν, και είναι το σημείο που οι περισσότερες αναφορές γράφουν ανάποδα.

Ξεκινήστε από τον ισχυρισμό που αντικρούετε. Είναι πάντα ο βαρετός: στον πληθυσμό, αυτές οι δύο μεταβλητές δεν έχουν καμία σχέση μεταξύ τους. Μετρήστε τώρα τη σχέση στο δείγμα σας και κάντε μία μόνο ερώτηση. Αν ο βαρετός ισχυρισμός ήταν αληθής, πόσο συχνά ένα δείγμα αυτού του μεγέθους θα έβγαζε από καθαρή τύχη μια σχέση τουλάχιστον τόσο ισχυρή; Αυτός ο αριθμός είναι η τιμή p. Μικρή τιμή σημαίνει ότι η τύχη δύσκολα εξηγεί το αποτέλεσμα.

Αυτό που δεν πρέπει να κάνετε είναι να αντιστρέψετε την πρόταση. Ο έλεγχος δεν σας λέει ποτέ την πιθανότητα να σχετίζονται οι μεταβλητές, επειδή υπολόγισε τα πάντα με την παραδοχή ότι δεν σχετίζονται. Η δημοσιευμένη εκδοχή αυτής της σελίδας έλεγε παλαιότερα ότι μια στατιστικά σημαντική σχέση σημαίνει ότι η συσχέτιση «είναι απίθανο να είναι μηδέν στον πληθυσμό». Αυτό ακούγεται καλά και είναι λάθος. Η συσχέτιση που παρατηρήσατε είναι απίθανη αν η συσχέτιση στον πληθυσμό είναι μηδέν. Ίδιες λέξεις, αντίθετη κατεύθυνση, και μόνο η μία από τις δύο είναι κάτι που μπορούν να στηρίξουν τα δεδομένα σας.

Τρία πράγματα που η φράση δεν σημαίνει, όσο συχνά κι αν διαβάζεται έτσι:

• Όχι ισχύ. Η σημαντικότητα απαντά στο αν η σχέση διακρίνεται από το τίποτα. Το πόσο μεγάλη είναι προκύπτει από το ίδιο το r ή από μια κλίση. Με αρκετές υποβολές, ένα r ίσο με 0,05 είναι στατιστικά σημαντικό και εξακολουθεί να αξίζει σχεδόν τίποτα.
• Όχι αιτία. Το ότι δύο μεταβλητές κινούνται μαζί δεν λέει τίποτα για το ποια κινεί την άλλη ή για το αν μια τρίτη κινεί και τις δύο. Αυτό είναι ζήτημα σχεδιασμού, που κρίνεται από τον τρόπο που στήθηκε η μελέτη, και κανένα στατιστικό ελέγχου δεν μπορεί να το απαντήσει εκ των υστέρων.
• Όχι αλήθεια. Μια τιμή p υπολογίζεται μέσα σε ένα μοντέλο που υποθέτει ότι το δείγμα σας είναι αυτό που ισχυρίζεται ότι είναι. Αν απάντησαν τα λάθος άτομα, οι υπολογισμοί είναι και πάλι τέλειοι και το συμπέρασμα είναι και πάλι λάθος.

Έλεγχος στατιστικά σημαντικής συσχέτισης μεταξύ δύο μεταβλητών

Ο συντελεστής r του Pearson κυμαίνεται από -1 έως +1 και μετρά πόσο στενά ακολουθούν δύο μεταβλητές μια ευθεία γραμμή. Για να ρωτήσετε αν το r που βρήκατε είναι κάτι περισσότερο από τύχη, μετατρέψτε το σε στατιστικό t:

t = r x sqrt(n - 2) / sqrt(1 - r^2), με βάση την κατανομή t με n - 2 βαθμούς ελευθερίας.

Ορίστε αυτό σε πραγματικά δεδομένα. Πριν κοιτάξω οτιδήποτε, όρισα ένα ερώτημα: στα 109 ενεργά πρότυπα της βιβλιοθήκης μας, σχετίζεται ο αριθμός των ερωτήσεων ενός προτύπου με το μερίδιο των ερωτήσεων αυτών που είναι ανοιχτού κειμένου; Και μετά τον έτρεξα μία φορά.

1. Βρείτε το r

   r = -0,3701 σε n = 109 πρότυπα. Στρογγυλοποιημένο για αναφορά, r = -0,37.

2. Βρείτε τους βαθμούς ελευθερίας

   n - 2 = 107. Άρα sqrt(107) = 10,3441.

3. Βρείτε τον παρονομαστή

   Το r στο τετράγωνο είναι 0,1369, άρα 1 - r^2 = 0,8631 και sqrt(0,8631) = 0,9290.

4. Διαιρέστε

   t = -0,37 x 10,3441 / 0,9290 = -4,1197, με 107 βαθμούς ελευθερίας.

5. Διαβάστε την ουρά

   Ένα t ίσο με 4,12 με 107 βαθμούς ελευθερίας αφήνει πέρα από αυτό το 0,000075 της δίπλευρης κατανομής. Δηλαδή p = 7,5 x 10^-5, ή περίπου ένα δείγμα στα 13.000.

Αναφέρετε μαζί του και το διάστημα. Με τον μετασχηματισμό του Fisher, το διάστημα εμπιστοσύνης 95% για το r εκτείνεται από -0,52 έως -0,20. Αυτή είναι η έντιμη σύνοψη: μια αρνητική σχέση, κάπου ανάμεσα σε ασθενή και μέτρια, και τα δεδομένα δεν μπορούν να την προσδιορίσουν στενότερα. Τι μπορεί και τι δεν μπορεί να στηρίξει ένας τέτοιος συντελεστής, και πώς να σχεδιάσετε μια μελέτη γύρω από αυτόν, εξηγείται πλήρως εκεί όπου ερμηνεύουμε μια συσχέτιση σε έρευνα.

Το αποτέλεσμα για το μερίδιο αντέχει σε έλεγχο για το αν ένα μόνο πρότυπο το παρασύρει: με βάση τις θέσεις κατάταξης αντί για τις τιμές, το rho του Spearman είναι -0,44 με p = 1,6 x 10^-6, και το αποτέλεσμα για τον αριθμό μένει επίπεδο στο rho = -0,03. Ο συντελεστής r του Pearson προϋποθέτει γραμμική σχέση, ανεξάρτητα ζεύγη και κανένα μεμονωμένο σημείο τόσο απομακρυσμένο ώστε να λυγίζει μόνο του τη γραμμή. Ελέγξτε το διάγραμμα διασποράς πριν εμπιστευτείτε τον συντελεστή. Αν θέλετε το μέγεθος της επίδρασης αντί για ένα ναι ή όχι, προσαρμόστε μια κλίση και εκτιμήστε τη σχέση σε πραγματικές μονάδες: τόσες λιγότερες ερωτήσεις ανοιχτού κειμένου ανά επιπλέον ερώτηση, αντί για ένα σκέτο r.

Στατιστικά σημαντική διαφορά ή στατιστικά σημαντική σχέση

Αυτές είναι οι δύο μορφές με τις οποίες έρχεται σχεδόν κάθε ερώτημα έρευνας, και ελέγχονται διαφορετικά. Μια διαφορά συγκρίνει ομάδες ως προς ένα αποτέλεσμα. Μια σχέση ρωτά αν δύο μετρήσεις κινούνται μαζί.

Και οι δύο είναι έλεγχοι υποθέσεων και δίνουν τιμή p, οπότε και οι δύο διαβάζονται με τον ίδιο τρόπο. Δεν είναι εναλλάξιμοι: μια διαφορά μεταξύ ομάδων δεν είναι συσχέτιση, και η αναφορά της μιας ως της άλλης είναι συνηθισμένος τρόπος υπερβολής ενός ευρήματος. Και οι δύο μπορούν να εφαρμοστούν σε ποσοτικά δεδομένα ερευνών.

Είναι η διαφορά μεταξύ δύο ομάδων στατιστικά σημαντική;

Ας πούμε ότι μια ομάδα υποστήριξης στέλνει την ίδια έρευνα μίας ερώτησης μετά από κάθε αίτημα, με δύο είδη πρόσκλησης. Από τα 400 άτομα που απάντησαν μετά από πρόσκληση μέσω email, 208 επέλεξαν την κορυφαία επιλογή. Από τα 420 που απάντησαν μετά από ειδοποίηση μέσα στην εφαρμογή, το έκαναν 189. Αυτό είναι 52,0% έναντι 45,0%, μια διαφορά 7,0 μονάδων. Είναι αυτό περισσότερο από όσο θα προκαλούσε μόνη της η δειγματοληπτική μεταβλητότητα σε αυτά τα μεγέθη;

Επειδή το αποτέλεσμα είναι μερίδιο και όχι μέσος όρος, ο έλεγχος είναι ο έλεγχος z για δύο αναλογίες. Συγκεντρώστε τις δύο ομάδες για να εκτιμήσετε το ποσοστό που θα αναμενόταν αν η πρόσκληση δεν έκανε καμία διαφορά, υπολογίστε πόσο κυμαίνεται μια τέτοια διαφορά σε αυτά τα μεγέθη δείγματος και διαιρέστε.

1. Συγκεντρώστε τις δύο ομάδες

   (208 + 189) / (400 + 420) = 397 / 820 = 0.4841.

2. Υπολογίστε το τυπικό σφάλμα

   0,4841 x 0,5159 = 0,2497. 1/400 + 1/420 = 0,004881. Πολλαπλασιάστε: 0,00121901. Τετραγωνική ρίζα: 0,03491.

3. Διαιρέστε τη διαφορά με αυτό

   z = 0,07 / 0,03491 = 2,0049. Κρατήστε τα δεκαδικά. Αν διαιρέσετε αντί γι’ αυτό με το στρογγυλοποιημένο τυπικό σφάλμα 0,0349, το z βγαίνει 2,0057, που εμφανίζεται ως 2,01 και δίνει ουρά 0,0444. Αυτό είναι το 0,044 που δημοσίευε αυτή η σελίδα επί χρόνια, και είναι λάθος κατά ένα βήμα στρογγυλοποίησης, όχι κατά ένα δεκαδικό ψηφίο.

4. Διαβάστε την ουρά

   Μια τυπική κανονική κατανομή αφήνει το 0,04497 της μάζας της πέρα από το 2,0049 στις δύο ουρές μαζί. Άρα p = 0,045. Κάτω από 0,05, οπότε η διαφορά είναι στατιστικά σημαντική σε επίπεδο 5%, με ελάχιστο περιθώριο.

Αν τρέξετε τους ίδιους αριθμούς ως έλεγχο ανεξαρτησίας χι-τετράγωνο στον πίνακα δύο επί δύο, παίρνετε την ίδια ακριβώς απάντηση: το χι-τετράγωνο είναι το z στο τετράγωνο, 4,0197 με έναν βαθμό ελευθερίας, p = 0,04497. Πρόκειται για τον ίδιο έλεγχο γραμμένο με δύο τρόπους, οπότε ένα στατιστικά σημαντικό χι-τετράγωνο σε πίνακα δύο επί δύο και ένας στατιστικά σημαντικός έλεγχος z δεν βρίσκονται ποτέ σε αντίφαση.

Η διαφορά δεν άλλαξε όταν αλλάξαμε το μέγεθος του δείγματος. Η ετυμηγορία άλλαξε. Με το ένα τέταρτο των υποβολών, 52 στα 100 έναντι 45 στα 100 για τις ίδιες 7,0 μονάδες, το z πέφτει στο 0,9904 και το p ανεβαίνει στο 0,32. Τίποτα δεν άλλαξε στις προσκλήσεις. Άλλαξαν μόνο τα στοιχεία, και γι’ αυτό σχεδιάζετε τον αριθμό των υποβολών πριν από τη συλλογή και όχι μετά.

Αν η σύγκριση βρίσκεται ακόμη μπροστά σας, αυτή είναι η στιγμή που την κρίνει. Δημιουργήστε ένα ερωτηματολόγιο για να συγκρίνετε ομάδες και ορίστε το μέγεθος κάθε ομάδας με βάση τη μικρότερη διαφορά που πρέπει να εντοπίσετε. Μια σύγκριση που ήταν πολύ μικρή όταν έγινε μένει πολύ μικρή· μια μεγαλύτερη επόμενη μελέτη είναι νέα μελέτη με τη δική της τιμή p, όχι επιδιόρθωση αυτής.

Υπολογιστής στατιστικής σημαντικότητας για δύο αναλογίες

Οι δικοί σας αριθμοί, οι ίδιοι υπολογισμοί. Εισαγάγετε πόσα άτομα απάντησαν σε κάθε ομάδα και πόσα επέλεξαν την απάντηση που παρακολουθείτε. Ενημερώνεται όσο πληκτρολογείτε.

Δύο μέθοδοι, που κατονομάζονται και οι δύο στο αποτέλεσμα: έλεγχος z για δύο αναλογίες με το συγκεντρωτικό τυπικό σφάλμα για την ετυμηγορία, και διάστημα Wald με το μη συγκεντρωτικό τυπικό σφάλμα για το μέγεθος. Αυτός είναι ο τυπικός συνδυασμός, και επειδή τα δύο σφάλματα διαφέρουν, μπορεί να διαφωνούν κοντά στο όριο· ο υπολογιστής το επισημαίνει όποτε συμβαίνει. Το επίπεδο του διαστήματος ακολουθεί το επίπεδο σημαντικότητας που επιλέγετε, οπότε άλφα = 0,05 δίνει διάστημα 95% και η ετικέτα αναγράφει το επίπεδο κάθε φορά.

Αναφέρει το μικρότερο αναμενόμενο πλήθος, ώστε να βλέπετε πότε η κανονική προσέγγιση παύει να είναι ασφαλής. Δεν αναφέρει την παρατηρούμενη ισχύ: η εκ των υστέρων ισχύς είναι σταθερή συνάρτηση της τιμής p, οπότε δεν προσθέτει τίποτα σε όσα ήδη βλέπετε.

Διάστημα εμπιστοσύνης για τη διαφορά μεταξύ δύο ομάδων

Η τιμή p απαντά σε μια ερώτηση ναι ή όχι που κανείς δεν έκανε στην πραγματικότητα. Το διάστημα απαντά σε αυτή που έκαναν: πόσο μεγάλη είναι;

Ένα διάστημα εμπιστοσύνης είναι ένα εύρος κατασκευασμένο έτσι ώστε, αν επαναλαμβάνατε ολόκληρη τη διαδικασία πολλές φορές, το 95% των διαστημάτων που θα κατασκευάζατε με αυτόν τον τρόπο θα περιείχε την πραγματική τιμή. Είναι ιδιότητα της μεθόδου, όχι πιθανότητα που αποδίδεται στο ένα διάστημα που έχετε μπροστά σας. Η χαλαρή διατύπωση «πιθανότητα 95% η αλήθεια να είναι εδώ μέσα» είναι η ίδια αντιστροφή που κάνει λάθος τις τιμές p.

Για μια διαφορά μεταξύ δύο αναλογιών, το τυπικό σφάλμα υπολογίζεται από κάθε ομάδα χωριστά και όχι συγκεντρωτικά, επειδή τώρα εκτιμάτε τη διαφορά αντί να ελέγχετε αν είναι μηδέν:

1. Τυπικό σφάλμα της διαφοράς

   0,52 x 0,48 / 400 = 0,00062400. 0,45 x 0,55 / 420 = 0,00058929. Προσθέστε τα και πάρτε την τετραγωνική ρίζα: 0,03483, δηλαδή 3,483 ποσοστιαίες μονάδες.

2. Πολλαπλασιάστε με την κρίσιμη τιμή

   Για 95%, αυτή είναι 1,9600, όχι 2. Η στρογγυλοποίησή της στο 2 κατεβάζει το κάτω όριο από 0,2 σε 0,0, που είναι η διαφορά ανάμεσα σε ένα διάστημα που δεν περιλαμβάνει το μηδέν και ένα που φαίνεται να το αγγίζει. 1,9600 x 3,483 = 6,827 μονάδες.

3. Τοποθετήστε το εκατέρωθεν της εκτίμησης

   7,0 συν ή πλην 6,827 δίνει 0,2 έως 13,8 ποσοστιαίες μονάδες.

Διαβάστε τώρα τι λέει στην πραγματικότητα. Η πρόσκληση μέσω email προηγείται, και τα δεδομένα συμβιβάζονται με προβάδισμα από ένα πέμπτο της μονάδας έως σχεδόν δεκατέσσερις. Ένα εύρημα «στατιστικά σημαντικό στο 0,05» τα έκρυβε όλα αυτά. Αν μια διαφορά δύο μονάδων θα άλλαζε αυτό που κάνει η ομάδα, αυτή η μελέτη δεν έχει απαντήσει στο ερώτημα, και η τιμή p δεν έδωσε καμία ένδειξη γι’ αυτό.

Οι δύο αναγνώσεις συνήθως συμφωνούν, και αξίζει να είμαστε ακριβείς για το γιατί δεν είναι υποχρεωτικό. Ο παραπάνω έλεγχος z διαίρεσε με το συγκεντρωτικό τυπικό σφάλμα, 0,03491, επειδή υπολογίστηκε με την υπόθεση ότι και οι δύο ομάδες έχουν το ίδιο ποσοστό. Αυτό το διάστημα χρησιμοποίησε το μη συγκεντρωτικό, 0,03483, επειδή εκτιμά τη διαφορά χωρίς αυτή την παραδοχή. Ένας έλεγχος και ένα διάστημα συμφωνούν ακριβώς μόνο όταν κατασκευάζονται με τον ίδιο τρόπο: ένα διάστημα που προκύπτει από την αντιστροφή του συγκεντρωτικού ελέγχου, ή ένας έλεγχος με το μη συγκεντρωτικό σφάλμα. Αυτός ο τυπικός συνδυασμός είναι δύο προσεγγίσεις σε αυτό, και κοντά στο όριο μπορεί να αποκλίνουν.

Πάρτε 5 στα 20 έναντι 11 στα 20: ο συγκεντρωτικός έλεγχος δίνει z = -1,9365 και p = 0,0528, όχι στατιστικά σημαντικό στο 0,05, ενώ το μη συγκεντρωτικό διάστημα 95% εκτείνεται από -58,9 έως -1,1 μονάδες και αποκλείει το μηδέν. Και τα δύο είναι σωστά για τη δική τους μέθοδο· το αποτέλεσμα είναι οριακό και πρέπει να αναφερθεί με τους δύο αριθμούς. Το διάστημα παραμένει καλύτερο για δημοσίευση, επειδή φέρει το μέγεθος μαζί με την ετυμηγορία, ενώ η ετυμηγορία μόνη της δεν φέρει τίποτα από τα δύο.

Τι λέει η τιμή p για τη μηδενική υπόθεση

Ο βαρετός ισχυρισμός έχει όνομα: η μηδενική υπόθεση, H0. Η τιμή p είναι η πιθανότητα να πάρετε ένα στατιστικό ελέγχου τουλάχιστον τόσο ακραίο όσο το δικό σας όταν η H0 είναι αληθής. Όλα τα άλλα που λέγονται γι’ αυτήν είναι είτε συντόμευση είτε λάθος.

Το λάθος είναι πάντα το ίδιο, και αξίζει να το κατονομάσουμε με ακρίβεια. Το p είναι η πιθανότητα των δεδομένων δεδομένης της υπόθεσης. Αυτό που διαβάζουν οι περισσότεροι είναι η πιθανότητα της υπόθεσης δεδομένων των δεδομένων. Πρόκειται για διαφορετικά μεγέθη, και το δεύτερο δεν μπορεί καθόλου να υπολογιστεί από μια τιμή p: χρειάζεται να γνωρίζει πόσο εύλογη ήταν η υπόθεση πριν συλλέξετε οτιδήποτε. Η American Statistical Association το έκανε τη δεύτερη από τις έξι αρχές της το 2016: μια τιμή p δεν μετρά ούτε την πιθανότητα να είναι αληθής η υπό μελέτη υπόθεση ούτε την πιθανότητα τα δεδομένα να προέκυψαν μόνο από τύχη.⁴

Έτσι, το p = 0,045 στο παράδειγμα των προσκλήσεων δεν σημαίνει πιθανότητα 4,5% οι προσκλήσεις να είναι ισοδύναμες, ούτε πιθανότητα 95,5% το αποτέλεσμα να αναπαραχθεί. Η αναπαραγωγή εξαρτάται από την πραγματική επίδραση και από το μέγεθος της επόμενης μελέτης, και κανένα από τα δύο δεν περιέχεται στον αριθμό.⁵

Το άλφα και το επίπεδο σημαντικότητας

Το άλφα είναι το όριο στο οποίο δεσμεύεστε πριν φτάσουν τα δεδομένα. Ορίστε άλφα = 0,05 και έχετε πει: αν η μηδενική υπόθεση είναι αληθής, αποδέχομαι πιθανότητα 5% να χαρακτηρίσω παρ’ όλα αυτά ένα αποτέλεσμα στατιστικά σημαντικό. Τρέξτε είκοσι τέτοιους ελέγχους σε καθαρό θόρυβο και περίπου ένας θα βγει στατιστικά σημαντικός, εκ κατασκευής και όχι κατά τύχη.

Τίποτα δεν κάνει το 0,05 σωστό. Είναι μια σύμβαση που παγιώθηκε αφού ο Fisher το χρησιμοποίησε ως πρόχειρο οδηγό, και η ανταλλαγή είναι σαφής: ένα χαμηλότερο άλφα σας δίνει λιγότερους ψευδείς συναγερμούς και σας κοστίζει πραγματικές επιδράσεις που πλέον θα χάνετε. Επιλέξτε το με βάση το κόστος του λάθους προς κάθε κατεύθυνση, καταγράψτε το πρώτα και μην το μετακινήσετε αφού δείτε την τιμή p.

Μονόπλευροι και δίπλευροι έλεγχοι

Ένας δίπλευρος έλεγχος ρωτά αν οι ομάδες διαφέρουν γενικά, μετρώντας ακραία αποτελέσματα και προς τις δύο πλευρές. Ένας μονόπλευρος έλεγχος ρωτά αν μια συγκεκριμένη ομάδα είναι υψηλότερη και μετρά μόνο αυτή την πλευρά.

Ο συνήθης ισχυρισμός είναι ότι η μονόπλευρη τιμή p είναι το μισό της δίπλευρης. Αυτό ισχύει μόνο όταν η επίδραση κινείται πράγματι προς την κατεύθυνση που προβλέψατε. Το παράδειγμά μας είχε δίπλευρο p ίσο με 0,04497. Αν είχατε προβλέψει εκ των προτέρων ότι το email θα ξεπερνούσε την εφαρμογή, που είναι η κατεύθυνση που προέκυψε, το μονόπλευρο p είναι 0,02249. Αν είχατε προβλέψει ότι θα κέρδιζε η εφαρμογή, το μονόπλευρο p δεν είναι 0,02249. Είναι 1 μείον αυτό, 0,9775, επειδή σχεδόν ολόκληρη η κατανομή βρίσκεται στην πλευρά που ισχυριστήκατε. Ο υποδιπλασιασμός είναι ειδική περίπτωση, όχι κανόνας.

Επιλέξτε μονόπλευρο έλεγχο μόνο όταν μια διαφορά προς την άλλη κατεύθυνση θα άφηνε πραγματικά την απόφασή σας αμετάβλητη, και μόνο πριν κοιτάξετε. Η μετάβαση σε μονόπλευρο έλεγχο αφού δείτε δίπλευρο p ίσο με 0,08 είναι το παλαιότερο κόλπο που υπάρχει, και διπλασιάζει το ποσοστό ψευδώς θετικών αποτελεσμάτων προς την κατεύθυνση που έτυχε να σας αρέσει.

Ποιον στατιστικό έλεγχο να χρησιμοποιήσω για δύο ομάδες;

Επιλέξτε με βάση τη μορφή του αποτελέσματος και μετά ελέγξτε τις προϋποθέσεις πριν πιστέψετε την τιμή p. Οι προϋποθέσεις δεν είναι γραφειοκρατία: καθεμία είναι μια παραδοχή που κάνουν σιωπηλά οι υπολογισμοί.

Μία προϋπόθεση στέκεται πάνω από όλες αυτές και κανένας έλεγχος δεν την ελέγχει: οι υποβολές πρέπει να προέρχονται από τα άτομα που θέλατε να ρωτήσετε. Μια μικροσκοπική τιμή p σε ένα στρεβλό δείγμα είναι ακριβής απάντηση στη λάθος ερώτηση, και αυτό είναι το πρακτικό κόστος της μεροληψίας απόκρισης.

Η στατιστική σημαντικότητα δεν συνεπάγεται πρακτική σπουδαιότητα

Η σημαντικότητα σας λέει ότι μια επίδραση είναι ανιχνεύσιμη με το μέγεθος δείγματός σας. Δεν λέει τίποτα για το αν αξίζει να δράσετε με βάση αυτήν, και με αρκετές υποβολές τα δύο αποκλίνουν εντελώς.

Πάρτε μια μεταβολή μίας μονάδας: η κορυφαία επιλογή πηγαίνει από 51,0% σε 52,0% μεταξύ δύο κύκλων. Με 400 υποβολές ανά κύκλο, p = 0,777 και κανείς δεν το χαρακτηρίζει τίποτα. Η μεταβολή γίνεται στατιστικά σημαντική στο 0,05 όταν κάθε κύκλος έχει περίπου 19.191 υποβολές: σε αυτό ακριβώς το μέγεθος p = 0,0500. Η μονάδα δεν έγινε πιο σπουδαία. Απλώς αγοράσατε αρκετή ακρίβεια για να τη δείτε.

Γι’ αυτό δημοσιεύστε το μέγεθος μαζί με την ετυμηγορία. Για τη σύγκριση των προσκλήσεων αυτό είναι 7,0 ποσοστιαίες μονάδες, διάστημα 0,2 έως 13,8. Αν θέλετε έναν τυποποιημένο δείκτη, το h του Cohen για 52,0% έναντι 45,0% είναι 0,14, κάτω από το 0,2 που ο Cohen χαρακτήρισε μικρό.⁷ Μια ανιχνεύσιμη διαφορά, και μικρή.

Δύο έρευνες με διαφορά έξι μηνών έδωσαν διαφορετικά αποτελέσματα

Αυτός είναι ο πιο συνηθισμένος τρόπος με τον οποίο φτάνει το ερώτημα σε μια ομάδα ερευνών, και η άμεση προσφυγή σε έλεγχο σημαντικότητας είναι λάθος κίνηση. Ένας έλεγχος υποθέτει ότι τα δύο δείγματα διαφέρουν μόνο λόγω τύχης. Μεταξύ δύο κύκλων συνήθως διαφέρουν πολύ περισσότερο από αυτό.

Ελέγξτε τα εξής πριν υπολογίσετε οτιδήποτε. Ήταν η ερώτηση διατυπωμένη πανομοιότυπα, με τις ίδιες ετικέτες κλίμακας με την ίδια σειρά; Διήρκεσαν και οι δύο κύκλοι το ίδιο διάστημα, τις ίδιες ημέρες; Απάντησαν τα ίδια είδη ατόμων, ή μήπως ο ένας κύκλος στάλθηκε μέσω ενός καναλιού που φτάνει σε διαφορετικό κοινό; Έπεσε ένας κύκλος σε περίοδο που διατάραξε η ίδια η επιχείρηση; Οποιοδήποτε από αυτά δημιουργεί μια διαφορά που κανένας έλεγχος δεν θα επισημάνει ως τύχη και που δεν έχει καμία σχέση με αυτό που μετράτε.

Όταν η σύγκριση είναι πραγματικά ομοειδής, ο έλεγχος προκύπτει από αυτό που συγκρίνετε, και στην έρευνα με ερωτηματολόγια αυτό είναι συνήθως ένα μερίδιο. Από τις 1.422 ερωτήσεις της βιβλιοθήκης προτύπων μας, το 45,3% είναι ερωτήματα αξιολόγησης και το 98,9% από αυτά προσφέρουν πέντε σημεία. Η φυσική σύνοψη ενός ερωτήματος πέντε σημείων είναι το μερίδιο που επιλέγει την κορυφαία επιλογή ή τις δύο κορυφαίες, οπότε ο παραπάνω έλεγχος z για δύο αναλογίες είναι το βασικό εργαλείο, όχι ο έλεγχος t. Ο μέσος όρος μιας κλίμακας πέντε σημείων αντιμετωπίζει το βήμα από το 4 στο 5 ως ίσο με το βήμα από το 1 στο 2, κάτι που κανείς δεν έχει αποδείξει.

Πηγή: SuperSurvey Question Corpus, 109 ενεργά πρότυπα και 1.422 ερωτήσεις, ανάγνωση στις 11 Σεπτεμβρίου 2026.

Δύο ακόμη συνήθειες που αξίζει να κρατήσετε. Αποφασίστε ποιες συγκρίσεις θα κάνετε πριν φτάσουν τα δεδομένα, γιατί το ποσοστό ψευδώς θετικών αυξάνεται με τον αριθμό των ελέγχων, όχι με τον αριθμό που αναφέρετε. Και πάρτε στα σοβαρά το δείγμα: το ποιοι απάντησαν μετράει περισσότερο από το πόσοι, και γι’ αυτό υπάρχουν οι μέθοδοι δειγματοληψίας. Η υπόλοιπη ενότητα «Οδηγοί και βοήθεια» καλύπτει τις αποφάσεις πριν και μετά από αυτήν.

Συχνές ερωτήσεις

Μέθοδος και όρια

Κάθε αριθμός σε αυτή τη σελίδα υπολογίζεται μέσα στο αρχείο που τη δημιουργεί, δεν πληκτρολογείται, και η δημιουργία αρνείται να εκτελεστεί αν αλλάξει οποιοσδήποτε από αυτούς. Οι πιθανότητες ουράς προέρχονται από τις μη πλήρεις συναρτήσεις γάμμα και βήτα σε διπλή ακρίβεια, ελεγμένες με κλειστές μορφές όπου υπάρχουν: τη μορφή Cauchy για κατανομή t με έναν βαθμό ελευθερίας, τις αλγεβρικές μορφές με δύο και τέσσερις, και το exp(-x/2) για χι-τετράγωνο με δύο. Τίποτα δεν διαβάζεται από πίνακα.

Η συσχέτιση χρησιμοποιεί την ενεργή βιβλιοθήκη προτύπων του SuperSurvey, που αναλύθηκε πρότυπο προς πρότυπο στις 10 Σεπτεμβρίου 2026: 109 ενεργά πρότυπα και 1.422 ερωτήσεις. Μετρήθηκε ο αριθμός των ερωτήσεων σε κάθε πρότυπο και πόσες από αυτές δέχονται απάντηση ελεύθερου κειμένου. Εξαιρέθηκαν τα προσχέδια και οι ανακατευθύνσεις. Και οι δύο εκδοχές του αποτελέσματος ορίστηκαν πριν τρέξει ο έλεγχος και αναφέρονται και οι δύο παραπάνω.

Δύο όρια έχουν σημασία. Αυτή είναι η δική μας δημοσιευμένη βιβλιοθήκη, οπότε δείχνει τι θεωρεί καλή πρακτική ένας πάροχος ερευνών, όχι τι κάνουν οι έρευνες παγκοσμίως, και κανένα αποτέλεσμα εδώ δεν πρέπει να διαβάζεται ως γεγονός για τις έρευνες γενικά. Επιπλέον, το αποτέλεσμα για το μερίδιο είναι εν μέρει δομικό: το μήκος του προτύπου βρίσκεται στον παρονομαστή του αποτελέσματος, οπότε μέρος της αρνητικής συσχέτισης είναι αριθμητική και όχι συντακτική κρίση. Ακριβώς γι’ αυτό η εκδοχή του αριθμού τυπώνεται δίπλα του.

Η σύγκριση των προσκλήσεων, η κλίμακα μεγεθών δείγματος και η μεταβολή μίας μονάδας είναι λυμένα παραδείγματα με δηλωμένες τιμές εισόδου, όχι μετρήσεις. Οι υπολογισμοί είναι πραγματικοί και αναπαράγονται από τους αριθμούς που φαίνονται· τα σενάρια είναι ενδεικτικά.

Βιβλιογραφία

1. Centers for Disease Control and Prevention, National Center for Health Statistics. Statistical significance. In Health, United States: Sources and Definitions. cdc.gov
2. National Institutes of Health, National Center for Advancing Translational Sciences. Statistical significance. NCATS Toolkit glossary. toolkit.ncats.nih.gov
3. US Department of Education, National Center for Education Statistics. Statistical significance and sample size. National Assessment of Educational Progress. nces.ed.gov
4. Wasserstein, R. L. and Lazar, N. A. (2016). The ASA statement on p-values: context, process, and purpose. The American Statistician, 70(2), 129-133. doi.org/10.1080/00031305.2016.1154108
5. Greenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N. and Altman, D. G. (2016). Statistical tests, P values, confidence intervals, and power: a guide to misinterpretations. European Journal of Epidemiology, 31(4), 337-350. doi.org/10.1007/s10654-016-0149-3
6. Cochran, W. G. (1954). Some methods for strengthening the common chi-square tests. Biometrics, 10(4), 417. doi.org/10.2307/3001616
7. Cohen, J. (1992). A power primer. Psychological Bulletin, 112(1), 155-159. doi.org/10.1037/0033-2909.112.1.155
8. Hoenig, J. M. and Heisey, D. M. (2001). The abuse of power: the pervasive fallacy of power calculations for data analysis. The American Statistician, 55(1), 19-24. doi.org/10.1198/000313001300339897
9. Cox, D. R. (2020). Statistical significance. Annual Review of Statistics and Its Application, 7, 1-10. doi.org/10.1146/annurev-statistics-031219-041051
10. Σώμα ερωτήσεων SuperSurvey, 109 ενεργά πρότυπα και 1.422 ερωτήσεις, ανάγνωση 11 Σεπτεμβρίου 2026.

Τι να διαβάσετε στη συνέχεια

• Συσχέτιση σε δεδομένα ερευνών Πώς σχεδιάζετε μια μελέτη που μπορεί να στηρίξει τη συσχέτιση που θέλετε να αναφέρετε.
• Πόσες υποβολές χρειάζεστε Αποφασίστε το πριν από τη συλλογή, όσο μπορείτε ακόμη να διευρύνετε τη λίστα προσκλήσεων.
• Βήματα ανάλυσης παλινδρόμησης Από μια ετυμηγορία ναι ή όχι σε μια κλίση που μπορείτε να διατυπώσετε σε μια πρόταση.