Araştırmada anlamlı ilişki ve istatistiksel anlamlılık: ne anlama gelir, nasıl test edilir
Hesaplamanın her adımıyla çözülmüş iki karşılaştırma ve sonucu raporlarken yazmanız gereken cümle.
Anlamlı bir ilişki, ölçtüğünüz örüntünün, örneklediğiniz evrende iki değişken birbiriyle ilişkisiz olsaydı nadiren ortaya çıkacağı anlamına gelir. Bu, bir varsayım altında verileriniz hakkında bir ifadedir. Asla varsayımın ne kadar olası olduğuna dair bir ifade değildir.
Kendi anket kütüphanemizdeki 109 şablonda, daha uzun şablonlar sorularının daha küçük bir payını açık uçlu sorulara ayırıyor: r = -0,37. Gerçek korelasyon sıfır olsaydı, sıfırdan en az bu kadar uzak bir korelasyon yaklaşık 13.000 örneklemde bir ortaya çıkardı; dolayısıyla sıfır, bulduğumuz şeyin zayıf bir açıklamasıdır.
SuperSurvey Soru Derlemi, yayındaki 109 şablon ve 1.422 soru, 11 Eylül 2026'da okundu.
İki yüzdeyi mi karşılaştırıyorsunuz? İki oran hesaplama aracına geçin.
Araştırmada anlamlı bir ilişki ne demektir
Her şey koşullu ifadenin yönündedir ve çoğu raporun ters anladığı kısım da budur.
Karşı çıktığınız iddiadan başlayın. Bu her zaman sıkıcı olanıdır: evrende bu iki değişkenin birbiriyle hiçbir ilgisi yoktur. Şimdi örnekleminizdeki ilişkiyi ölçün ve tek bir soru sorun. Sıkıcı iddia doğru olsaydı, bu büyüklükteki bir örneklem yalnızca şans eseri en az bu kadar güçlü bir ilişkiyi ne sıklıkla ortaya çıkarırdı? Bu sayı p değeridir. Küçük olması, şansın zayıf bir açıklama olduğu anlamına gelir.
Yapmamanız gereken şey cümleyi tersine çevirmektir. Test size değişkenlerin ilişkili olma olasılığını asla söylemez, çünkü her şeyi ilişkili olmadıkları varsayımıyla hesaplamıştır. Bu sayfanın yayındaki eski versiyonu, anlamlı bir ilişkinin korelasyonun "evrende sıfır olmasının olası olmadığı" anlamına geldiğini söylüyordu. Bu kulağa hoş gelir ve yanlıştır. Gözlediğiniz korelasyon, eğer evrendeki korelasyon sıfırsa olası değildir. Aynı kelimeler, ters yön; ve bunlardan yalnızca biri verilerinizin destekleyebileceği bir şeydir.
"Şablon uzunluğu ile açık uçlu soru payı negatif yönde ilişkiliydi, r = -0,37, n = 109, p = 7,5 x 10^-5. Daha uzun şablonlar sorularının daha küçük bir payını açık uçlu sorulara ayırdı."
Tahmin, örneklem büyüklüğü, p değeri, ardından neyin neyle birlikte değiştiğini söyleyen sade bir cümle. Hüküm bildiren kelime yok, nedensellik bildiren fiil yok, sayının desteklemediği bir işi üstlenen sıfat yok.
Ne kadar sık öyle okunursa okunsun, bu ifadenin taşımadığı üç şey:
- İlişkinin gücü değil. Anlamlılık, ilişkinin hiçlikten ayırt edilip edilemeyeceğini yanıtlar. Ne kadar büyük olduğu r'nin kendisinden ya da bir eğimden gelir. Yeterince gönderimle 0,05'lik bir r anlamlıdır ama yine de neredeyse hiçbir değer taşımaz.
- Neden değil. İki değişkenin birlikte değişmesi, hangisinin diğerini değiştirdiği ya da üçüncü bir değişkenin ikisini birden değiştirip değiştirmediği hakkında hiçbir şey söylemez. Bu, çalışmanın nasıl kurulduğuyla çözülen bir tasarım sorusudur ve hiçbir test istatistiği bunu sonradan yanıtlayamaz.
- Doğruluk değil. p değeri, örnekleminizin iddia ettiği şey olduğunu varsayan bir model içinde hesaplanır. Yanıt verenler yanlış kişilerse, hesaplama yine kusursuzdur ve sonuç yine yanlıştır.
İki değişken arasındaki anlamlı bir korelasyonu test etmek
Pearson r'si -1 ile +1 arasında değişir ve iki değişkenin bir doğruyu ne kadar yakından izlediğini ölçer. Elde ettiğiniz r'nin şanstan öte bir şey olup olmadığını sormak için onu bir t istatistiğine dönüştürün:
t = r x sqrt(n - 2) / sqrt(1 - r^2); n - 2 serbestlik derecesindeki t dağılımına göre okunur.
Bunu gerçek veriler üzerinde gösterelim. Hiçbir şeye bakmadan önce tek bir soru belirledim: kütüphanemizdeki yayındaki 109 şablonda, bir şablondaki soru sayısı, bu soruların açık uçlu olanlarının payıyla ilişkili mi? Ardından testi bir kez çalıştırdım.
-
r'yi bulun
n = 109 şablon üzerinden r = -0,3701. Raporlama için yuvarlandığında r = -0,37.
-
Serbestlik derecesini bulun
n - 2 = 107. Dolayısıyla sqrt(107) = 10,3441.
-
Paydayı bulun
r'nin karesi 0,1369'dur; dolayısıyla 1 - r^2 = 0,8631 ve sqrt(0,8631) = 0,9290.
-
Bölün
t = -0,37 x 10,3441 / 0,9290 = -4,1197; 107 serbestlik derecesinde.
-
Kuyruğu okuyun
107 serbestlik derecesinde 4,12'lik bir t değeri, iki kuyruklu dağılımın 0,000075'lik kısmını kendi ötesine bırakır. Bu p = 7,5 x 10^-5, yani yaklaşık 13.000 örneklemde birdir.
Aralığı da birlikte raporlayın. Fisher dönüşümüyle r için yüzde 95 güven aralığı -0,52 ile -0,20 arasındadır. Dürüst özet budur: zayıf ile orta arasında bir yerde duran negatif bir ilişki; veriler bunu bundan daha dar bir aralığa sabitleyemez. Böyle bir katsayının neyi destekleyip neyi destekleyemeyeceği ve bir çalışmanın onun etrafında nasıl tasarlanacağı, bir anket korelasyonunu yorumladığımız yazıda ayrıntılı olarak ele alınır.
Sonuç değişkenini açık uçlu soruların payından sayısına çevirin; yanıt tersine döner. r = 0,07, 107 serbestlik derecesinde t = 0,77, p = 0,44. Hiçbir anlamlılık yok.
İki sonuç da doğrudur. 4 ile 9 soru arasındaki şablonlar ortalama 2,1 açık uçlu madde, 16 ile 36 soru arasındaki şablonlar ise ortalama 2,3 açık uçlu madde içerir; yani sayı neredeyse hiç değişmezken pay, payda büyüdükçe mekanik olarak düşer. Testi çalıştırmadan önce değişkeni yazıya geçirmenizin nedeni budur. İkisini de deneyip heyecan verici olanı raporlasaydım, bir tanımdan bir bulgu üretmiş olurdum.
Pay sonucu, tek bir şablonun sonucu tek başına sürükleyip sürüklemediğine dair bir kontrolden de geçer: değerler yerine sıralar üzerinden Spearman'ın rho'su p = 1,6 x 10^-6 ile -0,44'tür, sayı sonucu ise rho = -0,03 ile düz kalır. Pearson r'si doğrusal bir ilişki, bağımsız çiftler ve doğruyu tek başına bükecek kadar uzakta tek bir nokta olmamasını gerektirir. Katsayıya güvenmeden önce saçılım grafiğini kontrol edin. Evet ya da hayır yerine etkinin büyüklüğünü istiyorsanız bir eğim uydurun ve ilişkiyi gerçek birimlerle tahmin edin: yalın bir r yerine, her ek soru başına şu kadar daha az açık uçlu soru.
Anlamlı fark ve anlamlı ilişki
Bunlar neredeyse her anket sorusunun aldığı iki biçimdir ve farklı test edilirler. Bir fark, grupları tek bir sonuç üzerinde karşılaştırır. Bir ilişki, iki ölçümün birlikte değişip değişmediğini sorar.
| Anlamlı fark | Anlamlı ilişki | |
|---|---|---|
| Soru | Bu gruplar bu sonuç bakımından farklı mı? | Bu iki ölçüm birlikte değişiyor mu? |
| Verileriniz | Bir gruplama değişkeni, bir sonuç | Aynı kişiler üzerinde iki ölçüm |
| Test edilen sıkıcı iddia | Evrende grup ortalamaları ya da payları eşittir | Evrendeki korelasyon sıfırdır |
| p neyin olasılığıdır | Gruplar gerçekten eşitse, en az bu büyüklükte bir fark | Korelasyon gerçekten sıfırsa, sıfırdan en az bu kadar uzak bir korelasyon |
| Olağan test | İki oran z testi, t testi, ANOVA, ki-kare | Pearson r, Spearman rho, bir regresyon eğimi |
| Yayımlanacak etki büyüklüğü | Puan cinsinden fark ve güven aralığı | r ve güven aralığı |
| Anket örneği | E-posta davetleri %52,0 en üst seçenek oranı aldı, uygulama içi davetler %45,0 | Şablon uzunluğu açık uçlu soru payıyla r = -0,37 düzeyinde ilişkili |
İkisi de hipotez testidir ve ikisi de bir p değeri üretir; dolayısıyla ikisi de aynı şekilde okunur. Birbirinin yerine kullanılamazlar: gruplar arasındaki bir fark bir korelasyon değildir ve birini diğeri gibi raporlamak bir bulguyu abartmanın yaygın bir yoludur. Her ikisi de nicel anket verileri üzerinde uygulanabilir.
İki grup arasındaki fark anlamlı mı?
Bir destek ekibinin her talepten sonra, iki tür davetle aynı tek soruluk anketi gönderdiğini düşünün. E-posta davetinden sonra yanıt veren 400 kişiden 208'i en üst seçeneği işaretledi. Uygulama içi bildirimden sonra yanıt veren 420 kişiden 189'u işaretledi. Bu, yüzde 52,0'a karşı yüzde 45,0, yani 7,0 puanlık bir farktır. Bu, bu büyüklüklerde yalnızca örnekleme değişkenliğinin üreteceğinden daha fazlası mı?
Sonuç bir ortalama değil bir pay olduğu için test, iki oran z testidir. Davet türü hiçbir fark yaratmasaydı bekleyeceğiniz oranı tahmin etmek için iki grubu birleştirin, bu tür bir farkın bu örneklem büyüklüklerinde ne kadar dalgalandığını hesaplayın ve bölün.
-
İki grubu birleştirin
(208 + 189) / (400 + 420) = 397 / 820 = 0.4841.
-
Standart hatayı oluşturun
0,4841 x 0,5159 = 0,2497. 1/400 + 1/420 = 0,004881. Çarpın: 0,00121901. Karekök: 0,03491.
-
Farkı buna bölün
z = 0,07 / 0,03491 = 2,0049. Ondalıkları koruyun. Bunun yerine 0,0349'luk yuvarlanmış standart hataya bölerseniz z 2,0057 çıkar; bu 2,01 olarak yazılır ve 0,0444'lük bir kuyruk taşır. Bu sayfanın yıllarca yayımladığı 0,044 budur ve bir ondalık basamak kadar değil, bir yuvarlama adımı kadar yanlıştır.
-
Kuyruğu okuyun
Standart normal dağılım, iki kuyruğun toplamında kütlesinin 0,04497'lik kısmını 2,0049'un ötesine bırakır. Dolayısıyla p = 0,045. 0,05'in altında; yani fark yüzde 5 anlamlılık düzeyinde anlamlıdır, ama kıl payı.
z testi bir sayımı yaklaşık olarak hesaplamak için normal eğriyi kullanır ve bu yaklaşım tablonun her hücresinde yeterli kişi olmasını gerektirir. Her grup büyüklüğünü birleştirilmiş oranla ve bir eksi birleştirilmiş oranla çarpın: 193,7, 206,3, 203,3 ve 216,7. Dördünün de en az 5 olması gerekir. Burada en küçüğü 193,7'dir, dolayısıyla yaklaşım güvenlidir. 5'in altında bunun yerine kesin bir test kullanın, çünkü p değeri söylediği şeyi ifade etmez hâle gelir.
Aynı sayıları dört gözlü tablo üzerinde bir ki-kare bağımsızlık testi olarak çalıştırırsanız aynı yanıtı alırsınız: ki-kare, z'nin karesidir; bir serbestlik derecesinde 4,0197, p = 0,04497. Bunlar iki farklı biçimde yazılmış aynı testtir; dolayısıyla dört gözlü tablodaki anlamlı bir ki-kare ile anlamlı bir z testi asla çelişmez.
Örneklem büyüklüğünü değiştirdiğimizde fark değişmedi. Hüküm değişti. Gönderimlerin dörtte birinde, aynı 7,0 puan için 100'de 52'ye karşı 100'de 45 ile, z 0,9904'e düşer ve p 0,32'ye yükselir. Davetlerle ilgili hiçbir şey değişmedi. Yalnızca kanıt değişti; bu yüzden gönderim sayısını sahaya çıkmadan önce planlarsınız, sonra değil.
Aynı yedi puanlık fark, dört örneklem büyüklüğünde test edildi
İki kuyruklu p değeri. 0,05'in altındaki her değer yüzde 5 düzeyinde anlamlı kabul edilir.
Karşılaştırma hâlâ önünüzdeyse, sonucu belirleyen an budur. Grupları karşılaştırmak için bir anket oluşturun ve her grubun büyüklüğünü saptamanız gereken en küçük farka göre belirleyin. Yürütüldüğünde fazla küçük olan bir karşılaştırma fazla küçük kalır; daha büyük bir takip çalışması, bu çalışmanın onarılması değil, kendi p değeri olan yeni bir çalışmadır.
İki oran anlamlılık hesaplama aracı
Kendi sayılarınız, aynı hesaplama. Her grupta kaç kişinin yanıt verdiğini ve kaçının izlediğiniz yanıtı seçtiğini girin. Siz yazdıkça güncellenir.
İki yüzdeyi karşılaştırın
Çıktıda ikisinin de adı verilen iki yöntem: hüküm için birleştirilmiş standart hataya dayalı iki oran z testi, büyüklük için birleştirilmemiş standart hataya dayalı Wald aralığı. Bu standart eşleştirmedir ve iki hata farklı olduğu için eşiğe yakın yerlerde birbirinden ayrılabilirler; hesaplama aracı bu her olduğunda bunu belirtir. Aralık düzeyi seçtiğiniz anlamlılık düzeyini izler; yani alfa = 0,05 yüzde 95'lik bir aralık verir ve etiket her seferinde düzeyi belirtir.
Normal yaklaşımın ne zaman güvenli olmaktan çıktığını görebilmeniz için en küçük beklenen sayıyı raporlar. Gözlenen gücü raporlamaz: post hoc güç p değerinin sabit bir fonksiyonudur, dolayısıyla zaten görebildiğiniz şeye hiçbir şey eklemez.
İki grup arasındaki fark için güven aralığı
p değeri kimsenin aslında sormadığı evet-hayır sorusunu yanıtlar. Aralık ise sordukları soruyu yanıtlar: ne kadar büyük?
Güven aralığı, tüm işlemi birçok kez tekrarlasaydınız bu şekilde oluşturduğunuz aralıkların yüzde 95'inin gerçek değeri içereceği biçimde oluşturulmuş bir aralıktır. Bu, önünüzdeki tek aralığa bağlı bir olasılık değil, yöntemin bir özelliğidir. "Gerçeğin burada olma olasılığı yüzde 95" türünden gevşek ifadeler, p değerlerini yanlış anlamaya yol açan tersine çevirmenin aynısıdır.
İki oran arasındaki bir fark için standart hata, birleştirilmek yerine her gruptan ayrı ayrı oluşturulur, çünkü artık farkın sıfır olup olmadığını test etmiyor, farkı tahmin ediyorsunuz:
-
Farkın standart hatası
0,52 x 0,48 / 400 = 0,00062400. 0,45 x 0,55 / 420 = 0,00058929. Bunları toplayın ve karekökünü alın: 0,03483, yani 3,483 yüzde puan.
-
Kritik değerle çarpın
Yüzde 95 için bu değer 2 değil 1,9600'dür. Bunu 2'ye yuvarlamak alt sınırı 0,2'den 0,0'a çeker; bu da sıfırın üzerinde kalan bir aralık ile sıfıra değiyor görünen bir aralık arasındaki farktır. 1,9600 x 3,483 = 6,827 puan.
-
Bunu tahminin iki yanına yerleştirin
7,0 artı eksi 6,827, 0,2 ile 13,8 yüzde puan arasını verir.
Şimdi bunun aslında ne söylediğini okuyun. E-posta daveti öndedir ve veriler, puanın beşte birinden neredeyse on dört puana kadar herhangi bir farkla uyumludur. "0,05 düzeyinde anlamlı" bulgusu bunların hepsini gizledi. İki puanlık bir fark ekibin yaptığı şeyi değiştirecekse, bu çalışma soruyu yanıtlamamıştır ve p değeri buna dair hiçbir ipucu vermemiştir.
İki okuma genellikle uyuşur ve neden uyuşmak zorunda olmadıklarını kesin olarak bilmekte yarar vardır. Yukarıdaki z testi birleştirilmiş standart hataya, 0,03491'e bölündü, çünkü iki grubun tek bir oranı paylaştığı hipotezi altında hesaplandı. Bu aralık ise birleştirilmemiş standart hatayı, 0,03483'ü kullandı, çünkü farkı bu varsayım olmadan tahmin eder. Bir test ve bir aralık yalnızca aynı yapıdan oluşturulduklarında tam olarak uyuşur: birleştirilmiş testin tersine çevrilmesiyle elde edilen bir aralık ya da birleştirilmemiş hata üzerinde yürütülen bir test. Bu standart eşleştirme buna yönelik iki yaklaşımdır ve eşiğe yakın yerlerde birbirinden ayrılabilirler.
20'de 5'e karşı 20'de 11'i ele alın: birleştirilmiş test z = -1,9365 ve p = 0,0528 verir, yani 0,05 düzeyinde anlamlı değildir; birleştirilmemiş yüzde 95 aralığı ise -58,9 ile -1,1 puan arasındadır ve sıfırı dışarıda bırakır. İkisi de kendi yöntemine göre doğrudur; sonuç sınırdadır ve iki sayıyla birlikte raporlanmalıdır. Aralık yine de yayımlanması daha iyi olan şeydir, çünkü hükmün yanında büyüklüğü de taşır; hüküm tek başına ise ikisini de taşımaz.
Tahmin hiç değişmez. Etrafındaki aralık değişir
Yüzde puan. Farkın birleştirilmemiş standart hatasından elde edilen aralık.
p değeri sıfır hipotezi hakkında ne söyler
Sıkıcı iddianın bir adı vardır: sıfır hipotezi, H0. p değeri, H0 doğruyken en az sizinki kadar uç bir test istatistiği elde etme olasılığıdır. İnsanların onun hakkında söylediği diğer her şey ya bir kısaltmadır ya da bir hatadır.
Hata her zaman aynıdır ve tam olarak adını koymaya değer. P, hipotez verildiğinde verilerin olasılığıdır. İnsanların ondan okuduğu ise veriler verildiğinde hipotezin olasılığıdır. Bunlar farklı niceliklerdir ve ikincisi bir p değerinden hiç hesaplanamaz: herhangi bir şey toplamadan önce hipotezin ne kadar makul olduğunu bilmeyi gerektirir. American Statistical Association bunu 2016'da altı ilkesinin ikincisi yaptı: p değeri ne incelenen hipotezin doğru olma olasılığını ne de verilerin yalnızca şans eseri üretilmiş olma olasılığını ölçer. 4
Dolayısıyla davet örneğindeki p = 0,045, davetlerin eşdeğer olma olasılığının yüzde 4,5 olduğu anlamına gelmez ve sonucun tekrarlanma olasılığının yüzde 95,5 olduğu anlamına da gelmez. Tekrarlanma, gerçek etkiye ve bir sonraki çalışmanın büyüklüğüne bağlıdır; bunların hiçbiri bu sayının içinde değildir.5
Alfa ve anlamlılık düzeyi
Alfa, veriler gelmeden önce bağlı kaldığınız eşiktir. Alfa = 0,05 olarak belirlediğinizde şunu söylemiş olursunuz: sıfır hipotezi doğruysa, bir sonuca yine de anlamlı deme konusunda yüzde 5'lik bir olasılığı kabul ediyorum. Saf gürültü üzerinde bu türden yirmi test çalıştırın; yaklaşık biri, tesadüfen değil yapısı gereği anlamlı çıkar.
Hiçbir şey 0,05'i doğru kılmaz. Fisher'ın onu kaba bir kılavuz olarak kullanmasından sonra yerleşen bir gelenektir ve ödünleşim açıktır: daha düşük bir alfa daha az yanlış alarm sağlar, karşılığında artık kaçıracağınız gerçek etkilere mal olur. Onu her iki yönde yanılmanın maliyetine göre seçin, önce yazıya geçirin ve p değerini gördükten sonra değiştirmeyin.
Tek kuyruklu ve çift kuyruklu testler
Çift kuyruklu bir test, uç sonuçları her iki tarafta da sayarak grupların herhangi bir şekilde farklı olup olmadığını sorar. Tek kuyruklu bir test, belirli bir grubun daha yüksek olup olmadığını sorar ve yalnızca o tarafı sayar.
Olağan iddia, tek kuyruklu p değerinin çift kuyruklu olanın yarısı olduğudur. Bu ancak etki gerçekten öngördüğünüz yönde olduğunda geçerlidir. Örneğimizde çift kuyruklu p 0,04497 idi. E-postanın uygulama içi davetten daha iyi sonuç vereceğini, yani sonucun gittiği yönü önceden öngörmüş olsaydınız, tek kuyruklu p 0,02249 olurdu. Uygulama içi davetin kazanacağını öngörmüş olsaydınız, tek kuyruklu p 0,02249 değil, 1 eksi bu değer, yani 0,9775 olurdu, çünkü dağılımın neredeyse tamamı iddia ettiğiniz tarafta yer alır. Yarıya bölmek bir kural değil, özel bir durumdur.
Tek kuyruklu testi yalnızca diğer yöndeki bir fark kararınızı gerçekten değiştirmeyecekse ve yalnızca verilere bakmadan önce seçin. 0,08'lik çift kuyruklu bir p gördükten sonra tek kuyruklu teste geçmek bilinen en eski hiledir ve tesadüfen hoşunuza giden yöndeki yanlış pozitif oranınızı iki katına çıkarır.
İki grup için hangi istatistiksel testi kullanmalıyım?
Sonucun biçimine göre seçin, ardından p değerine inanmadan önce koşulları kontrol edin. Koşullar bir formalite değildir: her biri hesaplamanın sessizce yaptığı bir varsayımdır.
| Sonucunuz | Karşılaştırma | Test | Koşullar |
|---|---|---|---|
| En üst seçenek yüzdesi gibi bir pay | İki grup | İki oran z testi | Bağımsız gönderimler. Her iki grupta da her beklenen sayı en az 5 olmalı: n x birleştirilmiş p ve n x (1 - birleştirilmiş p) |
| Bir pay | İki grup, küçük sayılar | Fisher kesin testi | Bağımsız gönderimler. z testinin beklenen sayıları 5'in altına düştüğünde her zaman bunu kullanın |
| Bir ortalama | İki grup | İki örneklem t testi, Welch versiyonu | Bağımsız gönderimler, aşırı çarpıklık yok, grup başına yaklaşık 30 ya da daha fazla. Welch eşit varyans varsaymaz, bu yüzden onu tercih edin |
| Bir ortalama | Aynı kişiler iki kez | Eşleştirilmiş t testi | Çiftler birbirinden bağımsız, farklar kabaca simetrik. Eşleştirme işin özüdür: eşleştirilmemiş testi çalıştırmayın |
| Bir ortalama | Üç ya da daha fazla grup | ANOVA, ardından düzeltilmiş post hoc karşılaştırmalar | Bağımsız gönderimler, gruplar arasında benzer varyans, aşırı çarpıklık yok. Post hoc karşılaştırmaları düzeltin |
| İki kategorik yanıt | Bağlantı | Ki-kare bağımsızlık testi | Bağımsız gönderimler. Hücrelerin çoğunda beklenen sayı en az 5 ve hiçbir hücrede beklenen sayı birin altında değil6 |
| İki ölçüm | İlişki | t testiyle Pearson r | Bağımsız çiftler, doğrusal bir ilişki, doğruyu büken tek bir nokta yok |
| Sıralı ya da çarpık iki ölçüm | İlişki | Spearman rho | Bağımsız çiftler. Önce değerleri sıralar, dolayısıyla yalnızca tutarlı bir yön gerektirir |
Bunların hepsinin üstünde duran ve hiçbir testin kontrol etmediği bir koşul vardır: gönderimlerin sormak istediğiniz kişilerden gelmesi gerekir. Çarpık bir örneklemdeki çok küçük bir p değeri, yanlış soruya verilmiş kesin bir yanıttır; bu da yanıt yanlılığının pratikteki bedelidir.
İstatistiksel anlamlılık pratik önem anlamına gelmez
Anlamlılık size bir etkinin sizin örneklem büyüklüğünüzde saptanabilir olduğunu söyler. Etkinin harekete geçmeye değip değmediği hakkında hiçbir şey söylemez ve yeterince gönderimle ikisi tamamen birbirinden ayrılır.
Bir puanlık bir değişimi ele alın: en üst seçenek oranı iki dalga arasında yüzde 51,0'dan yüzde 52,0'a çıkıyor. Dalga başına 400 gönderimde p = 0,777 olur ve kimse buna bir ad vermez. Değişim, her dalga yaklaşık 19.191 gönderim taşıdığında 0,05 düzeyinde anlamlı hâle gelir: tam bu büyüklükte p = 0,0500. Puan daha önemli hâle gelmedi. Yalnızca onu görecek kadar kesinlik satın aldınız.
Bu yüzden büyüklüğü hükümle birlikte yayımlayın. Davet karşılaştırması için bu 7,0 yüzde puan, aralık 0,2 ile 13,8'dir. Standartlaştırılmış bir rakam istiyorsanız, yüzde 52,0'a karşı yüzde 45,0 için Cohen'in h değeri 0,14'tür; bu, Cohen'in küçük dediği 0,2'nin altındadır.7 Saptanabilir ve küçük bir fark.
Sahaya çıkmadan önce, yaptığınız şeyi değiştirecek en küçük farkı yazın. Üç puan mı? Beş mi? Böylece analizin yanıtlayacağı bir şey olur. Bu olmadan her anlamlı sonuç harekete geçmek için bir neden, her anlamlı olmayan sonuç da beklemek için bir neden gibi görünür; bu da bir karar süreci değildir.
Altı ay arayla yapılan iki anket farklı sonuçlar verdi
Soru bir anket ekibine en sık bu şekilde ulaşır ve önce bir anlamlılık testine başvurmak yanlış harekettir. Bir test, iki örneklemin yalnızca şans eseri farklı olduğunu varsayar. İki dalga arasında ise genellikle bundan çok daha fazlası nedeniyle farklılaşırlar.
Herhangi bir şey hesaplamadan önce bunları kontrol edin. Soru, aynı ölçek etiketleri aynı sırada olacak şekilde birebir aynı ifadeyle mi soruldu? İki dalga da aynı süre boyunca, aynı günlerde mi yürütüldü? Aynı türden kişiler mi yanıt verdi, yoksa dalgalardan biri farklı bir kitleye ulaşan bir kanaldan mı gönderildi? Dalgalardan biri işletmenin kendisinin olağan düzeni bozduğu bir döneme mi denk geldi? Bunlardan herhangi biri, hiçbir testin şans olarak işaretlemeyeceği ve ölçtüğünüz şeyle hiçbir ilgisi olmayan bir fark üretir.
Karşılaştırma gerçekten denk koşullarda yapıldığında, test neyi karşılaştırdığınıza göre belirlenir ve anket çalışmalarında bu genellikle bir paydır. Şablon kütüphanemizdeki 1.422 sorunun yüzde 45,3'ü derecelendirme maddesidir ve bunların yüzde 98,9'u beş puanlıktır. Beş puanlık bir maddenin doğal özeti en üst seçeneği ya da en üst iki seçeneği işaretleyenlerin payıdır; dolayısıyla asıl iş gören test t testi değil, yukarıdaki iki oran z testidir. Beş puanlık bir ölçeğin ortalamasını almak, 4'ten 5'e geçişi 1'den 2'ye geçişle eşit sayar; bunu kimse kanıtlamamıştır.
Kaynak: SuperSurvey Soru Derlemi, yayındaki 109 şablon ve 1.422 soru, 11 Eylül 2026'da okundu.
Sürdürmeye değer iki alışkanlık daha. Hangi karşılaştırmaları yapacağınıza veriler gelmeden önce karar verin, çünkü yanlış pozitif oranı raporladığınız test sayısıyla değil, yaptığınız test sayısıyla artar. Ve örneklemi ciddiye alın: kaç kişinin değil, kimin yanıt verdiğinin daha önemli olduğunu gözetmek örnekleme yöntemlerinin işidir. Kılavuzlar ve Yardım bölümünün geri kalanı bu kararın öncesindeki ve sonrasındaki kararları ele alır.
Sıkça sorulan sorular
Anlamlı bir ki-kare değeri, farkın muhtemelen şanstan kaynaklanmadığı anlamına gelir. Doğru mu, yanlış mı?
Yazıldığı hâliyle yanlış, ancak çoğu ders bunu doğru kabul eder. Ki-kare istatistiği, gördüğünüz sayıların bağımsızlık varsayımı altında bekleyeceğiniz sayılardan ne kadar uzak olduğunu ölçer ve p değeri, değişkenler bağımsızken bu büyüklükte bir farkın ne sıklıkla ortaya çıktığıdır. "Muhtemelen şanstan kaynaklanmıyor" ifadesi olasılığı veriye değil açıklamaya bağlar; testin yapamayacağı tek hamle de budur. Puanlama anahtarı doğru yanıtını istiyorsa, cümleyi doğru versiyonun gevşek bir kısaltması olarak ele alıyordur.
Şans eseri olma olasılığı yüzde 5'in altındaysa bir sonuç anlamlı mıdır?
p 0,06 ise anlamlılığa doğru bir eğilim var mıdır?
Hayır. Ne bir eğilim vardır ne de kısmi puan. Önceden belirlediğiniz bir eşik karşılanmamıştır ve 0,06, 0,04'ün bir kanıt olmasından daha fazla bir eğilim değildir. Dürüstçe söyleyebileceğiniz şey aralığın hâlâ sıfırı içerdiğidir; ardından okurun her iki yanda ne kadar boşluk kaldığını görebilmesi için aralığı verin.
Alfa 0,05 beni kaç karşılaştırmadan sonra korumayı bırakır?
İnsanların beklediğinden daha çabuk. İçinde hiçbir şey olmayan veriler üzerinde yapılan on iki bağımsız test, en az bir isabet için yüzde 46 olasılık verir; bu, 1 eksi 0,95'in on ikinci kuvvetidir. Yirmi testte yüzde 64'tür. Tek bir sonucu altı kesime göre çapraz tablolamak zaten on beş ikili karşılaştırma demektir. Planladığınız birkaç karşılaştırmayı adlandırın ve geri kalan her şeyi hayatta kalanları sessizce raporlamak yerine keşif amaçlı olarak işaretleyin.
Beş puanlık bir derecelendirme sorusunda anlamlılık testi yapabilir miyim?
Evet, ölçeğin destekleyebileceği bir özet seçerseniz. En üst bir ya da iki seçeneği işaretleyenlerin payını karşılaştırmak yalnızca seçeneklerin sırasını kullanır ve doğrudan bir iki oran testine girer. Ortalama puanları karşılaştırmak, noktalar arasındaki aralıkların eşit olduğunu varsayar; bu da çoğu ekibin fark etmeden yaptığı ek bir varsayımdır. En üst seçenek kesiti yerine dağılımın tamamını istiyorsanız, sıralar üzerinde bir Mann-Whitney testi bu varsayımdan tamamen kaçınır.
Daha büyük bir örneklem sonucumun doğru olma olasılığını artırır mı?
Daha kesin yapar, daha doğru değil. Ek gönderimler rastgele hatayı küçültür; dolayısıyla aralık, örnekleminiz ne ölçüyorsa onun etrafında daralır. O örneklem belirli bir yöne eğilimliyse, daha fazlası yalnızca tahmini yanlış sayının etrafında daraltır ve bu sırada p değeri de küçülür. Hacim rastgele hatayı küçültür. Kimin yanıt vermeyi seçtiği konusunda ise hiçbir şey yapmaz.
Bir rapor df = 20 ile t = 2,000 ve 0,05'ten büyük bir p veriyor. Sıfır hipotezi reddedilmeli mi?
Geleneksel ölçüte göre hayır. 20 serbestlik derecesinde t = 2,000 için kesin çift kuyruklu değer 0,0593'tür, yani eşiğin hemen üzerindedir ve ihtiyaç duyacağınız değer 2,086 olurdu. Serbestlik derecesi çalışmayı okuyan herkes için önemlidir, çünkü bu çıtayı belirler: aynı 2,000'lik t, 10 serbestlik derecesinde p = 0,0734, 100 serbestlik derecesinde p = 0,0482 verir. Bunlardan yalnızca sonuncusu 0,05'i geçer ve istatistik hiç değişmemiştir.
Yöntem ve sınırlılıklar
Bu sayfadaki her rakam, elle yazılmamış, sayfayı oluşturan dosyada hesaplanmıştır ve herhangi biri değişirse oluşturma işlemi çalışmayı reddeder. Kuyruk olasılıkları çift duyarlıkta eksik gama ve eksik beta fonksiyonlarından elde edilir ve kapalı biçimi olan yerlerde bu biçimlerle karşılaştırılarak kontrol edilir: bir serbestlik derecesindeki t dağılımı için Cauchy biçimi, iki ve dört serbestlik derecesindeki cebirsel biçimler ve iki serbestlik derecesindeki ki-kare için exp(-x/2). Hiçbir şey bir tablodan okunmaz.
Korelasyon, 10 Eylül 2026'da şablon şablon ayrıştırılan, yayındaki SuperSurvey şablon kütüphanesini kullanır: yayındaki 109 şablon ve 1.422 soru. Her şablondaki soru sayısı ve bunlardan kaçının serbest metin yanıtı aldığı sayıldı. Taslaklar ve yönlendirmeler hariç tutuldu. Sonucun her iki versiyonu da test çalıştırılmadan önce belirlendi ve ikisi de yukarıda raporlanmıştır.
İki sınırlılık önemlidir. Bu bizim kendi yayımlanmış kütüphanemizdir; dolayısıyla dünyadaki anketlerin ne yaptığını değil, bir anket sağlayıcısının neyi iyi uygulama saydığını gösterir ve buradaki hiçbir sonuç genel olarak anketlere dair bir olgu olarak okunmamalıdır. Ayrıca pay sonucu kısmen yapısaldır: şablon uzunluğu sonucun paydasındadır, dolayısıyla negatif korelasyonun bir kısmı editoryal yargı değil, aritmetiktir. Sayı versiyonunun yanına yazılmasının nedeni tam olarak budur.
Davet karşılaştırması, örneklem büyüklüğü basamakları ve bir puanlık değişim, ölçüm değil, girdileri belirtilmiş çözümlü örneklerdir. Hesaplama gerçektir ve gösterilen sayılardan yeniden üretilebilir; senaryolar örnekleme amaçlıdır.
Kaynaklar
- Centers for Disease Control and Prevention, National Center for Health Statistics. Statistical significance. Health, United States: Sources and Definitions içinde. cdc.gov
- National Institutes of Health, National Center for Advancing Translational Sciences. Statistical significance. NCATS Toolkit sözlüğü. toolkit.ncats.nih.gov
- US Department of Education, National Center for Education Statistics. Statistical significance and sample size. National Assessment of Educational Progress. nces.ed.gov
- Wasserstein, R. L. ve Lazar, N. A. (2016). The ASA statement on p-values: context, process, and purpose. The American Statistician, 70(2), 129-133. doi.org/10.1080/00031305.2016.1154108
- Greenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N. ve Altman, D. G. (2016). Statistical tests, P values, confidence intervals, and power: a guide to misinterpretations. European Journal of Epidemiology, 31(4), 337-350. doi.org/10.1007/s10654-016-0149-3
- Cochran, W. G. (1954). Some methods for strengthening the common chi-square tests. Biometrics, 10(4), 417. doi.org/10.2307/3001616
- Cohen, J. (1992). A power primer. Psychological Bulletin, 112(1), 155-159. doi.org/10.1037/0033-2909.112.1.155
- Hoenig, J. M. ve Heisey, D. M. (2001). The abuse of power: the pervasive fallacy of power calculations for data analysis. The American Statistician, 55(1), 19-24. doi.org/10.1198/000313001300339897
- Cox, D. R. (2020). Statistical significance. Annual Review of Statistics and Its Application, 7, 1-10. doi.org/10.1146/annurev-statistics-031219-041051
- SuperSurvey Soru Derlemi, yayındaki 109 şablon ve 1.422 soru, 11 Eylül 2026'da okundu.
Michael Hodge: SuperSurvey'de anket metodoloğu ve editör. University of Wollongong, Psikoloji lisans derecesi (Bachelor of Science), psikometri ve araştırma yöntemleri dersleriyle. 2003'ten beri anket tasarlıyor. Yazar ve bu kılavuzların nasıl incelendiği hakkında
Sırada ne okumalı
Karşılaştırılabilir iki grup, aynı soru, onları birbirinden ayırt edecek kadar gönderim. Bu, bu öğleden sonra yürütebileceğiniz bir ankettir.
Bir anket şablonundan başlayınGöndermek ücretsiz, kart gerekmez. İfadeleri değiştirin, soruyu iki grup için de aynı tutun.