ความสัมพันธ์ที่มีนัยสำคัญในงานวิจัย: ความหมายและวิธีทดสอบ

ความสัมพันธ์ที่มีนัยสำคัญในงานวิจัยหมายถึงอะไร

ทิศทางของเงื่อนไขคือหัวใจทั้งหมด และเป็นส่วนที่รายงานส่วนใหญ่เขียนกลับด้าน

เริ่มจากข้อกล่าวอ้างที่คุณกำลังโต้แย้ง ซึ่งเป็นข้อที่น่าเบื่อเสมอ: ในประชากร ตัวแปรทั้งสองไม่เกี่ยวข้องกันเลย จากนั้นวัดความสัมพันธ์ในกลุ่มตัวอย่าง แล้วถามคำถามเดียว หากข้อกล่าวอ้างที่น่าเบื่อนั้นเป็นจริง กลุ่มตัวอย่างขนาดนี้จะให้ความสัมพันธ์ที่แรงอย่างน้อยเท่านี้จากความบังเอิญล้วน ๆ บ่อยเพียงใด? ตัวเลขนั้นคือค่า p ค่าที่เล็กหมายความว่าความบังเอิญอธิบายได้ไม่ดี

สิ่งที่คุณต้องไม่ทำคือกลับประโยค การทดสอบไม่เคยบอกความน่าจะเป็นที่ตัวแปรทั้งสองสัมพันธ์กัน เพราะคำนวณทุกอย่างภายใต้ข้อสมมติว่าไม่สัมพันธ์กัน หน้านี้ฉบับที่เผยแพร่ก่อนหน้าเคยเขียนว่าความสัมพันธ์ที่มีนัยสำคัญหมายถึงสหสัมพันธ์ “ไม่น่าจะเป็นศูนย์ในประชากร” ฟังดูดีแต่ผิด สหสัมพันธ์ที่คุณสังเกตได้ไม่น่าจะเกิดขึ้นหากสหสัมพันธ์ในประชากรเป็นศูนย์ คำเดียวกัน ทิศทางตรงข้าม และมีเพียงแบบเดียวที่ข้อมูลของคุณรองรับได้

สามสิ่งที่วลีนี้ไม่ได้หมายถึง ไม่ว่าจะถูกอ่านแบบนั้นบ่อยเพียงใด:

• ไม่ใช่ความแรง นัยสำคัญตอบว่าความสัมพันธ์แยกออกจากการไม่มีอะไรเลยได้หรือไม่ ส่วนขนาดของความสัมพันธ์มาจากค่า r เอง หรือจากความชัน เมื่อมีการตอบกลับมากพอ r เท่ากับ 0.05 ก็มีนัยสำคัญได้ แต่แทบไม่มีคุณค่าอะไร
• ไม่ใช่สาเหตุ ตัวแปรสองตัวที่เปลี่ยนไปด้วยกันไม่ได้บอกว่าตัวไหนทำให้อีกตัวเปลี่ยน หรือมีตัวที่สามที่ทำให้ทั้งคู่เปลี่ยน นั่นเป็นคำถามด้านการออกแบบ ซึ่งตัดสินจากวิธีสร้างการศึกษา และไม่มีสถิติทดสอบใดตอบได้ภายหลัง
• ไม่ใช่ความจริง ค่า p คำนวณภายในแบบจำลองที่สันนิษฐานว่ากลุ่มตัวอย่างของคุณเป็นอย่างที่อ้าง หากคนผิดกลุ่มเป็นผู้ตอบ การคำนวณยังสมบูรณ์แบบ แต่ข้อสรุปก็ยังผิด

การทดสอบสหสัมพันธ์ที่มีนัยสำคัญระหว่างตัวแปรสองตัว

ค่า r ของ Pearson มีค่าตั้งแต่ -1 ถึง +1 และวัดว่าตัวแปรสองตัวเกาะแนวเส้นตรงใกล้เพียงใด หากต้องการถามว่า r ที่ได้มากกว่าความบังเอิญหรือไม่ ให้แปลงเป็นค่าสถิติ t:

t = r x sqrt(n - 2) / sqrt(1 - r^2) อ่านเทียบกับการแจกแจง t ที่องศาอิสระ n - 2

นี่คือการคำนวณกับข้อมูลจริง ก่อนดูข้อมูลใด ๆ ผู้เขียนกำหนดคำถามไว้หนึ่งข้อ: จากเทมเพลตที่เผยแพร่อยู่ 109 ชุดในคลังของเรา จำนวนคำถามในเทมเพลตสัมพันธ์กับสัดส่วนคำถามปลายเปิดหรือไม่? แล้วทดสอบเพียงครั้งเดียว

1. หาค่า r

   r = -0.3701 จากเทมเพลต n = 109 ชุด ปัดเศษเพื่อรายงานได้ r = -0.37

2. หาองศาอิสระ

   n - 2 = 107 ดังนั้น sqrt(107) = 10.3441

3. หาตัวหาร

   r ยกกำลังสองเท่ากับ 0.1369 ดังนั้น 1 - r^2 = 0.8631 และ sqrt(0.8631) = 0.9290

4. หาร

   t = -0.37 x 10.3441 / 0.9290 = -4.1197 ที่องศาอิสระ 107

5. อ่านค่าที่หาง

   ค่า t เท่ากับ 4.12 ที่องศาอิสระ 107 มีพื้นที่ 0.000075 ของการแจกแจงแบบสองหางอยู่เลยค่านี้ไป นั่นคือ p = 7.5 x 10^-5 หรือราวหนึ่งกลุ่มตัวอย่างใน 13,000

รายงานช่วงความเชื่อมั่นไปด้วย เมื่อใช้การแปลงของ Fisher ช่วงความเชื่อมั่นร้อยละ 95 ของ r อยู่ระหว่าง -0.52 ถึง -0.20 นั่นคือสรุปที่ตรงไปตรงมา: ความสัมพันธ์เชิงลบ อยู่ระหว่างอ่อนถึงปานกลาง และข้อมูลระบุให้แคบกว่านี้ไม่ได้ สัมประสิทธิ์แบบนี้รองรับอะไรได้และไม่ได้ และวิธีออกแบบการศึกษาโดยใช้สัมประสิทธิ์นี้ อธิบายไว้ครบถ้วนในส่วนที่เราตีความสหสัมพันธ์ในแบบสำรวจ

ผลด้านสัดส่วนผ่านการตรวจว่ามีเทมเพลตใดฉุดผลไปหรือไม่: เมื่อใช้อันดับแทนค่า ค่า rho ของ Spearman เท่ากับ -0.44 โดย p = 1.6 x 10^-6 และผลด้านจำนวนยังคงแบนราบที่ rho = -0.03 ค่า r ของ Pearson ต้องการความสัมพันธ์แบบเส้นตรง คู่ข้อมูลที่เป็นอิสระต่อกัน และไม่มีจุดใดที่อยู่ห่างจนดัดเส้นได้ด้วยตัวเอง ตรวจแผนภาพการกระจายก่อนเชื่อสัมประสิทธิ์ หากคุณต้องการขนาดของผลแทนคำตอบแบบใช่หรือไม่ ให้หาความชันและประมาณความสัมพันธ์ในหน่วยจริง: คำถามปลายเปิดลดลงเท่าใดต่อคำถามที่เพิ่มขึ้นหนึ่งข้อ แทนค่า r เพียงอย่างเดียว

ความแตกต่างที่มีนัยสำคัญกับความสัมพันธ์ที่มีนัยสำคัญ

นี่คือสองรูปแบบที่คำถามในแบบสำรวจเกือบทั้งหมดเป็น และทดสอบต่างกัน ความแตกต่างเปรียบเทียบกลุ่มในผลลัพธ์หนึ่งตัว ความสัมพันธ์ถามว่าการวัดสองอย่างเปลี่ยนไปด้วยกันหรือไม่

ทั้งสองเป็นการทดสอบสมมติฐานและให้ค่า p ทั้งคู่ จึงอ่านแบบเดียวกัน แต่ใช้แทนกันไม่ได้: ช่องว่างระหว่างกลุ่มไม่ใช่สหสัมพันธ์ และการรายงานแบบหนึ่งราวกับเป็นอีกแบบเป็นวิธีที่พบบ่อยในการกล่าวเกินจริง ทั้งสองแบบใช้กับข้อมูลแบบสำรวจเชิงปริมาณได้

ความแตกต่างระหว่างสองกลุ่มมีนัยสำคัญหรือไม่?

สมมติว่าทีมช่วยเหลือลูกค้าส่งแบบสำรวจคำถามเดียวเหมือนกันหลังทุกเรื่องที่แจ้ง ผ่านคำเชิญสองแบบ จากคน 400 คนที่ตอบหลังได้รับคำเชิญทางอีเมล 208 คนเลือกช่องบนสุด จาก 420 คนที่ตอบหลังเห็นข้อความในแอป 189 คนเลือก คิดเป็นร้อยละ 52.0 เทียบกับร้อยละ 45.0 ช่องว่าง 7.0 จุด นี่มากกว่าความแปรผันจากการสุ่มตัวอย่างเพียงอย่างเดียวที่ขนาดเหล่านี้จะให้หรือไม่?

เนื่องจากผลลัพธ์เป็นสัดส่วน ไม่ใช่ค่าเฉลี่ย สถิติทดสอบคือ z-test สองสัดส่วน รวมสองกลุ่มเพื่อประมาณอัตราที่คาดไว้หากช่องทางคำเชิญไม่ทำให้ต่างกัน หาว่าช่องว่างแบบนี้แกว่งเท่าใดที่ขนาดกลุ่มตัวอย่างเหล่านี้ แล้วหาร

1. รวมสองกลุ่ม

   (208 + 189) / (400 + 420) = 397 / 820 = 0.4841.

2. สร้างความคลาดเคลื่อนมาตรฐาน

   0.4841 x 0.5159 = 0.2497 1/400 + 1/420 = 0.004881 คูณกัน: 0.00121901 รากที่สอง: 0.03491

3. หารช่องว่างด้วยค่านั้น

   z = 0.07 / 0.03491 = 2.0049 เก็บทศนิยมไว้ หากหารด้วยความคลาดเคลื่อนมาตรฐานที่ปัดแล้ว 0.0349 แทน z จะได้ 2.0057 ซึ่งแสดงเป็น 2.01 และมีพื้นที่หาง 0.0444 นั่นคือค่า 0.044 ที่หน้านี้เคยเผยแพร่มาหลายปี และผิดไปหนึ่งขั้นของการปัดเศษ ไม่ใช่ผิดหนึ่งตำแหน่งทศนิยม

4. อ่านค่าที่หาง

   การแจกแจงปกติมาตรฐานมีพื้นที่ 0.04497 อยู่เลย 2.0049 ในสองหางรวมกัน ดังนั้น p = 0.045 ต่ำกว่า 0.05 ช่องว่างนี้จึงมีนัยสำคัญที่ระดับร้อยละ 5 โดยเฉียดเกณฑ์มาก

หากคำนวณตัวเลขชุดเดียวกันเป็นการทดสอบ chi-square ของความเป็นอิสระบนตารางสองคูณสอง จะได้คำตอบเดียวกันทุกประการ: chi-square เท่ากับ z ยกกำลังสอง คือ 4.0197 ที่องศาอิสระหนึ่ง, p = 0.04497 ทั้งสองคือการทดสอบเดียวกันที่เขียนสองแบบ chi-square ที่มีนัยสำคัญบนตารางสองคูณสองกับ z-test ที่มีนัยสำคัญจึงไม่มีวันขัดแย้งกัน

ช่องว่างไม่ได้เปลี่ยนเมื่อเราเปลี่ยนขนาดกลุ่มตัวอย่าง แต่คำตัดสินเปลี่ยน ที่การตอบกลับหนึ่งในสี่ คือ 52 จาก 100 เทียบกับ 45 จาก 100 สำหรับ 7.0 จุดเท่าเดิม z ลดลงเหลือ 0.9904 และ p เพิ่มเป็น 0.32 ไม่มีอะไรเกี่ยวกับคำเชิญเปลี่ยนไป มีเพียงหลักฐานที่เปลี่ยน นี่คือเหตุผลที่คุณวางแผนจำนวนการตอบกลับก่อนลงภาคสนาม ไม่ใช่หลังจากนั้น

หากการเปรียบเทียบยังอยู่ข้างหน้า นี่คือช่วงเวลาที่ตัดสิน สร้างแบบสำรวจเพื่อเปรียบเทียบกลุ่ม และกำหนดขนาดแต่ละกลุ่มจากช่องว่างที่เล็กที่สุดที่คุณต้องตรวจจับ การเปรียบเทียบที่เล็กเกินไปตอนที่ทำ ก็ยังเล็กเกินไปอยู่ การศึกษาติดตามที่ใหญ่ขึ้นคือการศึกษาใหม่ที่มีค่า p ของตนเอง ไม่ใช่การซ่อมการศึกษานี้

เครื่องคำนวณนัยสำคัญสองสัดส่วน

ตัวเลขของคุณเอง การคำนวณเดียวกัน ป้อนจำนวนคนที่ตอบในแต่ละกลุ่ม และจำนวนที่เลือกคำตอบที่คุณติดตาม ผลจะอัปเดตขณะที่คุณพิมพ์

สองวิธี ซึ่งระบุชื่อไว้ในผลลัพธ์ทั้งคู่: z-test สองสัดส่วนบนความคลาดเคลื่อนมาตรฐานแบบรวมสำหรับคำตัดสิน และช่วงแบบ Wald บนความคลาดเคลื่อนมาตรฐานแบบไม่รวมสำหรับขนาด นี่คือการจับคู่มาตรฐาน และเพราะความคลาดเคลื่อนทั้งสองต่างกัน ผลจึงขัดกันได้เมื่อใกล้เกณฑ์ เครื่องคำนวณจะแจ้งทุกครั้งที่เกิดขึ้น ระดับของช่วงเป็นไปตามระดับนัยสำคัญที่คุณเลือก alpha = 0.05 จึงให้ช่วงร้อยละ 95 และป้ายกำกับจะระบุระดับทุกครั้ง

เครื่องคำนวณรายงานค่าคาดหวังที่เล็กที่สุด เพื่อให้คุณเห็นว่าเมื่อใดที่การประมาณแบบปกติไม่ปลอดภัย และไม่รายงานอำนาจการทดสอบที่สังเกตได้: อำนาจการทดสอบภายหลังเป็นฟังก์ชันตายตัวของค่า p จึงไม่ได้เพิ่มอะไรจากที่คุณเห็นอยู่แล้ว

ช่วงความเชื่อมั่นของความแตกต่างระหว่างสองกลุ่ม

ค่า p ตอบคำถามแบบใช่หรือไม่ที่ไม่มีใครถามจริง ช่วงความเชื่อมั่นตอบคำถามที่พวกเขาถาม: ใหญ่แค่ไหน?

ช่วงความเชื่อมั่นคือช่วงที่สร้างขึ้นโดยที่หากคุณทำซ้ำทั้งกระบวนการหลายครั้ง ร้อยละ 95 ของช่วงที่สร้างแบบนั้นจะครอบคลุมค่าจริง เป็นคุณสมบัติของวิธีการ ไม่ใช่ความน่าจะเป็นที่ติดอยู่กับช่วงเดียวที่อยู่ตรงหน้าคุณ การพูดหลวม ๆ ว่า “มีโอกาสร้อยละ 95 ที่ความจริงอยู่ในนี้” คือการกลับด้านแบบเดียวกับที่ทำให้ตีความค่า p ผิด

สำหรับความแตกต่างระหว่างสองสัดส่วน ความคลาดเคลื่อนมาตรฐานสร้างจากแต่ละกลุ่มแยกกัน ไม่ได้รวมกัน เพราะตอนนี้คุณกำลังประมาณขนาดช่องว่าง ไม่ใช่ทดสอบว่าช่องว่างเป็นศูนย์หรือไม่:

1. ความคลาดเคลื่อนมาตรฐานของผลต่าง

   0.52 x 0.48 / 400 = 0.00062400 0.45 x 0.55 / 420 = 0.00058929 นำมาบวกกันแล้วหารากที่สอง: 0.03483 หรือ 3.483 จุดเปอร์เซ็นต์

2. คูณด้วยค่าวิกฤต

   สำหรับร้อยละ 95 ค่านี้คือ 1.9600 ไม่ใช่ 2 การปัดขึ้นเป็น 2 จะดึงขอบล่างจาก 0.2 ลงไปเป็น 0.0 ซึ่งคือความต่างระหว่างช่วงที่พ้นศูนย์ กับช่วงที่ดูเหมือนแตะศูนย์ 1.9600 x 3.483 = 6.827 จุด

3. วางค่านั้นไว้สองข้างของค่าประมาณ

   7.0 บวกลบ 6.827 ได้ 0.2 ถึง 13.8 จุดเปอร์เซ็นต์

ทีนี้อ่านว่าช่วงนี้บอกอะไรจริง ๆ คำเชิญทางอีเมลนำอยู่ และข้อมูลสอดคล้องกับการนำตั้งแต่หนึ่งในห้าจุดไปจนเกือบสิบสี่จุด ข้อค้นพบว่า “มีนัยสำคัญที่ 0.05” ซ่อนสิ่งเหล่านี้ไว้ทั้งหมด หากช่องว่างสองจุดจะเปลี่ยนสิ่งที่ทีมทำ การศึกษานี้ยังไม่ได้ตอบคำถาม และค่า p ก็ไม่ได้บอกใบ้เรื่องนี้เลย

การอ่านทั้งสองแบบมักตรงกัน และควรรู้ให้แน่ชัดว่าทำไมจึงไม่จำเป็นต้องตรงกัน z-test ด้านบนหารด้วยความคลาดเคลื่อนมาตรฐานแบบรวม 0.03491 เพราะคำนวณภายใต้สมมติฐานว่าทั้งสองกลุ่มมีอัตราเดียวกัน ช่วงนี้ใช้แบบไม่รวม 0.03483 เพราะประมาณช่องว่างโดยไม่มีข้อสมมตินั้น การทดสอบกับช่วงจะตรงกันพอดีก็ต่อเมื่อสร้างจากหลักเดียวกัน: ช่วงที่สร้างจากการกลับด้านการทดสอบแบบรวม หรือการทดสอบที่ใช้ความคลาดเคลื่อนแบบไม่รวม การจับคู่มาตรฐานนี้เป็นการประมาณสองแบบของสิ่งนั้น และเมื่อใกล้เกณฑ์ก็อาจแยกทางกันได้

ลองดู 5 จาก 20 เทียบกับ 11 จาก 20: การทดสอบแบบรวมให้ z = -1.9365 และ p = 0.0528 ไม่มีนัยสำคัญที่ 0.05 ขณะที่ช่วงความเชื่อมั่นร้อยละ 95 แบบไม่รวมอยู่ระหว่าง -58.9 ถึง -1.1 จุด และไม่ครอบคลุมศูนย์ ทั้งสองถูกต้องตามวิธีของตน ผลนี้อยู่ก้ำกึ่งและควรรายงานทั้งสองตัวเลข ช่วงความเชื่อมั่นยังคงเป็นสิ่งที่ดีกว่าในการเผยแพร่ เพราะบอกทั้งขนาดและคำตัดสิน ขณะที่คำตัดสินอย่างเดียวไม่บอกทั้งสองอย่าง

ค่า p บอกอะไรเกี่ยวกับสมมติฐานว่าง

ข้อกล่าวอ้างที่น่าเบื่อมีชื่อเรียก: สมมติฐานว่าง H0 ค่า p คือความน่าจะเป็นที่จะได้ค่าสถิติทดสอบที่สุดขั้วอย่างน้อยเท่าของคุณเมื่อ H0 เป็นจริง อย่างอื่นที่คนพูดถึงค่า p ล้วนเป็นการพูดย่อหรือไม่ก็เป็นความผิดพลาด

ความผิดพลาดเป็นแบบเดียวกันเสมอ และควรระบุให้ชัด p คือความน่าจะเป็นของข้อมูลเมื่อกำหนดสมมติฐาน สิ่งที่คนอ่านออกมาคือความน่าจะเป็นของสมมติฐานเมื่อกำหนดข้อมูล ทั้งสองเป็นปริมาณต่างกัน และปริมาณที่สองคำนวณจากค่า p ไม่ได้เลย เพราะต้องรู้ว่าสมมติฐานน่าเชื่อเพียงใดก่อนคุณจะเก็บข้อมูลใด ๆ American Statistical Association กำหนดให้เรื่องนี้เป็นหลักการข้อที่สองจากหกข้อในปี 2016: ค่า p ไม่ได้วัดความน่าจะเป็นที่สมมติฐานที่ศึกษาเป็นจริง และไม่ได้วัดความน่าจะเป็นที่ข้อมูลเกิดจากความบังเอิญเพียงอย่างเดียว⁴

ดังนั้น p = 0.045 ในตัวอย่างคำเชิญไม่ได้หมายความว่ามีโอกาสร้อยละ 4.5 ที่คำเชิญทั้งสองแบบเท่าเทียมกัน และไม่ได้หมายความว่ามีโอกาสร้อยละ 95.5 ที่ผลจะทำซ้ำได้ การทำซ้ำได้ขึ้นกับผลจริงและขนาดของการศึกษาครั้งถัดไป ซึ่งไม่มีอยู่ในตัวเลขนี้เลย⁵

alpha และระดับนัยสำคัญ

alpha คือเกณฑ์ที่คุณยึดไว้ก่อนข้อมูลมาถึง ตั้ง alpha = 0.05 ก็เท่ากับบอกว่า หากสมมติฐานว่างเป็นจริง คุณยอมรับโอกาสร้อยละ 5 ที่จะเรียกผลว่ามีนัยสำคัญอยู่ดี ทดสอบแบบนี้ยี่สิบครั้งกับข้อมูลที่เป็นสัญญาณรบกวนล้วน ๆ จะมีราวหนึ่งครั้งที่ออกมามีนัยสำคัญ ตามโครงสร้างของมัน ไม่ใช่โดยบังเอิญ

ไม่มีอะไรทำให้ 0.05 ถูกต้อง เป็นธรรมเนียมที่แข็งตัวขึ้นหลัง Fisher ใช้เป็นแนวทางคร่าว ๆ และการแลกเปลี่ยนก็ชัดเจน: alpha ที่ต่ำลงทำให้สัญญาณเตือนผิดน้อยลง แต่แลกกับผลจริงที่คุณจะพลาดไป เลือกค่าจากต้นทุนของการผิดพลาดในแต่ละทิศทาง เขียนไว้ก่อน และอย่าเปลี่ยนเมื่อเห็นค่า p แล้ว

การทดสอบแบบหางเดียวและสองหาง

การทดสอบแบบสองหางถามว่ากลุ่มต่างกันหรือไม่ โดยนับผลสุดขั้วทั้งสองด้าน การทดสอบแบบหางเดียวถามว่ากลุ่มใดกลุ่มหนึ่งที่ระบุสูงกว่าหรือไม่ และนับเฉพาะด้านนั้น

ข้อกล่าวอ้างที่พบบ่อยคือค่า p แบบหางเดียวเท่ากับครึ่งหนึ่งของแบบสองหาง ซึ่งจริงก็ต่อเมื่อผลเป็นไปตามทิศทางที่คุณทำนายไว้ ตัวอย่างของเรามีค่า p แบบสองหาง 0.04497 หากคุณทำนายไว้ล่วงหน้าว่าอีเมลจะชนะข้อความในแอป ซึ่งเป็นทิศทางที่เกิดขึ้น ค่า p แบบหางเดียวคือ 0.02249 หากคุณทำนายว่าข้อความในแอปจะชนะ ค่า p แบบหางเดียวไม่ใช่ 0.02249 แต่เป็น 1 ลบค่านั้น คือ 0.9775 เพราะการแจกแจงเกือบทั้งหมดอยู่ด้านที่คุณอ้าง การหารครึ่งเป็นกรณีพิเศษ ไม่ใช่กฎ

เลือกแบบหางเดียวเฉพาะเมื่อความแตกต่างในทิศทางตรงข้ามจะไม่เปลี่ยนการตัดสินใจของคุณจริง ๆ และเลือกก่อนดูข้อมูลเท่านั้น การเปลี่ยนเป็นแบบหางเดียวหลังเห็นค่า p แบบสองหาง 0.08 คือกลเม็ดที่เก่าแก่ที่สุด และทำให้อัตราผลบวกลวงเพิ่มเป็นสองเท่าในทิศทางที่คุณบังเอิญชอบ

ควรใช้สถิติทดสอบใดสำหรับสองกลุ่ม?

เลือกตามรูปแบบของผลลัพธ์ แล้วตรวจเงื่อนไขก่อนเชื่อค่า p เงื่อนไขไม่ใช่งานเอกสาร: ทุกข้อเป็นข้อสมมติที่การคำนวณตั้งไว้อย่างเงียบ ๆ

มีเงื่อนไขหนึ่งที่อยู่เหนือทุกข้อนี้และไม่มีการทดสอบใดตรวจได้: การตอบกลับต้องมาจากคนที่คุณตั้งใจจะถาม ค่า p ที่เล็กมากบนกลุ่มตัวอย่างที่เอนเอียงคือคำตอบที่แม่นยำต่อคำถามที่ผิด ซึ่งเป็นต้นทุนในทางปฏิบัติของอคติในการตอบ

นัยสำคัญทางสถิติไม่ได้หมายถึงความสำคัญในทางปฏิบัติ

นัยสำคัญบอกว่าผลนั้นตรวจจับได้ที่ขนาดกลุ่มตัวอย่างของคุณ ไม่ได้บอกว่าผลนั้นคุ้มที่จะลงมือทำหรือไม่ และเมื่อมีการตอบกลับมากพอ สองเรื่องนี้จะแยกจากกันโดยสิ้นเชิง

ลองดูการเปลี่ยนแปลงหนึ่งจุด: ช่องบนสุดเปลี่ยนจากร้อยละ 51.0 เป็นร้อยละ 52.0 ระหว่างสองรอบ ที่การตอบกลับ 400 รายการต่อรอบ p = 0.777 และไม่มีใครเรียกว่าอะไรเลย การเปลี่ยนแปลงนี้จะมีนัยสำคัญที่ 0.05 เมื่อแต่ละรอบมีการตอบกลับราว 19,191 รายการ: ที่ขนาดนั้นพอดี p = 0.0500 หนึ่งจุดนั้นไม่ได้สำคัญขึ้น คุณเพียงมีความแม่นยำมากพอที่จะเห็นมัน

ดังนั้นให้เผยแพร่ขนาดคู่กับคำตัดสิน สำหรับการเปรียบเทียบคำเชิญคือ 7.0 จุดเปอร์เซ็นต์ ช่วง 0.2 ถึง 13.8 หากต้องการตัวเลขมาตรฐาน ค่า h ของ Cohen สำหรับร้อยละ 52.0 เทียบกับร้อยละ 45.0 คือ 0.14 ซึ่งต่ำกว่า 0.2 ที่ Cohen เรียกว่าเล็ก⁷ ความแตกต่างที่ตรวจจับได้ และมีขนาดเล็ก

แบบสำรวจสองครั้งห่างกันหกเดือนให้ผลต่างกัน

นี่คือรูปแบบที่คำถามนี้มาถึงทีมแบบสำรวจบ่อยที่สุด และการหยิบการทดสอบนัยสำคัญขึ้นมาก่อนเป็นการเริ่มที่ผิด การทดสอบสันนิษฐานว่ากลุ่มตัวอย่างทั้งสองต่างกันเพียงเพราะความบังเอิญ แต่ระหว่างสองรอบ มักต่างกันมากกว่านั้น

ตรวจสิ่งเหล่านี้ก่อนคำนวณอะไร คำถามใช้ถ้อยคำเหมือนกันทุกประการ พร้อมป้ายกำกับมาตราส่วนเดียวกันในลำดับเดียวกันหรือไม่? ทั้งสองรอบเก็บข้อมูลนานเท่ากัน ในวันเดียวกันหรือไม่? คนประเภทเดียวกันตอบหรือไม่ หรือรอบหนึ่งส่งผ่านช่องทางที่เข้าถึงคนอีกกลุ่ม? รอบหนึ่งอยู่ในช่วงที่ธุรกิจเองมีความเปลี่ยนแปลงหรือไม่? ข้อใดข้อหนึ่งในนี้ทำให้เกิดช่องว่างที่ไม่มีการทดสอบใดชี้ว่าเป็นความบังเอิญ และไม่เกี่ยวกับสิ่งที่คุณวัดเลย

เมื่อการเปรียบเทียบเทียบกันได้จริงแล้ว สถิติทดสอบจะตามมาจากสิ่งที่คุณเปรียบเทียบ และสำหรับงานแบบสำรวจมักเป็นสัดส่วน จากคำถาม 1,422 ข้อในคลังเทมเพลตของเรา ร้อยละ 45.3 เป็นข้อคำถามแบบมาตราส่วนประมาณค่า และร้อยละ 98.9 ของข้อเหล่านั้นมีห้าระดับ ตัวสรุปตามธรรมชาติของข้อคำถามห้าระดับคือสัดส่วนที่เลือกช่องบนสุดหรือสองช่องบนสุด z-test สองสัดส่วนด้านบนจึงเป็นเครื่องมือหลัก ไม่ใช่ t-test การหาค่าเฉลี่ยของมาตราห้าระดับถือว่าก้าวจาก 4 ไป 5 เท่ากับก้าวจาก 1 ไป 2 ซึ่งยังไม่มีใครพิสูจน์ได้

แหล่งที่มา: SuperSurvey Question Corpus เทมเพลตที่เผยแพร่อยู่ 109 ชุดและคำถาม 1,422 ข้อ อ่านเมื่อวันที่ 11 กันยายน 2026

นิสัยอีกสองข้อที่ควรรักษาไว้ ตัดสินใจว่าจะเปรียบเทียบอะไรบ้างก่อนข้อมูลมาถึง เพราะอัตราผลบวกลวงเพิ่มขึ้นตามจำนวนการทดสอบ ไม่ใช่ตามจำนวนที่คุณรายงาน และให้ความสำคัญกับกลุ่มตัวอย่าง: ใครตอบสำคัญกว่ากี่คนตอบ ซึ่งคือสิ่งที่วิธีการสุ่มตัวอย่างมีไว้เพื่อการนั้น ส่วนที่เหลือของหมวดคู่มือและความช่วยเหลือครอบคลุมการตัดสินใจก่อนและหลังขั้นนี้

คำถามที่พบบ่อย

วิธีการและข้อจำกัด

ตัวเลขทุกตัวในหน้านี้คำนวณในไฟล์ที่สร้างหน้า ไม่ได้พิมพ์ใส่ และการสร้างจะไม่ทำงานหากตัวเลขใดเปลี่ยน ความน่าจะเป็นที่หางมาจากฟังก์ชันแกมมาไม่สมบูรณ์และเบตาไม่สมบูรณ์ที่ความแม่นยำสองเท่า ตรวจเทียบกับรูปแบบปิดเมื่อมี: รูปแบบ Cauchy สำหรับการแจกแจง t ที่องศาอิสระหนึ่ง รูปแบบพีชคณิตที่องศาอิสระสองและสี่ และ exp(-x/2) สำหรับ chi-square ที่องศาอิสระสอง ไม่มีตัวเลขใดอ่านจากตาราง

สหสัมพันธ์ใช้คลังเทมเพลต SuperSurvey ที่เผยแพร่อยู่ แยกทีละเทมเพลตเมื่อวันที่ 10 กันยายน 2026: เทมเพลตที่เผยแพร่อยู่ 109 ชุดและคำถาม 1,422 ข้อ สิ่งที่นับคือจำนวนคำถามในแต่ละเทมเพลต และจำนวนคำถามที่ให้ตอบเป็นข้อความอิสระ ไม่รวมฉบับร่างและหน้าที่เปลี่ยนเส้นทาง ตัวแปรผลทั้งสองแบบกำหนดไว้ก่อนทดสอบ และรายงานทั้งสองแบบไว้ด้านบน

มีข้อจำกัดสองข้อที่สำคัญ นี่คือคลังที่เราเผยแพร่เอง จึงแสดงสิ่งที่ผู้ให้บริการแบบสำรวจรายหนึ่งถือว่าเป็นแนวปฏิบัติที่ดี ไม่ใช่สิ่งที่แบบสำรวจทั่วโลกทำ จึงไม่ควรอ่านผลใดในที่นี้ว่าเป็นข้อเท็จจริงเกี่ยวกับแบบสำรวจโดยทั่วไป และผลด้านสัดส่วนส่วนหนึ่งมาจากโครงสร้าง: ความยาวเทมเพลตอยู่ในตัวหารของตัวแปรผล สหสัมพันธ์เชิงลบส่วนหนึ่งจึงเป็นผลทางคณิตศาสตร์ ไม่ใช่การตัดสินใจของผู้เขียนเทมเพลต นั่นคือเหตุผลที่พิมพ์แบบจำนวนไว้ข้าง ๆ

การเปรียบเทียบคำเชิญ ลำดับขนาดกลุ่มตัวอย่าง และการเปลี่ยนแปลงหนึ่งจุด เป็นตัวอย่างการคำนวณที่ระบุค่าที่ป้อน ไม่ใช่การวัดจริง การคำนวณเป็นของจริงและทำซ้ำได้จากตัวเลขที่แสดง ส่วนสถานการณ์เป็นเพียงภาพประกอบ

เอกสารอ้างอิง

1. Centers for Disease Control and Prevention, National Center for Health Statistics. Statistical significance. In Health, United States: Sources and Definitions. cdc.gov
2. National Institutes of Health, National Center for Advancing Translational Sciences. Statistical significance. NCATS Toolkit glossary. toolkit.ncats.nih.gov
3. US Department of Education, National Center for Education Statistics. Statistical significance and sample size. National Assessment of Educational Progress. nces.ed.gov
4. Wasserstein, R. L. and Lazar, N. A. (2016). The ASA statement on p-values: context, process, and purpose. The American Statistician, 70(2), 129-133. doi.org/10.1080/00031305.2016.1154108
5. Greenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N. and Altman, D. G. (2016). Statistical tests, P values, confidence intervals, and power: a guide to misinterpretations. European Journal of Epidemiology, 31(4), 337-350. doi.org/10.1007/s10654-016-0149-3
6. Cochran, W. G. (1954). Some methods for strengthening the common chi-square tests. Biometrics, 10(4), 417. doi.org/10.2307/3001616
7. Cohen, J. (1992). A power primer. Psychological Bulletin, 112(1), 155-159. doi.org/10.1037/0033-2909.112.1.155
8. Hoenig, J. M. and Heisey, D. M. (2001). The abuse of power: the pervasive fallacy of power calculations for data analysis. The American Statistician, 55(1), 19-24. doi.org/10.1198/000313001300339897
9. Cox, D. R. (2020). Statistical significance. Annual Review of Statistics and Its Application, 7, 1-10. doi.org/10.1146/annurev-statistics-031219-041051
10. SuperSurvey Question Corpus เทมเพลตที่เผยแพร่อยู่ 109 ชุดและคำถาม 1,422 ข้อ อ่านเมื่อวันที่ 11 กันยายน 2026

อ่านต่อ

• สหสัมพันธ์ในข้อมูลแบบสำรวจ การออกแบบการศึกษาที่รองรับสหสัมพันธ์ที่คุณต้องการรายงาน
• คุณต้องการการตอบกลับกี่รายการ ตัดสินให้ได้ก่อนลงภาคสนาม ขณะที่ยังขยายรายชื่อผู้ได้รับเชิญได้
• ขั้นตอนการวิเคราะห์การถดถอย จากคำตัดสินแบบใช่หรือไม่ สู่ความชันที่คุณเขียนเป็นประโยคได้