研究における有意な関係（有意差との違い）：その意味と検定方法

研究における有意な関係の意味

条件文の向きこそがすべてであり、多くの報告書が逆にしてしまうのもこの部分です。

反論しようとしている主張から始めましょう。それは常に面白みのない主張です。つまり、母集団において、この2つの変数は互いに何の関係もない、というものです。次に、サンプルで関係を測定し、1つだけ問いを立てます。面白みのない主張が正しいとしたら、この大きさのサンプルで、少なくともこれだけ強い関係が偶然だけで現れる頻度はどれくらいか。その数値がp値です。小さければ、偶然ではうまく説明できないということです。

してはいけないのは、この文を逆にすることです。検定は、変数が関係している確率を決して教えてくれません。検定は、変数が関係していないという前提ですべてを計算しているからです。このページの以前の公開版では、有意な関係とは相関が「母集団においてゼロである可能性が低い」ことだと書いていました。もっともらしく読めますが、誤りです。観測した相関が起こりにくいのは、母集団の相関がゼロであるとしたらの話です。同じ言葉でも向きは逆であり、データが裏づけられるのはそのうち一方だけです。

この表現には、どれほどそう読まれがちでも、含まれていない意味が3つあります。

• 強さではありません。有意性が答えるのは、その関係がゼロと区別できるかどうかです。どれだけ大きいかは、r自体や傾きからわかります。回答が十分に多ければ、0.05のrでも有意になりますが、それでもほとんど価値はありません。
• 原因ではありません。2つの変数がともに動いていても、どちらがどちらを動かしているのか、あるいは第3の変数が両方を動かしているのかについては何もわかりません。それは研究の組み立て方によって決まる設計の問題であり、後からどの検定統計量でも答えることはできません。
• 真実ではありません。p値は、サンプルが主張どおりのものであると前提したモデルの中で計算されます。間違った人が回答していれば、計算は完璧でも結論は誤りのままです。

2つの変数の間の有意な相関を検定する

ピアソンのrは-1から+1までの値をとり、2つの変数がどれだけ直線に沿っているかを測ります。得られたrが偶然以上のものかを問うには、t統計量に変換します。

t = r x sqrt(n - 2) / sqrt(1 - r^2)。これを自由度n - 2のt分布に照らして読みます。

これを実際のデータで行ってみます。何かを見る前に、筆者は問いを1つに決めました。当社のライブラリで公開中の109件のテンプレートにおいて、テンプレートの質問数は、そのうち自由記述の質問が占める割合と関係しているか。そして一度だけ検定を実行しました。

1. rを求める

   テンプレートn = 109件でr = -0.3701。報告用に丸めるとr = -0.37。

2. 自由度を求める

   n - 2 = 107。したがってsqrt(107) = 10.3441。

3. 分母を求める

   rの2乗は0.1369なので、1 - r^2 = 0.8631、sqrt(0.8631) = 0.9290。

4. 割る

   t = -0.37 x 10.3441 / 0.9290 = -4.1197（自由度107）。

5. 裾の確率を読む

   自由度107でtが4.12なら、両側分布のうち0.000075がその外側にあります。つまりp = 7.5 x 10^-5、およそサンプル13,000回に1回です。

あわせて区間も報告しましょう。フィッシャーのz変換によるrの95パーセント区間は-0.52から-0.20です。これが誠実な要約です。弱いから中程度の間のどこかにある負の関係であり、データからはそれ以上狭く絞り込めません。このような係数で何を裏づけられ何を裏づけられないか、そしてそれを中心にどう研究を設計するかは、アンケートの相関を解釈するページで詳しく解説しています。

割合の結果は、1件のテンプレートに引きずられていないかの確認にも耐えます。値ではなく順位で見ると、スピアマンのrhoは-0.44でp = 1.6 x 10^-6となり、数の結果はrho = -0.03で横ばいのままです。ピアソンのrは、直線的な関係、独立したペア、そして単独で直線を曲げるほど外れた点がないことを求めます。係数を信用する前に散布図を確認しましょう。はい・いいえではなく効果の大きさが知りたいなら、傾きを当てはめて関係を実際の単位で推定しましょう。単なるrではなく、質問が1問増えるごとに自由記述の質問がいくつ減るか、という形になります。

有意差と有意な関係の違い

ほとんどすべてのアンケートの問いは、この2つの形のどちらかであり、検定の方法も異なります。差は、1つの結果について集団を比較します。関係は、2つの測定値がともに動くかどうかを問います。

どちらも仮説検定であり、どちらもp値を出すので、読み方は同じです。しかし交換はできません。集団間の差は相関ではなく、一方をもう一方として報告するのは、知見を過大に示すよくある原因です。どちらも量的なアンケートデータに対して実行できます。

2つの集団の差は有意か？

あるサポートチームが、問い合わせ対応のたびに同じ1問のアンケートを、2種類の招待方法で送っているとします。メールでの招待後に回答した400人のうち、208人がトップボックスを選びました。アプリ内の案内の後に回答した420人のうちでは、189人でした。52.0パーセント対45.0パーセントで、差は7.0ポイントです。これは、この人数でサンプリングによるばらつきだけで生じる以上の差でしょうか？

結果は平均値ではなく割合なので、検定は2つの比率のz検定です。招待方法で何も変わらないとしたら予想される率を推定するために2つの集団をプールし、この人数でこの種の差がどれだけ揺れ動くかを求め、それで割ります。

1. 2つの集団をプールする

   (208 + 189) / (400 + 420) = 397 / 820 = 0.4841.

2. 標準誤差を求める

   0.4841 x 0.5159 = 0.2497。1/400 + 1/420 = 0.004881。掛けると0.00121901。平方根は0.03491。

3. 差を標準誤差で割る

   z = 0.07 / 0.03491 = 2.0049。小数は残しておきましょう。丸めた標準誤差0.0349で割ると、zは2.0057となり、表示上は2.01で、裾の確率は0.0444になります。これが、このページが何年も掲載していた0.044であり、小数点の位置ではなく、丸めの1ステップ分の誤りです。

4. 裾の確率を読む

   標準正規分布では、両側を合わせて0.04497が2.0049の外側にあります。したがってp = 0.045です。0.05未満なので、この差は5パーセント水準で有意ですが、余裕はほとんどありません。

同じ数値を2×2表の独立性のカイ二乗検定として計算しても、まったく同じ答えになります。カイ二乗はzの2乗で、自由度1で4.0197、p = 0.04497です。これらは同じ検定を2通りに書いたものなので、2×2表で有意なカイ二乗と有意なz検定が食い違うことはありません。

サンプルサイズを変えても、差は変わりませんでした。変わったのは判定です。回答を4分の1にして、100件中52件対100件中45件と同じ7.0ポイントにすると、zは0.9904に下がり、pは0.32に上がります。招待方法については何も変わっていません。変わったのは証拠だけです。だからこそ、実施の後ではなく前に回答数を計画するのです。

比較をこれから行うなら、まさに今が決め手になるときです。集団を比較するアンケートを作成し、検出する必要がある最小の差から各集団の人数を決めましょう。実施時に小さすぎた比較は、小さすぎたままです。より大規模な追跡調査は、独自のp値を持つ新しい研究であり、元の研究を修復するものではありません。

2つの比率の有意性計算ツール

ご自身の数値で、同じ計算を行います。各集団で回答した人数と、追跡している回答を選んだ人数を入力してください。入力に合わせて更新されます。

2つの方法を使い、どちらも出力に名前を表示します。判定にはプールした標準誤差による2つの比率のz検定を、大きさにはプールしない標準誤差によるWald区間を使います。これは標準的な組み合わせですが、2つの誤差が異なるため、閾値の近くでは食い違うことがあります。その場合は計算ツールがそう表示します。区間の水準は選んだ有意水準に従うので、アルファ = 0.05なら95パーセント区間になり、ラベルには毎回その水準を表示します。

正規近似が安全でなくなるときがわかるよう、最小の期待度数を表示します。観測された検出力は表示しません。事後の検出力はp値の決まった関数なので、すでに見えている以上の情報を何も加えないからです。

2つの集団の差の信頼区間

p値が答えるのは、誰も実際には尋ねていない、はい・いいえの問いです。区間が答えるのは、実際に尋ねられた問い、つまり「どれくらい大きいのか」です。

信頼区間とは、全体の作業を何度も繰り返したとしたら、そのように作った区間の95パーセントが真の値を含むように作られた範囲です。これは方法の性質であって、目の前にある1つの区間に付く確率ではありません。「真の値がこの中にある確率が95パーセント」という大ざっぱな言い方は、p値を誤解するのと同じ取り違えです。

2つの比率の差では、標準誤差をプールせず、各集団から別々に求めます。差がゼロかどうかを検定するのではなく、差を推定しているからです。

1. 差の標準誤差

   0.52 x 0.48 / 400 = 0.00062400。0.45 x 0.55 / 420 = 0.00058929。足して平方根をとると0.03483、つまり3.483パーセントポイント。

2. 臨界値を掛ける

   95パーセントなら1.9600であり、2ではありません。2に切り上げると、下限が0.2から0.0に下がります。これは、ゼロを上回る区間と、ゼロに接しているように見える区間の違いです。1.9600 x 3.483 = 6.827ポイント。

3. 推定値の両側に置く

   7.0プラスマイナス6.827で、0.2から13.8パーセントポイントになります。

では、これが実際に何を言っているかを読みましょう。メールでの招待がリードしており、データは、そのリードが0.2ポイントから14ポイント近くまでのどの値であっても矛盾しません。「0.05で有意」という知見は、そのすべてを隠していました。2ポイントの差でチームの行動が変わるなら、この研究は問いに答えておらず、p値はそのことを少しも示していませんでした。

2つの読み方は通常一致しますが、一致するとは限らない理由を正確に知っておく価値があります。上のz検定ではプールした標準誤差0.03491で割りました。両方の集団が1つの率を共有するという仮説のもとで計算したからです。この区間ではプールしない標準誤差0.03483を使いました。その前提を置かずに差を推定するからです。検定と区間が完全に一致するのは、同じ作り方をした場合だけです。プールした検定を反転して作った区間か、プールしない誤差で行った検定です。この標準的な組み合わせはその2つの近似であり、閾値の近くでは結果が分かれることがあります。

20件中5件対20件中11件で考えてみましょう。プールした検定ではz = -1.9365、p = 0.0528で、0.05では有意ではありません。一方、プールしない95パーセント区間は-58.9から-1.1ポイントで、ゼロを含みません。どちらもそれぞれの方法としては正しく、結果は境界線上にあり、両方の数値を報告すべきです。それでも公表するには区間のほうが適しています。区間は判定だけでなく大きさも伝えますが、判定だけではそのどちらも伝わらないからです。

p値が帰無仮説について示すこと

面白みのない主張には名前があります。帰無仮説、H0です。p値とは、H0が正しいときに、少なくとも得られた値と同じくらい極端な検定統計量が得られる確率です。それ以外の言い方はすべて、略式の表現か誤りのどちらかです。

誤りは常に同じもので、正確に名前を挙げておく価値があります。pは、仮説を前提としたときのデータの確率です。人々がそこから読み取るのは、データを前提としたときの仮説の確率です。この2つは異なる量であり、後者はp値からはまったく計算できません。何かを集める前に仮説がどれだけもっともらしかったかを知る必要があるからです。米国統計学会（American Statistical Association）は2016年、これを6つの原則の2番目に掲げました。p値は、調べている仮説が正しい確率も、データが偶然だけによって生じた確率も測るものではありません。⁴

したがって、招待の例でのp = 0.045は、2つの招待方法が同等である確率が4.5パーセントという意味ではなく、結果が再現される確率が95.5パーセントという意味でもありません。再現されるかどうかは、真の効果と次の研究の規模によって決まり、そのどちらもこの数値には含まれていません。⁵

アルファと有意水準

アルファとは、データが届く前に決めておく閾値です。アルファ = 0.05と決めることは、帰無仮説が正しくても5パーセントの確率で結果を有意と判定してしまうことを受け入れる、と表明することです。純粋なノイズに対してこのような検定を20回行えば、およそ1回は有意になります。偶然ではなく、仕組み上そうなるのです。

0.05が正しいとする根拠は何もありません。フィッシャーが大まかな目安として使った後に定着した慣例であり、トレードオフは明らかです。アルファを下げれば誤報は減りますが、その代わりに見逃す本物の効果が増えます。それぞれの方向に誤ったときのコストから選び、最初に書き出し、p値を見た後で動かしてはいけません。

片側検定と両側検定

両側検定は、集団に違いがあるかどうかを問い、両側の極端な結果を数えます。片側検定は、特定の1つの集団のほうが高いかどうかを問い、その側だけを数えます。

よく言われるのは、片側のp値は両側のp値の半分だということです。これが成り立つのは、効果が予測どおりの向きに出た場合だけです。この例の両側のpは0.04497でした。メールがアプリ内に勝つと事前に予測していたなら、実際にそうなったので、片側のpは0.02249です。アプリ内が勝つと予測していたなら、片側のpは0.02249ではありません。1からそれを引いた0.9775です。分布のほぼすべてが、主張した側にあるからです。半分にするのは特殊なケースであって、ルールではありません。

片側検定を選ぶのは、逆方向の差が出ても判断が本当に変わらない場合だけ、しかも結果を見る前だけにしましょう。両側でp = 0.08を見た後に片側に切り替えるのは最も古い手口であり、たまたま望んだ方向の偽陽性率を2倍にします。

2つの集団にはどの統計的検定を使えばよいか？

結果の形で選び、p値を信じる前に条件を確認しましょう。条件は形式的な手続きではありません。どれも、計算が暗黙のうちに置いている前提です。

これらすべての上位にある条件が1つあり、どの検定もそれを確認しません。回答が、尋ねるつもりだった人から得られていなければならないということです。偏ったサンプルでの非常に小さなp値は、間違った問いへの正確な答えであり、それが回答バイアスの実際の代償です。

統計的有意性は実務上の重要性を意味しない

有意性が示すのは、そのサンプルサイズで効果が検出できるということです。その効果が行動に値するかどうかについては何も示さず、回答が十分に多ければ、この2つは完全に切り離されます。

1ポイントの変化を考えてみましょう。2回の調査の間で、トップボックスが51.0パーセントから52.0パーセントになったとします。1回あたり回答400件ならp = 0.777で、誰も何とも言いません。この変化が0.05で有意になるのは、各回の回答が約19,191件になったときで、ちょうどその規模でp = 0.0500になります。その1ポイントがより重要になったわけではありません。それを見られるだけの精度を手に入れたにすぎません。

だからこそ、判定と並べて大きさを公表しましょう。招待の比較では、7.0パーセントポイント、区間は0.2から13.8です。標準化した数値が必要なら、52.0パーセント対45.0パーセントのCohenのhは0.14で、Cohenが小と呼んだ0.2を下回ります。⁷検出可能な差であり、しかも小さな差です。

半年の間隔をあけた2回のアンケートで、結果が違った

これは、アンケートチームにこの問いが届く最もよくある形であり、まず有意性検定に手を伸ばすのは間違いです。検定は、2つのサンプルが偶然だけで異なることを前提としています。2回の調査の間では、通常それ以上の理由で異なっています。

何かを計算する前に、次の点を確認しましょう。質問は、同じ尺度のラベルを同じ順序で使い、まったく同じ言葉づかいでしたか？両方の回とも、同じ期間、同じ曜日に実施しましたか？同じ種類の人が回答しましたか、それとも一方の回は別の層に届く経路で配信しましたか？一方の回が、事業そのものが混乱していた時期にあたっていませんでしたか？これらのどれでも、どの検定も偶然とは判定せず、測定している事柄とは無関係な差が生じます。

比較が本当に同じ条件同士になったら、検定は比較する対象から決まります。アンケートでは、それは通常は割合です。当社のテンプレートライブラリの1,422問のうち、45.3パーセントが評価項目で、そのうち98.9パーセントが5段階です。5段階の項目の自然な要約は、トップボックスまたは上位2つを選んだ人の割合なので、主力となるのはt検定ではなく、上の2つの比率のz検定です。5段階の尺度を平均すると、4から5への1段階を1から2への1段階と等しく扱うことになりますが、それは誰も確かめていません。

出典：SuperSurvey質問コーパス：公開中のテンプレート109件、質問1,422問（2026年9月11日に読み取り）。

ほかにも身につけておく価値のある習慣が2つあります。データが届く前に、どの比較を行うかを決めておくこと。偽陽性率は、報告する検定の数ではなく、行う検定の数に応じて上がるからです。そして、サンプルを真剣に扱うこと。何人が回答したかより、誰が回答したかのほうが重要であり、そのためにあるのがサンプリング方法です。ガイドとヘルプのほかのページでは、この判断の前後にある判断を取り上げています。

よくある質問

方法と限界

このページの数値はすべて、ページを生成するファイルの中で計算されており、手入力したものではありません。どれか1つでも変われば、生成は実行されません。裾の確率は倍精度の不完全ガンマ関数と不完全ベータ関数から求め、閉じた形がある場合はそれと照合しています。自由度1のt分布にはコーシー分布の形、自由度2と4には代数的な形、自由度2のカイ二乗にはexp(-x/2)です。表から読み取った値はありません。

相関には、2026年9月10日にテンプレートごとに解析した、公開中のSuperSurveyテンプレートライブラリを使っています。公開中のテンプレート109件、質問1,422問です。数えたのは、各テンプレートの質問数と、そのうち自由記述で回答する質問の数です。下書きとリダイレクトは除外しました。結果変数の2つの版はどちらも検定の実行前に定めたもので、両方とも上で報告しています。

重要な限界が2つあります。これは当社が公開しているライブラリなので、示しているのは1つのアンケートベンダーがよい実践と考えるものであって、世界中のアンケートの実態ではありません。したがって、ここでの結果を一般のアンケートについての事実として読むべきではありません。また、割合の結果は部分的に構造的なものです。テンプレートの長さが結果変数の分母に入っているため、負の相関の一部は編集上の判断ではなく算術によるものです。だからこそ、数の版をその隣に示しているのです。

招待の比較、サンプルサイズの段階、1ポイントの変化は、入力値を明示した計算例であって、測定値ではありません。計算は本物で、示した数値から再現できますが、シナリオは説明のためのものです。

参考文献

1. Centers for Disease Control and Prevention, National Center for Health Statistics. Statistical significance. In Health, United States: Sources and Definitions. cdc.gov
2. National Institutes of Health, National Center for Advancing Translational Sciences. Statistical significance. NCATS Toolkit glossary. toolkit.ncats.nih.gov
3. US Department of Education, National Center for Education Statistics. Statistical significance and sample size. National Assessment of Educational Progress. nces.ed.gov
4. Wasserstein, R. L. and Lazar, N. A. (2016). The ASA statement on p-values: context, process, and purpose. The American Statistician, 70(2), 129-133. doi.org/10.1080/00031305.2016.1154108
5. Greenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N. and Altman, D. G. (2016). Statistical tests, P values, confidence intervals, and power: a guide to misinterpretations. European Journal of Epidemiology, 31(4), 337-350. doi.org/10.1007/s10654-016-0149-3
6. Cochran, W. G. (1954). Some methods for strengthening the common chi-square tests. Biometrics, 10(4), 417. doi.org/10.2307/3001616
7. Cohen, J. (1992). A power primer. Psychological Bulletin, 112(1), 155-159. doi.org/10.1037/0033-2909.112.1.155
8. Hoenig, J. M. and Heisey, D. M. (2001). The abuse of power: the pervasive fallacy of power calculations for data analysis. The American Statistician, 55(1), 19-24. doi.org/10.1198/000313001300339897
9. Cox, D. R. (2020). Statistical significance. Annual Review of Statistics and Its Application, 7, 1-10. doi.org/10.1146/annurev-statistics-031219-041051
10. SuperSurvey質問コーパス：公開中のテンプレート109件、質問1,422問（2026年9月11日に読み取り）。

次に読む記事

• アンケートデータの相関 報告したい相関を裏づけられる研究の設計方法。
• 必要な回答数 招待リストをまだ広げられる実施前に決めておきましょう。
• 回帰分析の手順 はい・いいえの判定から、文章で示せる傾きへ。