調査におけるサンプリングとは？

サンプリングの定義（と正しく押さえるべき5つの用語）

サンプリングとは、より小さな集団（サンプル）を、より大きな集団（母集団）から選び出し、全員を測定しなくても母集団について知ることができるようにする手続きです。母集団全体を調べる研究は多くの場合現実的ではないため、研究者はサンプリングによって作業を実行可能にしつつ、有用な結論を導きます。

以下の5つの用語は、どの研究方法の章でも中心的な役割を果たします。これを誤ると、その後のすべての判断に誤りが引き継がれます。

• warning
  母集団：記述したい集団全体で、範囲と期間を明記したもの。「3つのキャンパスに在籍する最終学年の看護学生全員（3月1日時点の在籍者）」は母集団です。「看護師」はそうではありません。
• warning
  目標母集団と到達可能な母集団：記述したい対象と、募集方法やツールで実際に到達できる対象の違いです。両者のずれを明記することは、報告書の弱点ではなく強みになります。
• warning
  サンプリングフレーム：抽出の元になるリストや仕組み。学生名簿、患者名簿、顧客データベース、村の世帯リスト、選挙人名簿などです。フレームの問題はカバレッジ誤差を生み、どの方法でもそれを修復することはできません。
• warning
  抽出単位：実際に選ばれるもの。人、世帯、診療所、クラス、勤務シフト、注文などです。クラスター抽出や多段抽出の設計では、第1段階の単位は集団であり、その集団は第一次抽出単位と呼ばれます。
• warning
  サンプリング設計：書き出した計画の全体。フレーム、方法、単位の数、連絡の取り方、そして回答しない人への対応です。審査員や査読者がサンプリングについて尋ねるとき、実際に求めているのはこの「サンプリング設計」です。

同じ考え方を短く公式に定義したものとしては、米国研究公正局（U.S. Office of Research Integrity）のサンプリングに関する研修資料をご覧ください。¹サンプリングをより大きな研究計画の中に位置づける場合は、アンケート調査の設計のガイドでその前後の手順を解説しています。

そもそもなぜサンプリングするのか、全数調査のほうがよいのはどんなときか

サンプリングが必要な理由は、統計的である前に実務的なものです。繰り返し挙がる理由が4つあります。

1. コスト

   回答者が1人増えるごとに、費用、スタッフの時間、あるいは相手の好意が消費されます。適切に抽出した600人のサンプルは、まずい進め方をした60,000人規模の調査と同じ問いに答えられます。

2. スピード

   意思決定には期限があります。サンプルなら、答えがまだ役に立つ期間内に答えが得られます。

3. 実現可能性

   そもそも数え上げられない母集団もあります。市場の通行人、サービスの利用をやめた人、インフォーマルな商人などです。事実上無限の母集団や、単位を測定するとその単位が壊れてしまう場合もあります。

4. 品質

   これは意外に思われるかもしれません。より小さな集団に労力を集中すれば、非回答者への働きかけ、調査員の十分な訓練、データの点検ができます。通常は、単位の数よりも単位あたりの労力のほうが価値があります。

一方、全数調査は全員を測定します。母集団が到達できるほど小さい場合、連絡先がすでにそろっている場合、あるいは全員に尋ねられる権利がある場合には、全数調査のほうが適しています。200人規模の組織での従業員アンケートは、サンプリングではなく全数調査の問題です。授業評価も同様です。母集団が小さいとき、サンプリングで得られるものはほとんどなく、チーム別に報告する能力を失うことになります。

よいサンプルとは実際にどのようなものか

教科書はよいサンプルを「代表的」と表現しますが、これは実務で使える判定基準ではありません。判定基準になるのは次の4つの性質です。

• カバレッジ：目標母集団の全員が、原理的には選ばれ得たこと。
• 管理された選定：誰がサンプルに入るかを、自ら名乗り出た人や入口の近くにいた人ではなく、ルールで決めていること。
• 報告が必要な最小の集団に十分な単位があること：全体の数字が十分に見えても、本当に関心のある集団の結果がわずか11件の回答に基づいていることがあります。
• 記述できること：どのように抽出したかを正確に書き出せて、ほかの人が再現できること。

サンプルがどのように母集団推定を支えるかをわかりやすく説明したものとしては、米国国勢調査局（U.S. Census Bureau）による調査サンプリングと推論の概説が出発点として適しています。²

サンプリングフレームが上限を決める

サンプリングフレームとは、抽出の元になる具体的なリストや仕組みです。サンプリングの中で最も議論されることが少なく、実際の研究の多くが気づかないうちにつまずく箇所でもあります。そもそも誰が選ばれる資格を持つかを、フレームが決めるからです。

フレームはありふれたものです。学生名簿、患者名簿、人事の名簿、顧客データベース。世帯数つきの村のリスト、選挙人名簿、一連の注文、地区内の診療所のリスト。人を並べたフレームもあれば、場所を並べたフレームもあることに注目してください。この違いによって、使える方法が決まります。

フレームの点検は抽出の後ではなく、前に行いましょう。行数を数えます。その数を、人事の在籍者数や在籍学生数など、入手できる独立した合計と比べます。漏れていたら最も困る層を探し、含まれていることを確認します。重複を除きます。フレームから除外されるものを書き出しておきましょう。その一文は、いずれにしても研究の限界の項に入るものだからです。

9つのサンプリング方法の比較

サンプリング方法は2つの系統に分かれます。確率抽出法は無作為な仕組みを使うため、フレーム内のすべての単位が選ばれる確率は既知で、ゼロではありません。非確率抽出法はそうではないため、選ばれる確率は不明です。それ以外のことはすべて、この1つの違いから導かれます。

2列目は多くのガイドが省いている列なので、ここでは最初に置いています。許容誤差、信頼区間、あるいは「プラスマイナス5ポイント」という一文の根拠になるのは、確率的な設計だけです。そこで「いいえ」となっている方法からも多くを学べます。ただ、結果とあわせて精度の数値を公表することはできません。精度そのものは別の話題であり、サンプルサイズのガイドで取り上げています。

表の読み方：最初の5つの方法は確率的な設計で、最後の4つはそうではありません。精度の数値が誠実かどうかを決めるのは、個々の方法の名前ではなく、この1つの区分です。

確率抽出法を一つずつ解説

確率抽出法とは、フレーム内のすべての単位が選ばれる確率が既知でゼロではなく、無作為な仕組みによって選定が行われることを意味します。母集団について数値で何かを述べるための根拠は、すべてここにあります。実際の研究のほとんどは5つの設計でカバーできます。臨床研究や保健研究のレビューも同じ系統を少し異なる名前で扱っており、両方に出会う前にその理由を知っておく価値があります。ここで引用している2つのレビューはいずれも、多段抽出法を別項目として挙げず、クラスター抽出法の中に含めています。³⁴

単純無作為抽出法

単純無作為抽出法では、リスト上のすべての単位が選ばれる確率がまったく同じになります。リストに番号を振り、乱数を生成し、その番号に当たった単位を選びます。

具体例。ある大学の学籍簿に在籍学生が12,000人いて、400件の回答が必要だとします。学籍簿に1から12,000まで番号を振り、表計算ソフトや統計パッケージでその範囲から重複しない乱数を400個生成し、該当する学生を招待します。回答率を40パーセントと見込むなら、1,000人を抽出して招待すれば、400件の完了回答が現実的になります。

うまくいかない場合。学生数12,000人の学籍簿から400件の回答を得る場合、学生数300人の学部からは約10人しか含まれません。これでは報告できません。結果にいずれかのサブグループを示す必要があるなら、単純無作為抽出法は適さず、層化抽出法で解決します。

無作為化の手順を記録しましょう。使用したソフトウェア、シード値（あれば）、日付です。この一文で抽出が再現可能になり、査読者は実際にこれを求めます。

系統抽出法

系統抽出法では、並べたリストから無作為な開始点の後、k件ごとに単位を取ります。リストの件数を必要な数で割って間隔kを求め、1からkまでの間で無作為に開始点を選び、そこから数え進めます。

具体例。ある地区病院では四半期に9,000件の外来受診があり、600件の退出時インタビューを行いたいとします。間隔は9,000を600で割ったもので、kは15になります。1から15の間で無作為に開始点を選び、例えば7なら、7件目、22件目、37件目、52件目…とインタビューします。現場のチームはノートパソコンなしでこのルールに従えます。この方法が今も使われている本当の理由はそこにあります。

うまくいかない場合。周期性です。リストにkと重なる繰り返しの周期があると、毎回同じ位置を抽出してしまいます。診療日順に並んだ受診リストに7日周期があり、間隔が7なら、特定の1曜日だけが選ばれ、ほかは何も選ばれません。kを決める前に並び順を確認し、並び順が測定内容と関係している場合はリストをシャッフルしましょう。

層化抽出法

層化抽出法では、母集団を層と呼ばれる重なりのない集団に分け、各層の中で無作為サンプルを抽出します。報告が必要な各集団が確実にサンプルに含まれるため、ほとんどの研究にとって最も役立つ改善策です。

計算過程つきの具体例。ある組織には6つの州にまたがって4,200人のスタッフがおり、600件の回答が必要です。

• 比例配分。スタッフ1,400人の州は、1,400を4,200で割った値、つまり全従業員の3分の1を占めるので、600の3分の1にあたる200件の回答を割り当てます。スタッフ210人の州には、210を4,200で割って600を掛けた30件を割り当てます。どの州も規模に比例して代表され、分析時のウェイト付けは不要です。
• 非比例配分（オーバーサンプリングとも呼ばれます）。30件の回答では、その小さな州を個別に報告するには少なすぎます。そこで、代わりにその州から意図的に80件を取り、埋め合わせとして最大の州の件数を減らします。これで州ごとに選ばれる確率が異なるため、組織全体の数値を示す前に、データにウェイトを付けて実際の比率に戻す必要があります。この手順を省くことが、層化抽出法で最もよくある誤りです。

層の選び方。結果や回答しそうな人と関係があり、すでにフレームに含まれている変数を選びます。地域、拠点、役職、勤続年数の区分、コース、プランの種類、年齢層がよくある候補です。結果と無関係な層は事務作業を増やすだけで、精度は上がりません。グループ分けに使う変数がフレームにない場合は、代わりに調査票の中で収集する必要があるかもしれません。回答者を失わずにそうした変数を尋ねる方法は、属性質問のガイドで解説しています。

クラスター抽出法

クラスター抽出法では、自然に存在する集団を丸ごと無作為に選び、選ばれた集団の中の全員を調査します。必要なのは人のリストではなく集団のリストであり、この方法が存在する理由はそこにあります。

具体例。ある地区には小学校が180校あり、児童の統一リストはありません。無作為に24校を選び、各校の8年生の児童全員を調査します。学校訪問は180校ではなく24校で済み、始めるにあたって児童の名簿は一度も必要ありませんでした。

その代償。同じ学校の児童は、地区全体の児童よりも互いに似ています。そのため、すでに選んだ学校の児童が1人増えても、独立した児童1人ほどの新しい情報は加わりません。実質的な回答数は、実際の回答数より少なくなります。この膨らみがデザイン効果であり、分析の段階で気づくのではなく、計画に組み込んでおく必要があります。

うまくいかない場合。クラスターが少なすぎることです。無作為に選んだ6校は互いに大きく異なることがあり、結果はたまたまどの6校を引いたかで大きく揺れます。1つあたりの人数を減らしてクラスターを増やすほうが、その逆よりほぼ常によい結果になります。

多段抽出法

多段抽出法では、2段階以上で選びます。まず集団を、次に選ばれた集団の中の単位を、場合によってはさらにその中で3段階目を選びます。世界のほぼすべての全国世帯調査がこの方法で設計されています。

具体例。全国の区のリストから120区を選びます。選ばれた各区で、現場のチームが現地で世帯をリスト化し、その中から20世帯を無作為に選びます。選ばれた各世帯では、玄関に出た人に任せるのではなく、成人1人を無作為に選びます。これで3段階になり、最後の段階が重要です。誰が回答するかを世帯に決めさせると、この設計が避けようとしていた選択バイアスがそのまま戻ってしまいます。

その代償。人によって選ばれる確率が異なるため、分析にはウェイトが必要であり、分散の計算では各段階のクラスター化を考慮しなければなりません。これは本格的な設計であり、ウェイト付き分析を実行できる人が必要です。プロジェクトにそれができる人がいないなら、ウェイトなしの多段抽出ではなく、より単純な設計を選びましょう。

層化抽出法とクラスター抽出法：違いをひと言で

この2つはどちらも母集団を集団に分けることから始まるため、いつも混同されます。違いはその次に何をするかです。

非確率抽出法を一つずつ解説

非確率抽出法とは、誰が選ばれるかを無作為な仕組みが決めていないため、選ばれる確率が不明であることを意味します。これが正しい選択となる状況は4つあります。使えるフレームが作れないとき。対象集団が見えにくいとき。精度よりスピードが重要なとき。あるいは、問いが規模ではなく意味に関するものであるときです。

これらの方法は二流ではありません。別の問いに答えているのです。失敗とは、これらを使うことではなく、使ったうえで確率サンプルでなければ裏づけられない一文を書いてしまうことです。

便宜的抽出法

便宜的抽出法は機会抽出法とも呼ばれ、最も到達しやすい人を募集します。ウェブサイトのポップアップ、ニュースレターのリンク、自分のクラスの学生、市場の売り場の前を通る人などです。

例。ある店がレシートにフィードバック用のリンクを載せたとします。回答する人は全員、何かを購入し、スマートフォンを持っていて、時間があり、わざわざ答える理由があった人です。こうしたふるいの一つひとつが、顧客層の異なる部分を取り除いています。

誠実な使い方。調査票のパイロット調査、仮説の生成、顧客が使う言葉の把握、質問が理解されるかの確認。どれも優れた使い方です。いずれも母集団推定を必要としません。

割当抽出法

割当抽出法では、指定した集団ごとに募集の目標数を決め、それを埋めます。農村部40人と都市部60人。女性50人と男性50人。5つの年齢層それぞれに20人などです。

例。ある市場調査チームが、年齢、性別、地域の構成が全国と一致する500件の回答を必要としていますが、母集団のリストはありません。チームは各セルが埋まるまで募集します。

それでも確率抽出法ではない理由。割当が管理するのはサンプルの構成であって、その中の人の選定ではありません。募集する人が選ぶことに変わりはなく、声をかけやすい人とそうでない人は系統的に異なります。サンプルが年齢と性別で母集団と完全に一致していても、態度については大きく外れることがあります。結果をゆがめていたのは、そもそも年齢と性別ではなかったからです。

目的的抽出法

目的的抽出法は判断抽出法とも呼ばれ、明示した基準を満たすケースを意図的に選びます。よくある種類として、典型ケース、極端ケース、決定的ケース、最大多様性、専門家の選定があります。

例。新しい決済システムの使われ方を調べる研究で8人を選びます。毎日使う人2人、使うのをやめた人2人、一度も使い始めなかった人2人、苦情に対応するサポートスタッフ2人です。この広がりは意図して選んだものであり、その理由づけこそが方法です。

誠実な使い方。ほとんどの質的研究です。ここでの基準は無作為性ではありません。ほかのケースではなくなぜこのケースなのかを説明できるか、そして主張を裏づけるのに十分なほど幅広い見方を含んでいるかです。

スノーボール・サンプリング

スノーボール・サンプリングでは、少数の参加者を募集し、その人たちに基準に合うほかの人を紹介してもらい、紹介された人がさらに別の人を紹介します。

例。国境を越えて取引するインフォーマルな商人の研究で、地元の協会を通じて特定した4人の参加者から始め、それぞれが2人ずつ紹介します。インフォーマルな商人の名簿は存在しないため、フレームに基づく方法は使えません。

サンプルへの影響。同類性です。人は自分に似た人を紹介します。サンプルは1つの人間関係のネットワークに偏り、母集団の中で孤立した人から離れていきます。研究が最も声を聞く必要があるのは、多くの場合そうした人たちです。1人ではなく、互いにつながりのない複数の起点から始めれば偏りは減りますが、なくなりはしません。

非確率サンプルの妥当性を説明できるようにするには

多くのガイドは「一般化はできません」で終わり、読者を置き去りにします。しかし読者の多くが行っているのは、まさにこの種の研究です。ここでは、たいてい抜け落ちている部分を説明します。

• 方法の名前だけでなく、募集の方法を記述しましょう。リンクをどこに掲載したか、どの期間か、誰が見たか、謝礼を提示したか、何人に声をかけ何人が回答したか。これがあれば、読者は推測ではなくサンプルを評価できます。
• 得られたサンプルを既知の基準値と比較し、その比較を公表しましょう。組織の60パーセントが現場スタッフなのに回答者の25パーセントしか現場スタッフでないなら、表にしてそう書きます。明示された偏りは知見です。隠れた偏りは欠陥です。
• ウェイト付けでできることとできないことを知っておきましょう。属性が母集団と一致するようにデータを調整すれば、目に見える偏りは補正できます。しかし、測定しなかった何かの点で回答者と異なる人については補正できず、非確率サンプルを精度の主張を裏づけるサンプルに変えることも決してできません。
• 統計ではなく、文章を変えましょう。「顧客の38パーセントが不満を持っている（プラスマイナス4ポイント）」ではなく、「回答した顧客620人のうち38パーセントが不満を報告しました。回答者はアプリ内の案内で2週間にわたって募集したもので、顧客の無作為サンプルではありません」と書きます。2つ目の文章のほうが短く、役に立ち、反論の余地がありません。

質的研究には、このための独自の用語があります。研究計画書では通常、数値目標ではなく根拠が求められます。そこでは想定する人数と見方の幅の両方に触れるべきであり、その区別はバース大学（University of Bath）のガイドが簡潔に述べています。⁵

状況に方法を当てはめる

6つの状況と6つの方法。答えを開く前に決めてください。上の表が本当に理解できたかを確かめる最も早い方法です。

サンプリング方法の選び方

多くの研究が失敗するのは、名前のついた手法の選択を誤ったからではありません。手法がフレーム、意思決定、または現場のチームが現実に実行できることに合っていなかったからです。ほぼ毎回、3つの問いで決着がつきます。

1. 示すべき主張から始める

   何かを選ぶ前に、公表したい文章を書きましょう。「当社の顧客の62パーセントが当社を推薦する」と「離れていく顧客は3つの繰り返し起こる問題を挙げている」は、異なる設計を必要とする異なる文章です。結果を母集団の数値として扱う人がいないなら、思っているよりはるかに自由に選べます。

2. 確定する前にフレームを点検する

   母集団、またはそれに近い代わりのものを実際にリスト化できますか？できないなら、その人たちが属する集団をリスト化できますか？この1つの問いに答えるだけで、9つの方法のほとんどがすぐに除外されます。だからこれは最後ではなく2番目に置いています。

3. 報告が必要なサブグループを明示する

   地域、拠点、役職ごとに結果を示す必要があるなら、それが層や割当を通じて設計を左右します。各集団で必要な回答数も左右します。これを実査の後に決めても、取り返しはつきません。

4. 設計を現場の現実と照らし合わせる

   時間、予算、連絡の取りやすさ、言語面のアクセス、読み書きの能力、通信環境、謝礼の方針によって、何が実行可能かが決まります。現場のチームが従えない設計は、正式な名前がついただけの便宜的抽出法になり、正直に便宜的抽出法を選ぶより悪い結果になります。誰も取り残さない募集計画を立てれば、系統的な過少代表を減らせます。⁶サンプルを選んだら、オンラインアンケート作成ツールで調査票を準備し、サンプリング計画で選んだ人に送りましょう。誰でも開ける公開リンクを共有すると、回答できる人が変わってしまいます。無作為サンプルは保たれません。

サンプルが実際にゆがむポイント：カバレッジ、選定、非回答

選定は誰もが心配する部分ですが、最も問題が起こりにくい部分です。問題が生じるのはたいてい選定の前、つまりフレームの段階か、選定の後、つまり誰がわざわざ回答するかの段階です。どちらも、きれいに見える表計算シートと誤った結論を生み出します。

最も有名なサンプリングの失敗は、回答者が240万人いた

1936年、Literary Digest誌は、アルフ・ランドンが約55パーセントの票を獲得すると予測しました。実際にはフランクリン・ルーズベルトが約61パーセントを得て勝ちました。⁷同誌は1,000万枚の投票用紙を郵送し、約240万枚の返送を得ていました。回答率24パーセントは、今日の全国世論調査のどれも遠く及ばない水準です。⁸250万人というサンプルに基づきながら、この調査はルーズベルトの得票率を実際より20ポイント低く見積もりました。

サンプリングを扱うすべてのページに載せるべき数字。後年の再分析で、Digest誌の州別推定値のサンプリングによる許容誤差が計算されました。その範囲は0.18から2.3パーセントポイントで、中央値は0.6でした。⁸プラスマイナス0.5ポイントという精度の数値が、20ポイントの誤差の上に乗っていたのです。許容誤差が測っているのは、アンケートが間違い得るいくつもの道筋のうちの1つにすぎないことを、これほど明快に示す例はありません。

しかも、定番の説明は半分しか正しくありません。Digest誌は裕福で共和党寄りの自動車所有者と電話加入者を抽出した、と誰もが教わります。この主張を実証的に検証した研究の1つは、1937年5月のギャラップ調査を用いました。自動車と電話の両方を所有する人でさえ、55対45でルーズベルト支持でした。Digest誌の投票用紙を受け取ったと答えた人全体では、ルーズベルトが55対44でリードしていました。フレームは共和党寄りでしたが、ランドンの圧勝を生むほどではまったくありませんでした。⁷

欠けている半分は非回答です。投票用紙を返送したと答えた人の中では、ランドンが51対48でリードしていました。返送しなかった人の中では、ルーズベルトが69対30でリードしていました。大まかに分解すると、誤差のうち約11ポイントがフレームに、約7ポイントが回答傾向の差による非回答に帰せられます。⁷Digest誌がすでに尋ねていた質問、つまり1932年にどう投票したかで返送分にウェイトを付けていれば、1936年当時に使えた計算だけで正しい勝者を導けたはずです。⁸

高い回答率は、思っているほど目指すべき目標ではない

ピュー・リサーチ・センター（Pew Research Center）自身の電話調査の回答率は、1997年の36パーセントから2012年には9パーセントに、2018年には6パーセントに低下しました。⁹一方、対面で実施されたインドの全国家族健康調査（National Family Health Survey）では、664,972世帯を選び、そのうち653,144世帯に人が住んでいることを確認しました。そのうち636,699世帯にインタビューし、回答率は97.5パーセントでした。この分母は注意して読んでください。回答率が誤りやすいのは、まさにここだからです。居住世帯数ではなく選んだ世帯数を分母にすると、同じ実査が95.7パーセントになります。この調査は、全707県にわたる30,456のクラスターからサンプルを抽出しました。¹⁰

この2つの事実は同じ10年の間のことです。回答率を左右するのは、アンケート疲れについての全般的な主張よりも、調査方法と実査にかける労力のほうがはるかに大きいのです。平均回答率は何パーセントだと1つの数字で示すガイドがあれば、それは実在する量を説明していません。

ここからが、より厳しい知見です。30の公表研究から得た235件の非回答バイアス推定値のメタ分析では、回答率と非回答バイアスの大きさの相関は0.33でした。これを2乗すると、回答率で説明できるのはバイアスのばらつきの約11パーセントということになります。¹¹非回答バイアスを測るために特に設計された59件の研究を対象とした追跡研究も、同じ結論に達しました。¹²

回答率は報告する価値があり、改善する価値もあります。しかし、品質の証明書ではありません。バイアスの原因になるのは、回答する傾向が測定する事柄と結びついているかどうかです。ボランティア活動についてのアンケートは、ブロードバンドの速度についてのアンケートよりはるかにその影響を受けます。追うべきはパーセンテージではなく、相関です。

回答を増やしても、壊れたフレームは修復できない

2021年のワクチン接種の展開期に、2つの非常に大規模なアンケートが米国のワクチン接種率を追跡しました。1つは毎週約250,000件の回答を集め、1回目の接種率を公式の基準値より17パーセントポイント高く見積もりました。もう1つは2週間ごとに約75,000件を集め、14パーセントポイント高く見積もりました。標準的な確率抽出の手法で実施された約1,000人の3つ目のアンケートは、信頼できる推定値を出しました。¹³

同じパターンは、通常のアンケート業務にも現れます。3つの確率パネルと3つのオンライン公募型の情報源を、28の基準値と29,937件のインタビューで比較したところ、平均絶対誤差は公募型サンプルで5.8パーセントポイント、確率パネルで2.6パーセントポイントでした。そのうちサブグループについて利用できた25の基準値では、18歳から29歳の成人での差は11.2対3.6でした。¹⁴

そして印象的な診断例があります。ある公募型アンケートでは、30歳未満の成人の12パーセントが、原子力潜水艦を操縦する資格を持っていると答えました。¹⁵実際の数値はほぼゼロです。パネルがこのような結果を出せるなら、どんな結果でも出せます。同じパネルに大量に発注しても、同じものをより多く買うだけです。

米国と英国以外で、フレームから漏れる人

サンプリングのガイドの多くは、暗黙のうちに欧米型のフレーム、つまりメールリスト、固定電話、全国住所登録を前提にしています。世界の多くの地域ではそのようにサンプリングしておらず、カバレッジの欠落には測定された形があります。

• 低・中所得国でのオンラインアンケートは、その国のネットにつながっている部分のサンプルであり、その部分は男性に偏っています。低・中所得国の女性がモバイルインターネットを利用する割合は男性より14パーセント低く、オンラインの女性は男性より約2億3,500万人少ない計算になります。¹⁶
• 電話サンプルでは世帯主が過大に代表されます。アフリカ4か国での世界銀行の電話調査では、回答者の男性比率はウガンダで52パーセント、ナイジェリアで73パーセントでした。成人人口ではおよそ半分です。ウガンダでは電話回答者のうち15歳から24歳は6パーセントでしたが、成人人口では38パーセントでした。¹⁷
• その対策。1つの調査方法に固執せず、複数を組み合わせます。登録簿がない地域では現地で世帯をリスト化します。母集団が実際に読む言語で実施し、翻訳は逆翻訳で済ませずにプリテストで確認します。そのうえで残る欠落を研究の限界に明記しましょう。それでも欠落は残るからです。

ウェイト付けで直せること、直せないこと

ウェイト付けは、サンプルの構成が既知の母集団の数値と一致するようにデータを調整します。本当に強力な手法ですが、日常的に過大評価されています。

有効だという根拠。2016年、ニューハンプシャー大学（University of New Hampshire）の最終世論調査では、クリントンが11ポイントリードしていましたが、実際の差は0.4ポイントでした。この調査は学歴による調整をしていませんでした。検証委員会は、この1つの調整だけで誤差は実質的にすべてなくなっていたと結論づけました。¹⁸回答と結果の両方に相関する1つの変数が、すべてを担っていたのです。

頼りすぎてはいけない根拠。30,000件を超えるオンライン公募型インタビューを24の基準値で評価したところ、ウェイトなしの平均推定バイアスは8.4パーセントポイントでした。高度なマッチング手法を含め、検証したどのウェイト付けの手順でも、平均バイアスを6ポイント未満に下げることはできませんでした。¹⁹サンプルサイズを4倍にしても、改善はさらに0.2ポイントにとどまりました。

ここから導かれるルールは単純です。ウェイト付けは、ウェイトに使った変数の偏りを、その変数が結果と関係している範囲で補正します。測定しなかった事柄で回答者と非回答者が異なる点には何の効果もなく、非確率サンプルを精度の主張を裏づけるサンプルに変えることも決してありません。

精度の数値は上限ではなく下限

許容誤差が数値化するのはサンプリングによるばらつきだけです。サンプルが目標母集団から無作為に抽出され、残るバイアスが取り除かれていることを前提としています。カバレッジ誤差、非回答バイアス、測定誤差、不正な回答者は、すべてその範囲外です。

証拠は明白です。2020年の最後の2週間に、州レベルの大統領選世論調査348件が許容誤差を報告しており、報告された数値の平均は3.9ポイントでした。その平均を基準にすると、55パーセントが最終的な得票差を許容誤差1つ分以上外し、21パーセントが2つ分以上外していました。²⁰いずれも最新の手法を使った最近の世論調査です。許容誤差は不確実性の上限ではなく、常に下限として扱いましょう。

等級Aは、公的統計、メタ分析、または再現された知見を意味します。等級Bは、結論がまだ独立に再現されていない1件の有力な研究を意味します。

デザイン効果：クラスターサンプルにより多くの人が必要な理由

ほとんどのガイドは、コスト削減を理由にクラスター抽出法を勧めてそこで終わります。削減は本物ですが、その代償も本物です。同じ学校、診療所、病棟、店舗の中の人は互いに似ています。母集団全体から無作為に選んだ人同士よりも似ているのです。そのため、すでに選んだ集団からの回答が1件増えても、新しい情報は少なくなります。

これを測る数値がデザイン効果です。言葉で言えば、同じ人数を独立に抽出した場合と比べて、不確実性がどれだけ広がるかを示します。集団の大きさがそろった設計では、次のとおりです。

デザイン効果 = 1 + (集団の平均サイズ - 1) x 級内相関

級内相関とは、測定している事柄について、集団の中の人がどれだけ似ているかを示す値です。0なら、同じ学校にいることは児童の回答について何も教えてくれません。1なら、学校の全員がまったく同じ回答をし、その学校は1人の人間と変わりません。実際の値は小さいものの、集団の大きさが大きくなると、小さな値でも結果に大きく影響します。48の全国世帯調査をまとめると、級内相関の平均は約0.06です。値は測定する内容によって異なります。全国の数値では、出生力の項目は約0.01から0.03、現在の避妊法の使用は0.03から0.05、医療者の介助による出産は0.22にも達します。²¹

自前の推定値がない場合は、既定値を慎重に借りましょう。DHSのサンプリングマニュアルでは、調査に独自の数値がない場合、deftの代替値として1.5を用います。²²deftは上の式のデザイン効果と同じ量ではありません。deftは2つの標準誤差の比であり、デザイン効果は2つの分散の比です。deftを2乗するので、deftが1.5ならデザイン効果は2.25になります。マニュアルはこの値を典型的な値ではなく代替値と呼んでおり、マニュアル自身の計算例では、近代的避妊法の使用に1.40、子どものワクチン接種に1.22を用いています。

ウェイト付けにも独自の効果があります。ある地域をオーバーサンプリングし、その後ウェイトで元に戻す全国調査には、2つのデザイン効果が同時に生じます。ウェイト付けの効果1.22とクラスター化の効果1.80で、全体のデザイン効果は2.20になります。つまり、インタビューした5,000世帯は独立した2,277世帯と同じ働きしかしません。²³

設計上の教訓。1つあたりの人数を減らして集団を増やすほうが、集団を減らして1つあたりの人数を増やすより、ほぼ毎回優れています。児童24人ずつの40校と児童40人ずつの24校は、どちらもほぼ同じ960件の回答の費用がかかりますが、前者のほうがデザイン効果が小さく、根拠のある結果になります。全体で必要な回答数を計画する場合は、サンプルサイズのガイドで計算してから、デザイン効果を掛けましょう。逆の順序で進めると、クラスター化した研究は検出力不足に陥ります。

最初から最後まで追う3つの具体例

方法の名前は簡単です。研究が実際につまずくのは、その周辺の判断です。この3つの例では、母集団の定義から公表できる文章まで、実際の設計を一通り追います。

例1：地区全体の患者体験

• 母集団。4月1日から6月30日までの間に、地区内の公立診療所46か所のいずれかで外来診察を受けた成人。
• フレーム。地区全体の患者名簿は存在しません。46か所の診療所のリストは月ごとの受診者数つきで存在します。
• 方法。多段抽出。受診者数に比例した確率で18か所の診療所を選び、無作為に選んだ2日間の診療日に、診療所を出る患者を8人目ごとに系統抽出します。
• もっと単純な方法にしない理由。患者の完全なリストがあれば層化抽出法が使えますが、リストは存在せず、期限内に作ることもできません。最大の3か所の診療所で便宜的サンプルを取ればより早く済みますが、それが表すのは最大の3か所の診療所だけです。
• 報告が必要なこと。診療所の規模によって選ばれる確率が異なるため、分析にはウェイトが必要であり、区間はデザイン効果の分だけ広げる必要があります。
• 公表できる文章。「第2四半期に地区の公立外来診療所を受診した成人のうち、推定71パーセントが待ち時間を許容範囲と評価しました。受診者数に比例した確率で選んだ18か所の診療所での1,240件の退出時インタビューに基づきます。」

例2：学生の母集団を対象とした学位論文の研究

• 母集団。今年度に商学部に在籍する学生：3学年で3,100人。
• フレーム。学年と課程が記載された学部の在籍者名簿。
• 方法。学年による層化無作為抽出、比例配分、目標は完了回答350件。
• 計算。1年生は1,300人で、3,100人の42パーセントなので、350件の42パーセントにあたる147件の回答を割り当てます。各学年で同様に計算します。比例配分なので、ウェイト付けは不要です。
• 回答の計画。回答率を35パーセントと見込むなら、350件の完了回答を得るにはおよそ1,000人の学生を招待する必要があります。また、層ごとに招待しましょう。そうすれば、ある学年の回答が低調なとき、まだ手を打てる時間のうちに気づけます。
• 明記すべき限界。退学したのに名簿に残っている学生は過剰カバレッジです。名簿を抽出した後に入学した学生はカバレッジ不足です。どちらも限界の段落に記載します。

例3：オンラインストアの顧客フィードバック

• 母集団。過去90日間に注文を完了した顧客。
• フレーム。注文テーブル。オンライン注文についても、ゲスト購入についても完全ですが、アカウントを2つ持つ顧客は2回載っています。
• 方法。顧客1人につき1行になるよう重複を除き、無作為な開始点の後、12人目ごとの顧客を系統抽出します。1回にまとめてではなく、継続的に実施します。
• これで避けられる落とし穴。ニュースレターの購読者だけを招待するほうが早いですが、それは最も熱心な顧客の便宜的サンプルです。満足度は実際より高く見え、それは毎四半期、確実にそうなります。
• 従業員についての注意。同じ組織が自社のスタッフ180人を調査する場合は、サンプリングすべきではありません。その母集団は小さく、到達可能で、全員に尋ねられる権利があります。全数調査を行い、参加が少なければ、それをサンプリングの問題ではなく知見として扱いましょう。

研究方法のサンプリングの部分の書き方

これは多くのガイドが省く手順ですが、指導教員、査読者、クライアントが実際に読むのはここです。サンプリングの記述では、5つの問いに順番に答える必要があります。誰を、どのリストから、どのように選び、何件で、その結果何を主張してよいのか、です。

下の空欄を埋めてください。あえて平易にしています。審査員がここで求めているのは美しい文章ではなく、評価できる設計です。

同じ研究の、弱い書き方とよい書き方

弱い例。「学生の無作為サンプルを抽出し、350件の回答を集めた。」

ここには確認できることが何もありません。「無作為」という言葉が根拠なしに重みを担わされており、フレームも、分母も、誰が除外されたかの記述もありません。

よい例。「目標母集団は、2026年に商学部に在籍する学生3,100人とした。サンプリングフレームは、2026年3月3日に抽出した学部の在籍者名簿である。各学年を別々に報告できるよう、学年による比例配分の層化無作為抽出を用いた。1,000人の学生を招待し、350人が調査票に回答を完了した。回答率は35パーセントである。比例配分のため、ウェイト付けは行っていない。抽出日以降に退学した学生はフレームに残り、特定できなかったが、これは過剰カバレッジの軽微な原因である。」

2つ目のほうが長いですが、追加した一文一文が、査読者がもう尋ねなくてよい一文になっています。

サンプリング計画チェックリスト

サンプリング計画を書面にしておけば、避けられる誤りのほとんどを防げます。判断を分析中ではなく実査の前に下さざるを得なくなるからです。8項目、1ページです。

計画が固まったら、サンプルを抽出した価値があったかどうかは調査票で決まります。完璧なサンプルでも、誘導的な質問やダブルバーレル質問は救えません。実施する前にアンケートの質問例に目を通しておく価値があります。

よくある質問

関連記事

サンプリングは、より大きな研究の中の1つの判断です。以下のガイドでは、その前後の判断を取り上げています。

• アンケート調査の設計では、母集団の定義から実施まで、サンプリングを研究のほかの部分とつなげて順に解説しています。
• サンプルサイズの決め方では、このページがあえて扱わなかった精度の計算を、式も含めて解説しています。
• アンケートの質問の書き方では、どのようなサンプリング設計でも救えない測定の側面を解説しています。
• 調査票設計の原則では、質問ができた後に調査票全体をどう組み立てるかを解説しています。
• 回答バイアスでは、選んだ人と回答した人の違いをさらに詳しく解説しています。
• 属性質問は、層化に必要な変数がフレームにない場合に役立ちます。
• 統計的有意性では、サンプルが集まった後に数値をどう扱うかを解説しています。
• 量的データ分析では、ウェイトをどこで使うかを含め、その後の分析の手順を解説しています。

このガイドの作成方法と、扱っていない内容

執筆者。Michael Hodge。SuperSurveyでアンケートの方法論、質問設計、データ品質に携わり、ガイドとヘルプの実用ガイドを執筆しています。

根拠。定義は、下記に引用した方法論のレビューと大学の研究ガイダンスに従っています。専門用語が実際に定義されているのはそこです。公的な研究公正機関や統計局のページは、平易な入門資料として挙げているものであり、定義の出典ではありません。方法の説明も同じレビューとガイダンスに従っています。根拠のセクションの数値はすべて、下記に名前を挙げた一次資料に基づいています。各主張には確度の等級も付けているので、どの知見が確立されていて、どれが1件の研究に基づくものかがわかります。グラフと表のデザイン効果の数値は当社による計算です。標準的な式を用い、前提はキャプションに記載しているので、ご自身のクラスターの大きさで計算し直したり、検討し直したりできます。

扱っていない内容。このガイドは、アンケートと観察研究のためのサンプリングを扱っています。実験計画や無作為割付については、区別を示す以上には扱っていません。同じ言葉を別の意味で使う、受入検査、監査、信号処理のためのサンプリングも扱っていません。回答者駆動型サンプリング、時間・場所サンプリング、適応型クラスター抽出法は、専門家が見えにくい母集団に用いる実在の手法ですが、ここでは範囲外です。級内相関の数値は、低・中所得国の世帯調査によるものです。別の状況にそのまま持ち込む値ではなく、説明用の例として扱ってください。

数値の根拠が最も弱いところ。Literary Digest誌の再分析は、1937年の1件の調査と後年の1件の再分析に基づいており、どちらの著者も自らの不確実性を指摘しています。そのため等級Bとしています。世論調査の誤差の数値は米国の選挙世論調査によるもので、これは異例なほどよく研究されており、アンケートの誤差全般を必ずしも代表するものではありません。

開示事項。SuperSurveyはアンケートソフトウェアを販売しています。このページで販売しているものはなく、どの部分にも登録は不要です。また、このガイドはどの組織からも資金提供やレビューを受けていません。当社のページにリンクしているのは、次の判断を扱っているからであって、リンクによって何かを得るためではありません。

参考文献