アンケート調査の設計

調査設計とは、人々のサンプルから標準化された回答を集め、それを使ってより大きな母集団を記述または説明する調査の計画です。質問を1つ書く前に、5つのことを決めます。何を推定するか、誰に尋ねるか、どのように選ぶか、どのように届けるか、返ってきたものをどのように分析するかです^{1, 4}。

アンケート調査のほとんどは観察研究です。介入を割り当てずに、人々が報告することを記録します。母集団を記述したり関係を調べたりすることはできますが、その結果だけでは因果関係は立証できません。アンケート実験では、無作為割り当てを加えて、質問の表現などの特定の変更を検証します。

調査設計とは？　定義、目的、使うべき場面

アンケート調査の標準的な定義は、標準化された調査票または面接を使って、人々に関するデータ、つまり人々が何をし、何を考え、何を知り、何を好むかを集めることです⁴。設計とは、それらの回答をエビデンスとして使えるものにする一連の決定です。Fowlerは簡潔にこう述べています。目的はサンプルに尋ねることで母集団に関する統計を出すことであり、設計とは、サンプルと質問をその目的に合わせるためのすべてである、と³。

方法論の章では、同じ計画がアンケート調査の研究デザイン、研究におけるアンケート設計、アンケート設計の方法論と呼ばれることもあります。いずれもここで説明する計画を指します。3つの言葉を区別しておくと役立ちます。調査票は道具です。アンケートはそれを取り巻く調査全体です。アンケート調査の方法論は、アンケートをうまく行う方法に関する研究の蓄積で、設計が制御しなければならない誤差の発生源、つまりカバレッジ、サンプリング、非回答、測定、処理を軸に体系化されています¹。良い設計は、これらのリスクをそれぞれ明示し、対策を講じます。

アンケートの目的は、尋ねた人よりも大きなグループについて、本人にしか分からないことを数値にすることです。アンケートによる設計を使うべきなのは、必要なことを本人が最もよく知っている場合（満足度、意向、意見、私的な行動）、少数の人の話ではなく定義されたグループの数値が必要な場合、そしてそのグループに似たサンプルに届けられる場合です。使うべきでないのは、答えがすでにどこかに記録されている場合（売上、ログ、出席）、原因を証明する必要がある場合、または回答する人が記述すべき人と異なる場合です。そうした場合、関連性の問いには相関研究を、因果の問いには実験を検討しましょう。

アンケート調査は定量的か、定性的か

ほぼすべての場合、定量的です。アンケートは回答を件数、割合、平均、相関に変え、統計で分析します。Creswellは、アンケートを実験と並ぶ定量的な設計に分類しています⁹。自由回答形式の質問をテーマにコード化して数値と並べて報告する場合、アンケートは混合研究法になります。定性的になるのは、調査票全体が意味を分析する自由回答の質問で構成されている場合だけで、それはアンケートというより構造化面接による研究に近いものです。

この問いがよく聞かれる理由は、リッカート項目が測定値ではなく意見のように見えるからです。それでも数値であることに変わりはありません。何人、どのくらい、どのくらいの頻度かを記述する必要があるなら、定量的なアンケートを実施していることになります。人々自身の言葉で理由を理解したいなら、自由回答形式の質問を2〜3個加え、そのコーディングを別の定性的なステップとして扱いましょう。

調査設計の種類

アンケートの設計は3つの別々の軸で呼び分けられ、方法論の章では通常それぞれから1語ずつ必要になります。目的（数値を何に使うか）、時間構造（いつ、どのくらいの頻度で測定するか）、実施方法（どのように回答してもらうか）です。「記述的な横断的オンラインアンケート」で、設計の記述として完結します。

方法論の章のための、呼び方に関する2つの注意点です。「記述的な調査設計」と「横断的」は対立するものではなく、学生のアンケートのほとんどはその両方です。また、グループを比較するアンケートでも、人をそれらのグループに割り当てたのでなければ非実験的なので、準実験的ではなく、分析的または相関的と呼びましょう⁹。

どの調査設計が必要か

3つの質問に答えると、選択ツールが設計の名前を示し、1段落で説明し、貼り付けて完成させられる方法論の文を作成します。ブラウザ内で動作し、どこにも何も送信しません。

アンケート調査の方法：8つのステップで調査を設計する

順序が重要です。各ステップが次のステップの範囲を絞り込み、飛ばしたステップはすべて、後で書かなければならない限界として戻ってきます。ステップにこのサイトの専用ガイドがある場合はそこにリンクしています。このページでは詳細ではなく、判断に絞って説明します。

1. 意思決定と母集団を1つの文で書く

   「第2四半期の米国のアクティブな顧客のうち、当社を勧める人の割合を、全体およびプラン別に推定する。」この文によって、対象とする母集団、必要なサンプリングフレーム、分析単位、約束する推定値が決まります。これが書けないなら、まだ質問を書く準備ができていません。

2. 設計の種類を選ぶ

   記述的か分析的か。横断的、反復、縦断的のどれか。単一の実施方法か混合か。上の選択ツールと種類の表を使いましょう。スナップショットには1回の調査で足ります。トレンドには各回で同一の表現が必要です。「誰が変化したか」という問いには、同じ人、再連絡への同意、継続して参加してもらうための計画が必要です。

3. サンプリングの方法を選び、受け入れる偏りを明示する

   確率抽出法（フレームのすべての対象が、既知のゼロでない確率で選ばれる）があってこそ、許容誤差に意味が生まれます。便宜的サンプル、志願者サンプル、オプトインサンプルは、製品へのフィードバックやパルスサーベイには問題ありませんが、主張できる範囲は届いた人に限られます。9つの方法は研究におけるサンプリングで比較しています。何を選ぶにしても、サンプルが母集団と異なりうる上位3つの要因（カバレッジ、自己選択、非回答）と、それぞれのチェック方法を1つずつ挙げましょう。たとえば、早い回答者と遅い回答者を比較する、サンプルの構成を既知のベンチマークと比較する、などです^{1, 5}。

4. サンプルサイズを決め、そこから招待数を逆算する

   信頼水準95パーセント、許容誤差5ポイントで割合を推定する場合、大きな母集団ならどれでも約385件の完了で足ります。3ポイントなら約1,068件が必要です。小さな母集団ではもっと少なくて済みます。母集団500なら218件、1,000なら278件、10,000なら370件です。比較したいサブグループには、それぞれ独自の下限が必要で、通常は100件以上です。そのうえで、必要な招待数 = 完了数 / (適格率 × 回答率 × 完了率)です。適格率90パーセント、回答率25パーセント、完了率80パーセントで300件の完了を得るには、招待数は1,667件になります。計算と許容誤差はサンプルサイズ計算ツールで行えます。

   ここでは当社のデータから2つの数字が役立ちます。3問以上のアンケートは、回答を開始した人の約81パーセントが完了するため、最後の項には0.8が妥当な初期値です。また、アンケートが最終的に集める回答結果の62.8パーセントは初日に、86パーセントは1週間以内に集まるため、実査期間はカレンダーではなく配信を基準に計画しましょう。

5. アンケートの方法（実施方法）と連絡計画を選ぶ

   アンケートの方法、つまり実施方法によって、誰に届けられるか、どのように回答されるか、コストがどのくらいかが決まります。主なアンケートの方法は、オンライン、電話、郵送、対面、混合方式です。オンラインは速く安価で、分岐にも対応できます。電話と対面はメールを持たないグループにも届き、調査員が説明を補えますが、調査員効果とコストが伴います。郵送はデジタルに不慣れなグループに届きますが時間がかかります。混合方式はカバレッジを高めますが、表現とレイアウトを同一に保たないと回答がずれます²。連絡は設計の一部として計画しましょう。DillmanのTailored Design Methodでは、タイミングを計った複数回の連絡（事前通知、招待、リマインダー、最終連絡）を、それぞれ異なる文面で行います²。SuperSurveyでは全回答結果の73.9パーセントがスマートフォンから届くため、計画していてもいなくても、オンラインの設計はモバイルの設計です。

6. 分析に合わせて調査票を作る

   各構成概念を平易な言葉で定義し、分析に必要な形式を選びましょう。割合ならカテゴリー、平均やトップボックスなら評価スケールや同意尺度を使い、1項目に1つの内容、答えやすく関連性の高い質問を先に、デリケートな項目を後に置きます^{8, 7}。ご自身の構成概念について妥当性が検証された調査票がある場合は、それを使って引用しましょう。書くこと自体は別の作業です。7ステップの手順は調査票の設計、表現はアンケートの質問の書き方、両者の選び方はリッカート尺度と評価スケールをご覧ください。下のベンチマークでその影響が数値化されているため、構造に関する2つの判断はここで行っておく価値があります。質問を必須にすること（完了率への影響は0.4ポイントで、回答が13パーセント増える）と、メールアドレスや自由回答の入力欄で終わらせないことです。

7. プリテスト、パイロット調査、そして実施

   表現やロジックの問題を見つけるために、対象グループの数人に考えを声に出してもらいながらプリテストを行いましょう。その後、実際のリストの一部でパイロット調査を行い、回答時間、離脱ポイント、スクリーニングや割り当てが想定どおりに機能するかを確認します^{3, 5}。パイロット調査は無料オンラインアンケート作成ツールで作成し、本番の配信と同じスキップロジック、必須設定、スマートフォンのレイアウトで動くようにしましょう。リマインダーより先に招待文を整えます。目的、所要時間、締め切り日、そして守れるプライバシーの約束だけを記載しましょう。匿名とは識別子を一切集めないことであり、機密とは識別子を保持しつつアクセスを制限することです。管理方法はアンケートのプライバシーをご覧ください。テーマによって誰かが危険にさらされる可能性がある場合は、少人数のセルを伏せたうえで集計値のみを報告しましょう。

8. 実査の前に分析と品質のルールを計画する

   最初に、データクリーニングのルール（重複、パイロット調査の中央値と比べてありえない回答時間、グリッドでのストレートライニング）、主要な結果指標、最小サイズを決めたサブグループの切り口、ウェイト付けの変数（ある場合）、適用する有意性のルールを書いておきましょう¹。回答率はAAPORの標準定義を使って報告し、ほかの読み手にとっても同じ意味を持つ数字にします⁶。そのうえで、報告書では分かったことと、それをどう明らかにしたかを分けて記載します。母集団、フレーム、実施方法、実査期間、完了数、ウェイト付け、限界です。解釈上の2つの落とし穴は統計的有意性と回答バイアスで、それ以外は定量データ分析で解説しています。

実際に多くのアンケート設計がつまずくのは、調査票ではなくステップ7と8です。プリテストにかかるのは1日ですが、結果を見た後に作ったクリーニングのルールは信頼性を損ないます。

227万件の回答結果が示すアンケート設計のポイント

設計上の選択が完了とどう関係しているかを調べるため、2023年9月から2026年8月までのSuperSurveyアンケート作成ツールの記録を分析しました。人がどこで回答をやめたか、何をスキップしたか、質問の種類ごとにどのくらいの時間がかかったかです。これらは観察に基づく比較であり、パイロット調査の参考にはなりますが、1つの設定を変えればどのアンケートでも同じ結果になることを証明するものではありません。

1. 人は途中ではやめない

各線は、その長さのアンケートを開いた100人を追跡したものです。質問7の位置の高さは、その時点でまだ回答している人の割合です。各アンケートは同じ重みで平均しているため、1つの大規模なアンケートが曲線を左右することはありません。

質問1で6〜10ポイント減ります。質問2で4ポイント、質問3で2.5ポイント減り、その後はアンケートが続く限り線はほぼ横ばいです。そして最後の質問で、一気にさらに8〜11ポイント減ります。その間は、アンケートが5問でも30問でも、1問につき約1ポイントです。

回答結果は誰かが操作して初めて記録されるため、アンケートを開いてすぐに閉じた人は分母に含まれていません。実際の入口での損失はもっと大きくなります。回答を開始した人の6.7パーセントは、何にも回答しません。質問3以降の横ばいは、どの長さの区分でも見られます。

2. 最後の質問は、離脱ではなくスキップされる

何で終わるかによって、アンケート全体からどれだけの回答が返ってくるかが変わります。質問数が同じ区分の中で、選択式で終わるアンケートと比較した結果です。

評価スケールで終わると、選択式で終わる場合よりアンケートの回答が4.7ポイント多く返ってきます。メールアドレスで終わると15.2ポイント少なくなります。変更に2秒しかかからない1つの判断で、19ポイントの差が生まれるのです。

n = 評価スケールで終わるアンケート106件、メールアドレスで終わるアンケート90件、比較対象の選択式で終わるアンケート2,504件。メールアドレスの行はこのセクションで最も件数が少ない数字です。大きさはおおよそのものとして、方向は確かなものとして扱ってください。

3. 必須の質問のコストはほぼゼロ、ただし1つ例外がある

アンケートで最もよく聞くアドバイスは、回答者が離れないよう質問を任意にしておくことです。質問数が同じ区分の中で比べると、すべての質問を必須にしたアンケートの完了率は81.2パーセント（899件）、すべて任意にしたアンケートは80.8パーセント（4,365件）でした。この+0.4ポイントは差がないのと同じです。回答を必須にすると、回答を開始した1人あたりの回答が13パーセント増えます（回答された質問の割合は88パーセント対78パーセント）。それなのに、アンケート作成者の69.5パーセントはすべてを任意にしています。

4. すべての質問タイプのコスト

回答者がその質問に到達したときに回答される頻度と、回答者の中央値がその質問にかける時間です。数百万回の出題に基づいているため、その質問タイプが通常どの対象者に送られるかには左右されません。

評価スケールは、それを見た人の96.2パーセントが5秒で回答します。順位付け質問はほぼ同じ頻度で回答されますが25秒かかり、それを含むアンケートの完了率は7.2ポイント低くなります。長文テキストもコストがかかります。回答されるのは69.7パーセントで、それを含むアンケートの完了率は5.8ポイント下がります。これが、測定には選択回答形式の項目を使い、自由回答形式の項目は控えめに使うという教科書的なアドバイスを裏付ける実証データです。

順位付け質問を含むアンケートで回答結果20件の下限を満たしたのは163件だけなので、7.2ポイントという数字はおおよその大きさとして扱ってください。また、質問タイプは、アンケートの送付先を部分的に反映しています。順位付け質問は見知らぬ人を対象とした市場調査に、評価スケールは顧客を対象としたフィードバックフォームに多く見られます。

5. 長さのコストは、言われているほど大きくない

青い棒は完了率です。オレンジの線は手元に残るもの、つまり回答を開始した1人あたりに集まる回答数です。

5問から20問に増やすと、完了率は約8.4ポイント下がりますが、得られるデータは3.5倍になります。合計が増えなくなる長さはありません。アンケートの中央値は5問で、71秒で終わります。20〜29問のアンケートでも、中央値で4分未満で終わります。10問未満では、スマートフォンの完了率は83.7パーセント、デスクトップは83.1パーセントです。15問を超えると、その差は2〜5ポイントに広がります。長さは、長さの問題である前にモバイルの問題なのです。

長いアンケートを実施しているのは、雇用主、大学、学校など、回答してくれる対象者が決まっている組織に偏っています。見知らぬ人に送る30問のアンケートでは、これより悪い結果を想定すべきです。対象者ではなくアンケート自体に由来するのは形です。どの長さの区分でも、中盤では1問につき約1ポイントの一定のコストがかかります。

6. 回答結果は一気に届き、半数のアンケートには1件も届かない

アンケートの回答結果の累積割合を、最初の回答結果が届いた日から数えたもので、回答結果が20件以上あり、90日間フルに実査を行った4,718件のアンケートが対象です。アンケートの中央値では、最終的に集まる回答結果の75.8パーセントが3日以内に、86パーセントが1週間以内に集まります。1か月間公開し続けても9.7ポイント増えるだけです。アンケートはじわじわ集まるものではなく、立ち上げの瞬間が勝負です。そして、作成されたアンケートの52.0パーセントは1件も回答結果を受け取っていません。つまり、アンケート設計で難しいのは作成ではなく配信なのです。

これは、人々がリンクを一気に共有するというアンケートの共有のされ方によるもので、自然の法則ではありません。アクセスの多いページに埋め込んだアンケートは、何か月も回答を集め続けます。「1件も回答結果を受け取っていない」には下書きや練習用のアンケートも含まれており、失敗率ではありません。

差がなかったもの

同じ方法で、質問数が同じ区分の中で比較した結果です。カスタムテーマとブランドカラーはマイナス1.1ポイント、次の質問への自動進行はマイナス0.6ポイント、質問順のランダム化はプラス1.2ポイント（123件のアンケートのみ）、進行状況バーはプラス2.7ポイントで、見た目に関する要素では最大ですが、それでも上記の構造的な要素のどれよりも小さい効果です。目に見える要素が完了率を動かすのは0〜3ポイントです。目に見えない要素、つまり何で終わるか、何を必須にするか、どの質問タイプを選ぶかは、5〜44ポイント動かします。

アンケート調査の長所と短所

調査設計の例

方法論のセクションに記載する形で書いた3つのアンケート設計の例で、それぞれが役立つ意思決定も示しています。1つ目の例は、下のワークシートで最初から最後まで記入しています。

調査票そのものを作るには、最も近い用途のアンケートテンプレートから始めて、測定項目をご自身の構成概念に合わせて変更しましょう。目的に合わせて作った調査票は借り物に勝りますが、借り物でも白紙よりは勝ります。

よくある質問

このガイドの作成方法と、扱っていない範囲

参考文献