リサーチの専門家による「必読」解説記事

「アンケート」ウォッチング 2023年12月22日

今回は特別編で、こちらの記事を紹介します。
markezine.jp
記事の著者は、渋谷智之氏（株式会社エイトハンドレッド、前職は株式会社マクロミル）です。マクロミルといえば、ネットリサーチ業界の有名どころのひとつです。（実は私も、過去にお世話になっていたりします。）リサーチの専門家による、ネットリサーチの解説記事、ということです。

最も重要なポイントはここ

記事の中ほどに、次の文があります。

目的が不明確な場合、アンケートはありきたりな一般論に終始しがちです。（中略）目的を明確にせず、Webアンケートを実施すると失敗する確率が高まります。

そうです。「何のためにこれを調査しているのか」が明確になっていないと、単に数を数えただけで終わってしまいます。実は、Web上の「アンケート」を見ていて、一番もやもやするのはこの部分です。「何のためにこれを調査したのか」が書かれていないことが、たびたびあります。
また、調査票の設計について次の説明があります。

調査目的や調査仮説を調査項目に分解する、調査項目の流れを考える、回答者が誤解しない質問文と選択肢を作成する

質問文や選択肢の表現（言葉遣い）が回答に影響することはよく知られています。ですから、結果報告には、質問文や選択肢を、調査時と同じ表現で掲載するのがよいと思います。

対象者のスクリーニング

記事の中ほどに、対象者のスクリーニングについて解説があります。調査会社が行う調査では、このような2段階の調査がよく行われています。こうすることで、「小学生の子どもを持つ父母」とか「喫煙習慣を持つ人」とか、特定の人たちだけを調査対象にすることができるわけですね。スクリーニング調査と組み合わせると、「飲酒習慣がある人はおよそ何％」で、そのうち、「毎日飲酒する人は何％」「最も好むアンコール飲料が、ビール、日本酒、焼酎の人はそれぞれ何％」のような集計が、比較的低コストで可能になるわけです。

選択バイアス

インターネットを利用した調査の問題点としてよく指摘されるのが、「無作為抽出になっていない」ことです。しかし、理想的な単純無作為抽出がほぼ無理であるという現状をふまえると、インターネットを利用した調査は、その代替手段としてもっとも可能性の高いものだと思います。だからこそ増えているわけで。
ただし、バイアスがあるのは確かです。次の説明があります。

調査会社が保有するモニタは、インターネットのリテラシーが高く、高学歴の割合が高くなります。アンケートで情報収集源を聴取すると、インターネット関連が上位を占めることが多いです。

調査会社で働いていた方が言われることですので、確かな情報なのだと思います。このようなバイアスがあるから使わない、ということではなく、このようなバイアスがあることを前提に結果を解釈する、という工夫が求められるのだと思います。

優秀な調査結果

マクロミルの調査が、比較的高い代表性をもっていることを示すデータが公開されています。それが、「図2.5.2　個人消費金額と家計調査の消費支出との比較」です。私はマクロミルがこのような調査を行っていることを知りませんでしたが、グラフを見る限り、政府の調査と、非常に高い相関をもった結果が出ています。
母集団がバイアスを持っていても、一定の代表性は確保できること、また、同じ調査を繰り返し行った時の「変化」は、バイアスを取り除いてもやはり「変化」として存在する可能性が高いということでしょう。このあたりの議論は、三春充希氏の著作にも、関連した詳しい解説があると思います。