2009/7/16の"Survey ML"で萩原さんが紹介されていた、「信頼できるインターネット調査法の確立に向けて」について、今日は考えてみたいと思います。
報告書は、こちら↓からダウンロードできます。
（No.42です。PDFで、ファイルサイズが5.5Mあります。）
インターネット調査、郵送調査、訪問調査による違いを把握しようというものです。
これまでも、同種の調査・研究は多く行われていますが、少し前のものになってしまっていましたので、あらためて、この種の調査が行われ、公開された意義は大きいと思います。
ただ。。。
以前から思っていたのですが、この種の調査は、基本的に社会調査、世論調査としての研究で、マーケティングリサーチとしての視点からではない点に、留意が必要かと思います。
できれば、マーケティングリサーチの視点からの比較調査も必要だと思うのですが、どこから費用を得て、どこがやるのか、というのが難しいでしょうね、正直なところ。。。（第三者的な視点で、客観的に分析ができるのか、という問題がつきまといそう。。。）
さらに社会調査であれば、国や自治体が実施した、いわゆる「正統な統計調査」というものが存在するので、比較データが存在するのですが、マーケティングリサーチでは、この「比較対象」となる正統な統計調査というものが存在するのかどうか、という問題も大きいです。
こんな問題があるので、「マーケティングリサーチにおける、調査方法による差異についての実証研究」は、難しいと思われます。
なので、この研究のような、社会調査としてのリサーチ研究を参考にするしかないかな、と。
さて、結果です。
これまでの、この種の研究は、どちらかというと「インターネット調査は、統計調査とはいえない」という主張が前面に出ている印象で、インターネット否定的な論調が多かったように感じています。
しかし、この報告書では、インターネット調査ばかりでなく他の調査手法にも限界があることが指摘されている点が、これまでとは違います。
この点については、個人的には、以前から感じていました。調査がどのように行われているかを論理的に考えていけば、インターネット調査だけが否定される理由がわからないと思っていましたので。
ここでは、「終章 インターネット調査の限界と有効性」（pp.133-141）から、ポイントをあげておきます。
まず、
従来型調査をＷＥＢモニター調査で代替することには，留意が必要なことが明らかにされた．ここでの従来型調査とは，明らかにしたい集団の特性を，当該集団（母集団）から統計的ルールに従って抽出した調査対象に対して調査を実施し，そのデータに基づいて母集団の特性を推定するものである．（p.139）
ＷＥＢモニター調査の限界を指摘したが，これは，ＷＥＢ調査で，住民台帳や選挙人名簿から層化無作為抽出で調査対象を選定し，訪問面接調査や訪問留置調査で調査を実施する従来型調査（伝統的調査）を代替する場合を想定したものである．（p.140）
これは、これまでの常識を再度、確認した内容ですね。
ただし、比較対象を明確に定義している点がポイントだと思います。
つまり、「住民台帳や選挙人名簿から層化無作為抽出で調査対象を選定し，訪問面接調査や訪問留置調査で調査を実施する従来型調査（伝統的調査）を代替する場合」においては、インターネット調査に限界があるということで、どんな調査と比べても、というわけではないという点の理解が重要です。
ただ、マーケティングリサーチでは、この前提に立つ実査自体が、ほぼ不可能（住民台帳や選挙人名簿を閲覧すること自体が困難）なので、この点で限界を指摘されても、あまり意味はないかなと思います。
インターネット調査以外でも、つぎのような点が指摘されています。
従来型調査であっても，エリアサンプリングで調査対象を選定した訪問留置調査の場合では，回答者の基本属性に偏りがあることが確認された．（p.139）
訪問調査であっても回答率が低い場合には，特定の選好を持った者（「他人への信頼度」が高い人など）が調査に協力している可能性が高く，そのことが意識面の回答に偏りをもたらしている可能性が指摘できる．（p.140）
郵送ランダム調査でも回収率が低い場合は，モニター調査（ＷＥＢ，郵送）に近い回答傾向があることが明らかにされた．（p.140）
「回収率が低ければ、従来型の調査でも偏りがあるんだよ」ということです。
（あたりまえといえば、あたりまえですが。ただ、この「あたりまえ」のことが、あまり「あたりまえでなくなっている」のが、いまのリサーチ業界の問題であると思えるのですが。。。なぜ、回収率が低いと偏りが出るのかについては、考えてみてください。説明できますか？）
そして、インターネット調査の有効性としては、つぎのようなことが上げられています。
調査母集団を確定できない対象に関して調査を実施する場合や，無作為抽出で調査対象を選定した場合では調査対象を十分に確保できい場合などではＷＥＢモニター調査の有効性が高い．ＷＥＢモニター調査では，特定の属性や意識を持った層を抽出するための予備調査を容易に実施できるため，分析したい属性を持った対象者を事前に特定した後の本調査を実施出来ることによる．（p.140）
これって、マーケティングリサーチでは、ほとんどの場合に当てはまる条件のようにも思えるのですが。。。ある商品の使用者とか、認知層とか、母集団確定できないですよね？そんなリストはないことが、ほとんどでしょう。
と考えると、「マーケティングリサーチではWEBモニター調査」が有効ということになるけど、そんなに簡単なことでもないような。。。
（たとえば、「特定の属性や意識を持った層を抽出するための予備調査を容易に実施できる」とありますけど、実務となると、費用的にも、作業的にも、これがそんなに容易なことだとは思えない。。。）
さらに、
ＷＥＢモニター調査間の比較では，運営会社，モニターの構築方法（調査専用モニター，懸賞メーリングリストによるモニター），調査の回収方法（回収後に無作為抽出，先着順受付）などが異なっても，回答傾向に大きな違いがないことが明らかになった．（p.140）
WEB系リサーチ会社が行った他の研究でも、回収方法（回収後無作為抽出と先着順）による差は無い、と公表しているものを見た記憶がありますが、正直にいうと、この結果は鵜呑みにできないと感じています。
これらの結果は、あくまでも「それなりのサンプル数を確保する場合」と考えた方がいいのではないでしょうか？（今回の調査では1000サンプルベースで、集計しています。）
確かに、1000サンプルも集まれば、偏りは小さくなると思いますが、実務上はどうですか？
セル割付を行う場合、1セル100サンプルにも満たない場合も少なく無いのでは？（あくまでも、セル単位での話です。総サンプル数が1000サンプルだとしても、たとえば男女×10歳刻み年代で設計すると、１セルは100サンプルになります。）
たとえば、1セル＝50サンプルくらいで設計されているとしたら？あっという間に調査終了しませんか？その場合、“回答できる人”に、ある特徴があると想定できませんか？
こうやって考えると、この「運営会社、モニター構築方法、回収方法による、回答傾向に大きな違いはない」という結論は、全面的に肯定できないように思います。（あくまで仮説です、実証できていないので。）
なんか、全般に否定的なコメントになってしまったでしょうか。。。
否定しているわけではなく、この研究の結果自体は、十分に理解しておいてほしいことばかりです。
ただ、この研究が「社会調査の視点に立っている」ことも含めて、結果の読み方には注意をしてほしい、ということです。
上記含め、調査手法について考えておいてほしいポイントをまとめます。
-
WEB調査ばかりでなく、他の調査手法でも、回答に偏りがでる場合がある。
-
とくに、「回収率」が重要な指標となり、回収率が低い場合は、どんな調査手法でも、偏りが発生する。
-
WEBモニター調査において、「回収方法による回答差はない」といわれているが、これはすべての場合において正しいとは限らないのではないか（サンプル数が十分に大きい場合に限定される可能性がある）。
一言でいえば、WEB調査に限らず、あらゆる調査手法には「偏り」の可能性があるということです。では、どうすればいいのか？
- 従来のように「母集団」を所与のもの、規定されているものと考えずに、
「集まったサンプルの母集団は、どんな人たちか？」ということを、
常に考えて分析することが必要
ということではないでしょうか。
予備調査で「女性30代」と規定してサンプルを回収しても、実際に集まったサンプルは「どんな女性30代なのか」を考えた上で、分析する必要があるのでは？ということです。
未既婚比率やライフステージ、職業などの基本的な属性はもとより、イノベータ度や情報感度、その商品カテゴリーへの関与度や利用状況など、調査毎に集まったサンプルが異なる可能性もある、くらいの気持ちが必要なのかもしれません。
あるいは、
- WEB調査でも、回収率を考えた実査コントロールが必要
ということもあるでしょう。
WEB調査に限らず、回収率が低ければ、偏りが生じる可能性があるというのが、今回の研究のポイントだと思っています。
となると、WEB調査でも回収率をしっかりと考えた実査コントロールが、本来は大切なのだと思います。ただ、これをきちんと行うには手間と時間＝費用がかかり、せっかくのWEB調査の利点が損なわれることになるでしょう。
なので、ここは是々非々で、ある程度の代表性や精度が欲しい場合と、とにかく安く・早くの場合との使い分けが、大切ではないかと感じています。
以上、SSJの「信頼できるインターネット調査法の確立に向けて」を題材に、調査手法について考えてみました。ただ、ここに書いてある内容を鵜呑みにするだけでなく、皆さんも、報告書にぜひ目を通してください。
そして、今回のblogの内容では、「なぜ？」の部分については触れていません。（なぜ偏りがでるのか？、なぜ回収率がポイントなのか？等です）
また、調査手法による偏りがあることがわかったとして、では、どういう偏りが起こるのか、どういう時にどのような調査手法が適しているのか、等についても触れていません。
この点は、近いうちに、このblogでも考えてみたいと思いますが、しばし皆さんで考えてみてください。