月別アーカイブ: 2008年12月

あなたが知りたいのは誰ですか?(代表性の話)

まずは、つぎのニュースリリースと、詳細データをごらんください。

高齢者におけるパソコン・ネットの利用動向に関する調査
  (
株式会社NTTデータ経営研究所:20081216ニュースリリース)

みなさんは、このデータとそこからのコメント(リリースの内容)を読んで、どのような感想をもたれましたか?
「なるほど、高齢者でもコンピュータのリテラシーは高いんだな」でしょうか。
あるいは、「ちょっと、待てよ・・・」でしょうか。

このリリースに対して、『大西宏のマーケティング・エッセンス』さんのblogでは、つぎのような記事をアップされています。

いい加減な調査をして、その結果を堂々公表する会社って信頼できる?
  (大西宏のマーケティング・エッセンス)

皆さんは、大西さんのblogの内容については、どのように思いましたでしょうか?

私は、基本的に大西さんの指摘は正しい指摘だと思います。
だいぶ前になりますが、このblogでも、近い内容の記事をアップしています(こちら↓)。

「シニア」って誰ですか?

さて、ここでしっかりと皆さんに考えていただきたいと思います。
大西さんが指摘されていることは、どういうことなのでしょう?
この指摘を完全に理解できていること、さらに人に説明できることは、リサーチをする人にとっての絶対条件ともいえる内容だと思います。

そもそも論として、

 ・私たちは、なぜ「リサーチ」をするのか?
 ・「リサーチ」で得られるデータから、何を得ようとしているのか?

ということから、考える必要があります。
リサーチで得たいデータは、「そのとき調査に回答してくれた人たちの行動や意識、態度」を知るためのものでしょうか?違いますよね?
「そのとき、調査対象“条件”として設定した人たち全体の行動や意識、態度」を知りたいから行っているんですよね?

わかりにくいですかね・・・。
たとえば、「東京都在住の20代未婚男性の自動車免許保有率についての調査をし、300サンプル回収した結果のデータ」があるとします(この際、手法は問いません)。
このとき、私たちが知りたいのは、「東京都在住の20代未婚男性“全体”の自動車免許保有率」であって、「回収した300サンプルでの保有率」を知りたいわけではない、ということです。
(おそらく、免許保有率はオープンデータで調べられますが、その点は置いておいて。。。)

これが、「標本調査」で基本的に押さえておかないといけないポイントです。
いわゆる、「代表性」の問題です。
この点を明確にするために、「サンプリング・フレーム」とか、「標本抽出法」とか、「回収率」などが問題になるのです。(そして、本来は、報告書の調査概要にはこれらをきちんと明記しておく必要があります。)

今回のテーマになっている調査でいうと、下図のような構造が理解できているか、という問題になります。

20081220chart_6

今回知りたかったのは、上図の薄青で示す「60歳以上のPCユーザー」です。
そして、今回の調査で得られたデータは、上手の濃い青である「60歳以上のPCユーザー、かつ、インターネットユーザー、かつ、インターネットリサーチ登録者」です。
ここで考えないといけないのが、「インターネットリサーチ登録者」の回答が、「60歳以上のPCユーザー」の実態を正しく反映すると考えていいのか?、ということです。
この問に対する答えが、大西さんのblogで丁寧に説明されていた内容になります。

ただ、このようなことを言うと、「ネットリサーチなんて信頼できない」という極論に走る人がいますが、ほんとうにそうでしょうか?
たとえば『60代での日本茶系飲料の飲用状況』を考えてみてください。
「インターネットリサーチ登録者では、日本茶系の飲料を飲む頻度が多い(あるいは少ない)」と考えられる明確な根拠はあるでしょうか?むしろ、「差はほとんどないのでは?」と考える方が妥当でしょう。そうなると、インターネットリサーチの登録者の回答で、60代全体を推定することはそんなに理不尽なことではないということになります。

要は、

「今回の調査対象者が、最終的に知りたい人たち全体を、正しく代表する可能性が高いかどうかを、きちんと考える」

ということが大切だということなのです。
リサーチをするときは、この点をよく考えて設計しないと、偏ったデータの結果で意思決定を行っていたということになりかねません。

今回の内容は、「いまさら」感がある方も少なくないかもしれません。
しかし、現実にこのようなリサーチが多く行われ、さらに、ネット上にあふれているという現実もありますので、あえて、「いまさら」の内容について考えてみました。
(本来は、寺子屋でやらないといけないテーマなんですけど・・・)

(とはいえ・・・
「では、どんな方法でリサーチをすると、代表性の高いデータが得られるんだ」という問は、とても難しい問です。一昔前までは、「きちんとサンプリングを行った訪問調査です」と答えられたのですが、今ではかなり怪しい状況にあると思っています。
調査の基本である「リサーチの目的と明らかにしたい課題を明確に」した上で、どの部分の代表性を、どの程度まで担保したいのか、ということを考えながら設計する必要がある、というのがひとつの回答になるでしょうか。
そして、さらにいうと、今回の議論はネットリサーチのみに限らない、すべての調査手法において考えないといけないテーマだということも、忘れずにおきたいです。
一言で「代表性」といっても、とても難しいテーマなんだということを、マーケティング・リサーチを行うすべての人が認識しなければいけない時代になったということだけは、明らかです。)

『世論調査と政治』

世論調査と政治――数字はどこまで信用できるのか (講談社プラスアルファ新書) 世論調査と政治――数字はどこまで信用できるのか (講談社プラスアルファ新書)
価格:¥ 940(税込)
発売日:2008-11-21

つい先日も、麻生内閣の支持率が下がったことを、各マスコミが大々的に報じていましたが、なぜこれほどまでに世論調査を行う必要があるのか、そもそもマスコミの示す調査結果を「世論」と判断していいのか、数字をどこまで信用するのか、マスコミで報道される世論調査をどのように読めばいいのか、について考えさせられます。帯の惹句が、なかなか。

支持率は本当に必要か!?
その真の役割とは!?
世論調査大国において、われわれは政治とどう向き合うべきか!?
その功罪を徹底検証!!

ちょっと、「!」「?」が多すぎますが、調査やリサーチに携わっている、いないに関わらず、多くの人に読んでもらいたいテーマだと思います。
著者は、朝日新聞で世論調査に従事した記者の方なので、読みやすいですし、わかりやすいと思います。調査の知識がない人でも、読むことに抵抗はないでしょう。「世論調査支持率から見た政治小史」的な読み方も、おもしろいです。

まずは、もくじ。

プロローグ 「支持率政治」が始まった
第1章 世論調査はどうやって作られているのか
第2章 吉田内閣から麻生内閣まで、内閣支持率物語
第3章 小泉内閣から支持率の注目度アップ
第4章 政権交代が見えてくる政党支持率
第5章 選挙情勢調査の舞台裏
第6章 世論調査にどこまで信をおくべきか

第1章は、いわゆる調査入門です。調査方法の話とか、質問文の話とか、回収率の話とか、世論調査のデータを読むときにリテラシーとして身につけておくべきポイントが整理されています。また、第5章も選挙情勢調査がどのように行われているかについて、簡単に触れられていますので、選挙時の予測などに興味がある方はこちらも。

本筋とはあまり関係ないですが、小ネタとしておもしろいのが民主党・鳩山由紀夫幹事長の話。「個人事務所の執務室には林知己夫氏の著作が並べられていた」というくらい、世論調査への造詣が深いらしいです。

そして、この本の著者のメッセージは、「世論調査の目利きになるために」と題された節だと思います。この中で、つぎの4つのポイントを示しています。

第一の提案は、世論調査の数字を多角的に見よ、である。

第二の提案は、調査方法に注意を払おう、である。

第三の提案は、複数の世論調査の結果を読み比べよう、だ。

第四の提案は、調査結果を見るときに、自分ならどう答えるかを考えてみよう、である。

これらのポイントは折に触れ、このblogでも指摘してきたことですが、何も世論調査に限らず、すべての調査やリサーチについてあてはまることだと思います。

そして、もうひとつ気になる点を。

朝日新聞の政治意識調査によると、世論調査に対し、

  直感で答えるほうだ      60%
  じっくり考えて答えるほうだ  32%

という回答だった。テンポが早く、矢継ぎ早の判断が求められる現代。世論調査の回答も直感頼りの感覚型になるのもやむを得ないのかもしれない。

(中略)

世論調査に直感で答えるのは致し方ないとして、せめて情報と知識に裏打ちされた直感であってほしい。裏打ちのない直感だけで作られた世論は、感情的に暴走する私情の産物、百害あって一利なしになってしまう。

これも、世論調査に限らず、常に調査やリサーチにつきまとう問題でしょう。
回答は6割が直感、そして、この直感が情報や知識に裏打ちされたものかどうか。。。
これくらいのスタンスで、データと接することも、時には必要だと思います。

さて、
これまで、『世論調査と政治』を紹介してきましたが、ほぼ同じ時期(こちらの本の方が先行しています)につぎの本も出版されています。

輿論と世論―日本的民意の系譜学 (新潮選書) 輿論と世論―日本的民意の系譜学 (新潮選書)
価格:¥ 1,470(税込)
発売日:2008-09

こちらは、メディア史や大衆文化論を専攻している大学の先生が著者なので、だいぶ専門的になりますが、「ヨロン」とは何か、ということについて正面から論じています。「輿論(ヨロン)」と「世論(セロン)」を使い分けている点が、本書の主題でしょう。
とくに、「第12章 空気の読み書き能力」では、『世論調査と政治』でも取り上げられているものと同じデータについての論述があるので、読み比べてみるのもおもしろいと思います。

さらにまた、
SurveyMLで萩原さんが一押している朝日新聞の夕刊連載も、あわせてご覧いただくのも立体感が増していいのでは?
(シリーズ第1回の記事は、ネットでご覧いただけます。こちら↓)

首相も縛るオートコール
(朝日新聞「ニッポン人脈記・民の心を測る」2008年11月28日掲載)

さらにさらに、
萩原さんご自身が、日経新聞で連載しているコラムでも関連ある記事が。
(他の回も、とても参考になる記事なので、そちらもあわせてどうぞ。)

<「世論調査」の死角> 抜け落ちた声はネットにあり
(日本経済新聞「深読み・先読み」2008年11月11日掲載)

「世論調査がどのように行われ、それが政治にどのように影響してきたのか?」に興味がある方はもちろん、「マーケティング・リサーチに置き換えるとどうなのか?」という視点でも考えてみると、日常の仕事にも十分役立つと思います。