月別アーカイブ: 2007年7月

出口調査って?

2007年参議院選挙も終了し、結果について様々な論議がされていますが・・・。

ここでは、前回の選挙前情勢調査に続いて、「出口調査」について。
(しかし、みなさん出口調査に関心があるんですね。blog検索をすると、「出口調査ってなんだ」「どうして、開票前にわかるんだ」「出口調査を頼まれました」というような記事がいっぱい出ています。出口調査に協力した人の生の声を見てみたい方は、検索してみてください。)

20時の選挙特番開始と同時に発表される各テレビ局の議席数予想。これは、「出口調査」と呼ばれる調査を元に各社が算出しているものです。
各社の数字と実際の確定議席数を比べてみると、今回は各社ともかなりいい予測を出していたことがわかります(前回の衆議院選挙の時は、各社とも自民を多めに予測していたと記憶していますが。。。)

         NHK 日テレ系   TBS系 フジ系  テレ朝系   テレ東系 確定

  • 自民  31-43  38     34   36    38     39    37
  • 公明  8-12   9     10    10    8      9     9
  • 民社  55-65   59     60    61    58    60    60
  • 共産  2-6    3     4     4     4     3     3
  • 社民  1-2    2     2     2     2     2     2
  • 国民  0-2    1     2     2     2     2     2
  • 日本  0-1    0     1     0     1     0     1
  • 他   5-10    9     8     6     8     6     7

調査をしっかりやって、周辺情報を鑑みてデータを解釈すると、これだけの精度で結果が得られるというよい見本です。

では、「出口調査」はどのように行われているのか?
まずは、「何人の人に聞いているのか(サンプル数)」を見てみます。
この点について、WEB上で確認できたのは、朝日新聞とNHKです(他社さんで記述がありましたら、教えてください)。

「安倍不信任」鮮明 本社出口調査(朝日新聞:記事終りに説明)

おはようコラム 「参院選・当確の打ち方」(NHK:解説委員室)

朝日新聞は「全国3630カ所の投票所で」「約18万5000人から有効回答を得た」、NHKは「全国1600箇所で20万人を対象に」となっています。
今回選挙では、投票所数が51743ヶ所、有権者数が約1億371万人とのことですので、両社ともかなりの地点数と対象者人数で行っています。
(1回の調査規模としては、マーケティング・リサーチではありえない地点数とサンプル数です、調査会社はたいへんだろうな。それと、調査の現場にいた人間からみると、つい費用を計算したくなってしまうのですが・・・。面接調査のはずですから、かなりの費用を投じていますね。)

整理すると、

  • 朝日が、約14投票所に1地点、有権者約560人に1人、1地点あたり約51人。
  • NHKが、約32投票所に1地点、有権者約520人に1人、1地点あたり125人。

地点数を多くとるか、1地点あたりのサンプル数を多くするか、どちらがいいとは一概には言えませんが、両社の考え方の違いなのでしょう(プラス予算かな?)。

さて、これで調査の概要がわかりましたが、もうひとつ大切なことがあります。「どこの投票所で」、「誰に調査をお願いするか」ということです。
blogを見ても、「うちみたいな田舎では、調査しないんだろうな」とか、「調査をやっていたので頼まれると思ったのに、頼まれなかった。人を見ているのか?」というような記述がありましたが、そんなことはありません。きちんと、ルールがあるはずです。

まずは、「どこの投票所で」。都市部でしかやらないとか、行きやすそうなところだけでやっているとか、そんなことはないはずです。
たとえば、ある県の投票所数が100あって、この県で調査する投票所が10だとします(この都道府県あたりの調査対象投票所数も、きちんと有権者数などを元に決められます)。そうすると、100の投票所のリストから、10おきに投票所を選び出すというようなことをしていると思います。あるいは、投票所ごとの有権者数を元にもっと正確な方法で、選んでいるかもしれません(説明が面倒なので、省略しますが・・・)。いずれにしても、「すべての投票所が、同じ確率で選ばれるような方法」があって、その方法に従って、「どこの投票所で調査をするのか」を決めているはずです。

つぎに、その決められた投票所で、「誰にお願いをするのか」。
これも、一定のルールを決めます。たとえば「10人おきに依頼をすること」というような取り決めです。(もっと正確に行おうとすると、事前に投票所毎の性別・年齢別の有権者数を把握して、この「投票所では、男性○人・女性△人」というように、性別×年齢ごとにあらかじめ回収数を設定し、その条件の中で、何人おきにお願いするという方法も考えられます。しかし、この方法では、ほぼ全員の有権者が投票するという前提ならOKですが、棄権のことを考えると、正しくないように思います)。
もしも調査員にお任せで、誰にお願いするかを勝手に決めるとどうなるか?おそらく、頼みやすそうな人、女性とか、やさしそうな人とかに頼んでしまうことになるでしょう。しかし、投票所に来るのは、男性もいれば、ぱっと見では話しずらそうな人もいるはずです。となると「偏った人の意見しか聞いていない」ということになり、せっかくの調査も台無しです。

このように、精度の高いデータを得るためには、「何人の人に調査をお願いするのか」「どこで調査を行うのか」「対象者をどのように選ぶのか」ということを取り決めているのです。前回も出てきた「代表性」に関わる、重要な決め事です。
(プラス、現場で調査員がきちんと指示通りの調査を行っているのか、というのも重要です。ですから、きちんとした調査会社は、現場を巡回して調査の状況をチェックします。他より安い費用で調査を請け負う会社は、この辺りを手抜きすることになります。あるいは、理解していないか・・・。)

さてつぎに、「500人に1人から聞いた数字で、なぜ結果がこんなに正確なのか」という疑問も出てくると思います。これは、統計の領域に入ってしまうので、少々難しい話になります。
こちら↓のblogで、詳しい説明をしていますので興味のある方はどうぞ(ただし、数学的な説明になりますが・・・)。

出口調査は、どの程度、結果を予測できるのか?(永井孝尚のMM21)

また、今回の選挙ではないですが、日経リサーチが出口調査の結果を検証した記事もありましたので、あわせて紹介しておきます(こちらも、かなり専門的です)。
こちらでは、「いいかげんな出口調査も」として、先ほどの「きちんと、対象者を選んでいるのか」という問題点を指摘しています。プラス、最近の選挙では無視できなくなってきている期日前投票をどうするかについての考察も行っています。

衆院選出口調査の検証(日経リサーチ)

きっと、まだ疑問がありますよね?
開票が進んで、ある程度の実際の得票数が出てきている場面で、票が少ない人が、多い人よりも先に当確がでてしまうのは、なぜか?この点については、先ほど紹介しているNHK解説委員室のblogでも、次のような記述があります。

当確についてNHKの原則は三つ。
1.世論調査や記者の取材で、事前に情勢を把握する。
2.投票日の出口調査。今回は全国1600箇所で20万人を対象に行います。
3.開票所の直接取材です。
これらを総合的に判断して、当選確実を打ち出しているのです。
おはようコラム 「参院選・当確の打ち方」(NHK:解説委員室)

どういうことかというと、たとえばある県で2人の候補者が競っていたとします。
Aさんは県北部で強く、Bさんは県南部で強いということが、事前の情勢取材で予想されています。ところが、開票50%くらいの時点で、県北部しか開票結果がわかっていなかったのですが、得票数ではAさんとBさんがほとんど同じだとします。となると、開票されていない県南部での票が当初の情勢取材どおりBさんに多く集まっていれば、Bさんが有利ということになりますよね?で、出口調査の結果でも、この取材結果が裏づけられているとすると、すべてを開票しなくても、Bさんの当確を打つことができるということになります。実際に放送の現場で作業を行っているわけではないのですが、おそらくこのようなことだと思います。

最初の方で、「調査をしっかりやって、周辺情報を鑑みてデータを解釈すると」と書いたのは、この点についてです。マーケティング・リサーチも、実は考え方は一緒です。何度か、「1回の調査で判断するより、調査を重ねることが必要」というようなことを書いてきましたが、これと一緒です。1回きりの調査結果では、結果からマーケットを予測することは難しいですが、同じフォーマットで何度も調査を重ねていれば、過去の傾向から今回の結果データを解釈することで、マーケットの読みは正確さを増していくと思っています。
(この点は、神戸大学石井先生も「リサーチ標準」という言葉で、指摘されていることです→こちらのエントリーから参照ください)

最後に、「出口調査の歴史」が理解できるblogもみつけたので、紹介しておきます。

出口調査の父:ミトフスキー氏の死を悼む(メディア・レボリューション)

さて・・・
軽く「出口調査」を紹介しようと思っていましたが、結構長くなってしまいました。。。
ただ、世間の多くの人が「調査」というものに興味を持ってくれる機会ですし、WEB調査ではわからない調査の基本部分を理解するのに、いい教材ですので、少々詳しく書いてみました。
少しでも、「調査」「リサーチ」というものに興味を持ち、理解してくれる人が増えてくれればいいなと思っています。

参議院選挙情勢調査(代表性の話)

2007年参議院選挙も佳境に入り、報道各社の情勢調査が出ています。
ざっと見てみましょう。

論調は、自民党40議席の攻防というところで各社とも一致しているようです。
選挙についても思うところはありますが、ここで政治的な話をしてもしかたないので、やはり調査について。
(とはいえ、ぜひ各紙の解説記事を読み比べてみてください、ふだん新聞を一紙しか読まない方はとくに。各紙の論調の違いがわかっておもしろいですよ。)

WEB上で、具体的な予想議席数が見られるのは朝日新聞だけなのですが、参考までに予想議席数を引用しておきます。

  • 自民  38(31~45)
  • 民主  58(52~64)
  • 公明  10(7~13)
  • 共産   4(2~7)
  • 社民   2(1~3)
  • 国民   2(0~2)
  • 日本   0(0~1)
  • 無所属 7(5~9)

この数字が正しいかどうかは、月曜日の結果を見ればわかりますが、どうでしょうか・・・。
(調査結果が正しかったのかどうかが検証できるのが、選挙予測の怖いところですね。マーケティング・リサーチでは、調査結果が正しいかどうかの検証なんて、ほとんどできませんから。)

さて、報道各社で行っている世論調査、どのように行われているかご存知ですか?
どこの報道機関でも、電話調査で行っていると思います。それも、「RDD方式」と呼ばれる電話調査です。
マーケティング・リサーチと違って(と書くと、かなり語弊がありますが、あえてこう書きます)、世論調査、なかでも選挙予測となると、調査の「代表性」というものが、かなり重要になってきます。
「代表性」、ご存知ですか?もしも、あなたがリサーチを担当していたり、お仕事でリサーチをされたことがあるとしたら、この言葉を知らないと、かなりまずいことになります。。。
とはいえ、この代表性という概念をきっちり理解し、調査を行う際に完全に守ることはとても難しいことでもありますが・・・。
簡単にいいますと、「代表性」というのは、今回の調査に回答した人が、調べたい人全体(=母集団、選挙予測では有権者すべて)から、等しい確率で選ばれているか、ということになります。
といっても難しいですね・・・。
たとえば、地域別・性別・年齢別に見たときに、有権者全体の構成比と、調査回答者の構成比が等しいかどうかということを考えるわけです。ほんとうは、さらに、職業別だとか、年収別だとか、他のざまざまな属性においても等しいことが望ましいのですが。

では、各報道機関(実施しているのはどこかの調査会社さんだと思いますが)は、「代表性」の確保のために、どのようなことを行っているのか?
日経リサーチ社のホームページに、丁寧な説明が掲載されていますので、こちらを参考にしてください。

【日経リサーチHPより】
日経電話世論調査~調査方法

日経電話世論調査~よくある質問

いかがでですか?すぐに理解できますか?
正直、すぐには理解できないし、かなり面倒なことを行っていますよね?電話番号の選び方、さらには、世帯の中で誰に回答をしてもらうかも「年齢が上から乱数番目の人」というように、特定しています。
しかし、これだけのことをしないと、先ほどの「代表性」というものが確保できず、代表性が確保できなければ調査結果の信頼性も崩れてしまうということなのです。

あわせて、「よくある質問」もご覧ください。少々長いですが、調査というものを理解するには、ちょうどよい資料だと思いますので。

今回は、選挙予測に絡めて「代表性」というものを考えてみました。
(寺子屋、始まりませんね・・・。代表性からはじめようと思っているのですが、このように難しいテーマでして・・・ 
⇒ いいわけです、すいません。。。)

数字は怖い・・・(集計ベースの話)

blog 「とみざわのマーケティング思索ノート」から。
(「マーケティング千日回峰之記」というblogを書かれていた方の新blogです。千日回峰は無事、万行となられたようです。千日の間、一日も欠かさずにエントリーを続けられたことに、敬意を表します。すごいです。)

『リサーチャーとファシスト』という記事がアップされています。題名からは、よくわからないと思いますが、リサーチデータを読む際に注意しないといけないポイントが示されていると思いますので、ご紹介します。

まずは、発端となった記事から(上記blogからの孫引です)。

パスモを持っている人は全体の19.7%。うち64.3%がスイカも持っていた。両方持つ人の48.3%が交通機関によって2種類のカードを使い分けていた。
(日経朝刊07.7.15より)

さて、この記事の第一印象はどのようなものですか?
何も考えずに、すっと記事を読んでしまうと、「こんなに多くの人が、カードを2つも持って使い分けているの?」と感じませんか?
よーく読むと、これは完全に誤読だということがわかります。正しい数字の読み方をすると、どういう結論になるのか?少しご自身で考えてから、「とみざわのマーケティング思索ノート」をご覧ください。グラフも提示して、とてもわかりやすく説明されています。

以前、「シニアって誰ですか?」で、調査対象をどうするのかを、きちんと考えないといけないという趣旨のエントリーをアップしています(その後、調査結果とはまったく異なる事実を示す記事が出されています。コメント欄にリンクを掲示していますので、興味のある方はご覧ください)。
しかし、調査がしっかり行われたとしても、こんどは結果のデータをきちんと読むことができないと、これまた、意味がない。とくに、この事例のように、どんどんベース(集計を行うときの分母)を絞っていくような項目では注意が必要です。

なぜ、このことをあえて取り上げるかというと、WEB調査が全盛だからこそです。
WEB調査の調査システムは、回答対象者を設問ごとに、システム的に限定していくことができます。このシステムは、複雑な設問を行う上では、とても有用なシステムです。回答者は、とりたてて意識をすることなく、自分が答えるべき設問にのみ回答を行うことができますので。
ただ、これが集計結果を見る上での落とし穴になる場合があります。基本的に、このシステムでは、「回答者ベース」のみでの集計がアウトプットされることが多いようです。となると、事例の記事のように、「Aと答えた人は●%。そのうち、Bと答えた人は▲%。また、その中でCと答えた人は■%」というようなデータの読み方をするようになってしまいます。元々の全対象者ベースで、何%だったのかという数字を意識できなくなってしまいます。
結果、「印象としての数字」のみが一人歩きを始める・・・。

例をひとつあげましょう。
よく、商品のパフォーマンスを捉えるために、認知率・購入経験率・現在購入率という項目を設定しますよね。
このとき、集計結果はおそらく、

  • 認知率=全サンプルベース
  • 購入経験率=認知者ベース
  • 現在購入率=購入経験者ベース

で計算されている場合が多いのではないでしょうか?
もちろん、この数字を見ていくことも、重要な意味があります(ここでは、詳しくは説明しませんが)。
ただ、この「現在購入率」をそのまま、「現在、この商品を購入している人は、●%です」とやってしまうと、大きな間違いになります。基本的には、全サンプルベースで数字を計算しなおさないと、マーケットでのシェアにはなりません。

もしかしたら、このblogをご覧いただいている皆さんにとっては、「あたりまえ」のことかもしれませんが、他の人が提示するリサーチデータを読む時など、気を抜くと、こんな数字を読まされていることがあるかもしれません。

データを読む際には、「調査の設計は?=誰を対象にしたリサーチ?」と同時に、でてきたデータについても「集計のベースは?=誰の回答?」ということを、常に意識して結果を読むようにしたいものです。

ヤフーバリューインサイトHP

前の投稿を確認していたら、ヤフーバリューインサイト社のHPを発見。
「IP+IS=ヤフーバリューインサイト」という投稿をした手前もありますので、一応、紹介をしておきます。(なにせ、この記事へのアクセスが多いですし・・・。)

ヤフーバリューインサイト株式会社HP

(リサーチメニューをみると、「グループインタビュー」や「会場調査」が確かに入っていますね・・・。すでに、これらの調査のノウハウを持っているスタッフがいるんでしょうか?
これはこれで、インターネット調査とはまた別の実査ノウハウが必要なんですけど・・・。)

それはいいとして・・・、
「調査・分析手法」のページは、なかなか充実しています。とおり一遍ではなく、わりとわかりやすい内容で、紹介がされていると感じました(旧インタースコープ社のページでもあったものですが)。一度、ご覧になるのも勉強になると思います。
(って、ヤフーバリューインサイトの営業をしてもしょうがないですけど・・・)

とりいぞぎ、ご報告まででした。






「シニア」って誰ですか?

少し前の記事になりますが、

低調なシニア向けケータイ、40歳以上で5%未満(japan.internet.com)

という記事が出ています。また、同じところからのリリースで、

「シニア向けサイト」を利用しない理由は「自分はまだシニアではない」

という記事もあります。
確かに、これらの記事を見たような記憶があったのですが、スルーしていました。
ところがいくつかのblogで、これらの記事を題材にしているものがあり、もう一度記事を見直したのですが。。。(文末に、同じテーマを上げている方のblogを紹介しています。)

ポイントは、「調査対象者の設定」です。
調査対象者は、つぎのようになっています(いずれも、ほぼ同様です)。

調査対象は、全国の40歳以上の男女330人。性別では、男性44.2%、女性55.8%。年齢別では、40代53.3%、50代27.9%、60代14.5%、70歳以上4.2%。

40代が過半数、50代が3割近く、このふたつの年代で8割です。
はたして、「シニア向け携帯」や「シニア向けサイト」のターゲットはこの年代なのか???
どう思いますか?

なのに、この調査対象者でシニア向け携帯の利用率が5%未満だからといって「低調」と結論付けることになんの意味がるあるのでしょうか?
また、調査方法がインターネット調査なのですが、インターネット調査にモニター登録するような方は、そもそもがPCや携帯のリテラシーは低くはないでしょう。その人たちに、シニア向け携帯の調査を行うことに意味があるのでしょうか?この記事のリンクにある記事(ドコモ、FOMA 対応のらくらくホンを発売)のように、シニア向け携帯電話は、現在の高機能な携帯電話では使いこなせない方や、画面の文字が小さくて読みにくいという方にむけて、使用方法をシンプルにすることをコンセプトとしているはずなのに・・・。
(かくいう私もすでに40代ですが、シニア向け携帯のお世話になる気など毛頭ありません。画面の字が小さいと感じることもありませんし、機能が使いこなせないということも全くありませんので -_- )

一方の「シニア向けサイト」については、「シニア向けサイトを利用しない理由は、自分はまだシニアではない」って・・・。
これって、何か意味がある結果でしょうか???

「調査対象を、どう設定するか」は、調査を行う上でのイロハの部分であり、この部分をしっかり行わないと、どんなに優れた質問設計や分析を行っても、結果にほとんど意味はありません。車の両輪のひとつといっても過言ではない重要なポイントです。
ところが、現状では、この部分がかなり疎かになっていると感じています。
調査のテーマは何なのか、そのためにはどのような人たちを対象とした調査を行うべきなのか、このあたりの議論が十分になされないままにリサーチが行われているように思います。(それだけならまだしも、こうやって、その結果がいかにも一般的な傾向であるように公表される・・・)

だいぶご無沙汰している「寺子屋」本編ですが、近日中に、この「調査対象者の設定」に関わる問題から再開をしようと思います。

PS.
この記事についてコメントしているblogは、↓のようなものがあります。
いずれも、もっともなご意見だと思いますので、参考にしてください。

これで調査レポートと言えるの(「市民はたさんの普通の感覚?」さん)

シニア向け携帯電話 No1(「消費者心理学とマーケティング」さん)

このリサーチおかしくないか?(「NOTHING BAT・・・」さん)