日別アーカイブ: 2008-08-05

まちまちな改造内閣支持率・・・

【2008.10.24追記あり】

調査をやっている立場からすると、あまり触れたくない話題ではありますが・・・。
Yahoo!ニュースでも取り上げられていますし、少し触れてみようかと。。。

Yahoo!で取り上げられているオリジナル記事は、こちら↓。代表的な2つを取り上げてみます。

改造の効果あった? 内閣支持率 調査結果まちまち (産経ニュース)

改造内閣支持率バラバラ マスコミ世論調査信用できるのか(J-CASTニュース)

新聞各社から発表された、今回の福田改造内閣の支持率は、つぎのように。

朝日24%<毎日25%<産経29%<共同32%<日経38%<読売41%

朝日と読売では17ポイントの差があります。
この数字の差は、なんなのか?
確かに、これだけ数字が異なると、「世論調査って信用できるの?」という気持ちが沸き起こるのもわかります。。。

このあたりについて、明快に分析しているレポートが以前、日経リサーチ社にあったのですが、残念ながら今はなくなっているよう。。。
なので、このように各社によって数字が異なる理由について、いくつか考えられるものをあげてみます。

1:聞き方&数字の整理の仕方の問題

まず考えられるのが、質問者がどのような聞き方をしているのか、という点です。
今回の調査は、各社とも電話調査で実施しているようなのですが、質問者がどのように質問しているかで、支持率が異なる可能性があります。

「あなたは、今回の福田内閣を支持しますか、それとも支持しませんか」

という質問だとして、「わかんない」とか「どちらともいえない」「答えたくない」などと回答した人に対して、どのように誘導するかで結果は当然異なります。
すぐに「わからない・答えたくない」として集計するのか、「あえていえば、どちらですか」などと誘導を行うのか、の違いです。

(あるいは、最初から
「あなたは、今回の福田内閣を支持しますか、それとも支持しませんか。つぎの中からひとつ選んでください。支持する、支持しない、わからない。」
と質問しているかもしれません。この場合も、結果の出方は異なるでしょう。)

2:調査主体の問題

(産経の記事では否定されていますが)
調査主体=誰が実施している調査か、によって数字の出方が異なるのはありうることだと思います。
たとえば、読売新聞を購読している人に、つぎのように調査協力依頼をするとします。

A:「読売新聞ですが、調査への協力をお願いします」

B:「朝日新聞ですが、調査への協力をお願いします」

Bの場合は「うちは朝日新聞取ってないから」といって断られる確率が、Aよりも大きいと思うのです。
となると、回答者に占める自社新聞の購読者比率がどうしても高くなる可能性は否めないのではないかと。
(回答してくれる人については産経新聞に書いてあるように、読売の調査だからとか、朝日の調査だからという理由で回答を変える人は少ないと思います。)

3:調査実施タイミングの問題

今回の結果に関して、なるほどと思ったのは、サーベイMLでの萩原さん(ニールセンオンライン)の意見です。
ちょっと長いですが、引用させていただきます。

毎回指摘してることですが、最近の新聞の世論調査の信頼性低下は、実施期間の短さ、タイミングにも問題があるんじゃないでしょうか。

朝日、読売、毎日、共同は、いずれも1日(金)夜から2日(土)にかけて電話で実施としています。日経は2~3日実施、4日掲載です。
(管理人注:日経の実施日を、初稿より訂正しています~萩原さんのご指摘により)

1日(金)にいったいどのくらいの人がTVニュースをみて、新内閣について支持、不支持を判断できるような情報に接しているのか、甚だしく疑問です。この夜電話がきても新内閣の顔ぶれすら知らない人は多かったはず。福田首相の記者会見は夜9時半でしたが、10時以降には調査してないでしょうし。

2日(土)にしてもいったいどのくらいの人が新聞をみて、改造内閣について支持、不支持を判断できるような情報に接しているのか。

各社とも3日(日)の朝刊に記事を掲載するのが必須のようですから、結局2日も結構早い時間に調査を締め切っているはずです。調査の正味の実施時間は24時間もありません。インターネット調査が24時間で結果を出すことが代表性を確保できない理由としてよく批判されますがそれよりひどい(笑

今回は幸い土曜なので普通の勤め人にもリーチする可能性はありますけどね。これ平日だったらどうするんだろう。。

新内閣の正式発足は2日です。今日3日の新聞やTVでさまざまな情報に接してようやく意見や感想が出てくるんじゃないでしょうか。その意味では新内閣の支持率調査は今日、明日あたりに実施するのが望ましいと思うのです。

今回の各社の数字のばらつきは意図的なものというより、拙速な調査がもたらすわずかのオペレーションの違いが数字にあらわれた結果かと思います。

(surveyml:11271~2008/8/3投稿より)

ほんとにそう思います。
なぜ、そこまで急いで支持率の結果を出さないといけないのか、理解に苦しみます(すでに新聞は、速報性のメディアというより、解説を丹念に行うのが役割ではないかと、個人的には思っています)。
結果として、回答者の意志がかなりあいまいな(さらにいうと、本人すら支持するかどうかわからない)状態で回答を得ているわけですから、結果が揺らぐのも当然といえるかもしれません。
また、このような状態では上記「1」の問題がさらに重要性を増してきます。

今回は、すべての会社が調査を電話で行っており、十分な回答者数を得ているという前提で、上記の3つをあげてみました。もしも、この前提が崩れているとしたら、調査方法による違いや、回答者数の違いによっても、数字の解釈の仕方は異なってきます。
また、上記はすべて仮説でしかなく、実証されているものではないということも、お忘れなきよう。

そして・・・、
これらの問題は、世論調査だけでなく、マーケティング・リサーチでもまったく同様の問題を抱えているということも、覚えておいてください。調査は、それほど繊細なものなのです。
調査は、科学的に論証されている手法で、まったく同じ方法や聞き方で調査を行えば、ほぼ同様の結果を得ることはできます。
逆にいうと、これらの条件が崩れると、かなり異なる結果が得られる可能性も大きいのが調査です。

では、何を基準に調査結果を見ればいいのでしょう。。。
つぎの5つを基準に、結果を見るようにするのが基本だと思います。

  • どのような方法で行っているのか
  • どのようなタイミングで行っているのか
  • どのような聞き方をしているのか
  • どのような人が答えているのか
  • 何人の人が答えているのか

新聞やテレビ、WEB上の調査結果では、これらの内容をすべて確認するのは難しいことも多いですが、少なくともマーケティング・リサーチの結果では、これらの内容を確認した上で、結果を判断するようにしたいものです。

調査結果とはなんなのか。。。
どのようなデータも事実だとは思いますが、ある条件や視点の元での事実であり、普遍的な真実を述べたものではない、というスタンスでデータと付き合っていくのが、正しい姿勢ではないかと思います。
「調査結果が、こう出ているから、こうなんだ」と無条件に信じるのでも、「調査結果なんて、あてにならない」と突き放すのでもなく、判断やものの見方についてのひとつの素材、くらいのスタンスが丁度いいように思いますし、素材なのですから、これをどう料理するか(活用するか)はデータを見る人自身のスタンス次第、ということになります。

(正直、やっかいですね^^;)

【追記20081024】

「SPSS DIRECTIONS JAPAN2008」での、インテージ田下社長の講演においても、この問題に触れていました。
質問文設定の問題が大きいという見解のようでした(以前、「AERA」でも同様の趣旨の記事があったと記憶しています)。

確かに、講演資料に記載されている各社の質問文をみると、「改造しました」という言葉を質問に入れている新聞社の支持率が高めに出ているということがわかります。
また、上記「3」で指摘している調査タイミングの問題とあわせて考えると、内閣の顔ぶれ等を知らない人でも、「改造したんだ」という印象で支持率が高まる可能性はありますよね。