ネットに、つぎのような記事が出ています。
ケータイの満足度・所有率ともにトップは「シャープ」――ネットエイジア調べ（japan.internet.com：2009/6/16）
同じリリースをネタ元とした記事が、あちこちのニュースサイトで取りあげられていますので、ご覧になった方も多いと思います。
この記事タイトルとなった部分の分析は、以下のとおり。
ネットエイジア株式会社は、10代～30代の男女500人に対し「ケータイ端末の満足度について」の調査をモバイルリサーチにて実施、2009年6月16日、調査結果を発表した。調査期間は、5月25日～27日の3日間。
まず、現在利用しているケータイメーカー（複数利用している場合は最も利用しているメーカー）を聞いたところ（単一回答）、トップは「シャープ」25.0％、次に「パナソニック」16.4％、「NEC」12.6％、「ソニーエリクソン」8.0％となった。
次にケータイの総合満足度について、各メーカーを利用しているユーザー別で見てみると、「満足」（「かなり満足」と「まあまあ満足」の合計）が最も高かったのは、「シャープ」ユーザーで86.4％となり、これに僅差で「ソニーエリクソン」ユーザー85.0％が続き、以下「NEC」ユーザー84.1％、「富士通」ユーザー83.9％、「パナソニック」ユーザー82.9％となった。
さて・・・。
満足度は、シャープで86.4%、5位のパナソニックで82.9%。
満足度のベースは各メーカー機種のユーザーなので、シャープは125人、ソニーエリクソンが40人、NECが63人、富士通が31人、パナソニックが82人となっています。
果たして、この結果から「携帯満足度トップは、シャープ」とタイトルに打ってもいいものか？
みなさんは、どのように感じたでしょうか？
■「標本誤差」ということ
今回の調査の場合、ほんとに知りたい人たち＝母集団は「10代～30代の男女で携帯電話を利用している人全員」となります。しかし実際には、この母集団全員からアンケートに回答してもらうのは不可能なので、「標本として500人分集めて、満足度を計算してみました」ということになるわけです。これが、一般に行われているマーケティング・リサーチの原理です。
ただ、ここで考えてみてほしいことが。
今回の500人の回答と、また500人を選び直して調査した時の回答と、またまた500人を選び直して調査した時の回答と、またまたまた・・・、というように何回か標本抽出を繰り返して調査をしてみると、調査から得られる満足度の値は、「毎回ぴたりと一致！」とはならないわけです。
このあたりは、ご自身で実験してみてはどうでしょう？たとえばコインを10回投げて、表の出る回数の割合を何回か試してみてください。毎回50％とはならないはずですから。
だからといって、「そんなこといったら、調査なんてやる必要ないじゃん！毎回、違う結果が出たら話にならないでしょ！」などと、憤ったりしないでください。。。
さらに複雑なのは、知りたいのは「今回の500人の満足度」ではなくて、「母集団である、10～30代男女の携帯電話を利用している人全員の満足度」ですよね？・・・
じゃあ、どうするんだ？
ここで出てくるのが、「標本誤差」という考え方です。リサーチャー必携の書『マーケティング・リサーチ用語辞典』には、つぎのように書いています。
標本調査において、全数を調査しないで一部対象者のみを調査し、その結果から母集団値を推定すことによって生ずる誤差のこと。（・・・中略・・・）
しかし、この誤差がどの範囲の大きさで生ずるかは、確率標本の場合は、確率論に基いて一定の式で計算できる。（『マーケティング・リサーチ用語辞典』P157）
マーケティング・リサーチ用語辞典
価格：￥ 2,310（税込）
発売日：2004-12
標本調査から「母集団値を推定できる」、しかも、「誤差の範囲を計算できる」と。
（厳密には、「確率標本の場合は」という点を無視してはいけなのでしょうけど、ここにこだわると話がややこしくなるので、ここでは無視させていただきます。。。）
では、その推定値とやらをどうやって計算するのか？
計算式は面倒なので、統計の本で調べていただくとして。。。
ここでは、標本誤差簡易早見表という便利なものを使わせていただきます（これも、自分で探してもらうとして・・・）。
今回のデータではどうなるか。
（信頼度95％で。「信頼度」ってなんだ？という話になるのですが、これもスルーします。。）
→かなり下駄をはかせて、200人の85％ラインでみると、標本誤差は±5.0％
→なので母集団推定値（真の満足度）は、81.4％～91.4％の間にある。
→少し下駄をはかせて、100人の80％ラインでみると、標準誤差は±8.0％
→なので母集団推定値（真の満足度）は、74.9%～90.9%の間にある。
という結果になります。（仕事で使うときは、もっときちんと計算をしますが・・・）
この結果からは、推定値の幅にかなりの重複区間があるので、シャープとパナソニックの真の満足度に差があるとはとてもいえない結果となっているわけで、「満足度は、シャープがトップ！」と見出しをかかげると、この記事へのYahoo!のコメント欄のように、「ほんとかよ？ -_- 」という反応を呼び起す結果になるわけです。。。
このあたりの話は、「視聴率調査」で、いつもいつも語られるている「視聴率１ポイントの差に一喜一憂しても意味がない」といわれる話と同じなわけです。しかし、今回のような記事がつぎからつぎへと出てくるところをみると、なかなか理解されにくい、マーケティング・リサーチのやっかいな課題でもあります。。。
（視聴率についての考え方については、↓の本の1章で説明されているので、興味のあるかたは、こちらの本をどうぞ。標本誤差の考え方が、説明されています。）
 |
視聴率の正しい使い方 (朝日新書 42) 価格：￥ 756（税込） 発売日：2007-04-13 |
■とはいえ・・・
だからといって、いつもいつも調査結果に対して「標本誤差」を計算しないといけないのか？、統計的仮説検定をしないといけないのか？、というと話は別。。。
なぜか？
標本誤差は、サンプル数を大きくすれば、どんどん推定値の幅が小さくなります。ということは、１ポイントの差でも「有意差あり」という結果になることもあるわけです。しかし、この「１ポイントの差」がマーケティングを考える上で、ほんとうに意味のある差なのかというと、これは疑問です。
逆に、検定で有意差がないとなったら、ほんとうにマーケティング上の差がないと断言できるのかとなると、これまた微妙な問題だったりします。
（というか、小さな標本で検定をかけると、ほとんど有意差のない結果ばかりということになりかねません。。。）
「標本誤差」という考え方は、マーケティング・リサーチを行っていく上で、確かにとても大切な考え方ではあるのですが、だからといって盲目的に信奉しても仕方のない考え方でもあると、個人的には思っています。
（ただ、品質管理とか、医薬品の治験、商品テストなど、厳密に誤差をみないといけない領域もあるということも理解しておいてください。このあたりのニュアンスが微妙で、伝えるのに苦労するのですが。）
「統計的に有意差がある」ということと「マーケティング上、意味のある差である」ということは、別々に考えるべきだろうということです。
個人的には、納得性のある差であれば検定などせずに解釈をする、一方で、商品テストなどデータの厳密さを求める場合や、結果に疑問が残るような場合にはきちんと検定を行う、というスタンスをとればいいのではないかと思っています。
いずれにせよ、「標本誤差」とか「統計的仮説検定」は、リサーチを行なっていく上では避けて通れない考え方ですので、一度きちんと理解することをお勧めします。
（といいながら、自分がほんとうに理解できているのか・・・？[E:bearing]）
おまけ・・・
参考書ですが、「これ！」といったものは、まだ見つけられていません。。。
ただ、以下の2冊が比較的お勧めかな、と思っていますので、よかったらどうぞ。
 |
現場で使える統計学 価格：￥ 1,470（税込） 発売日：2006-09-28 |
↑以前、このblogでも紹介しています（→こちら）ので、そちらも参考にしてください。
数式で理解せずに、概念的に理解しようというと、この本でしょうか。
 |
心理統計学の基礎―統合的理解のために (有斐閣アルマ) 価格：￥ 2,310（税込） 発売日：2002-06 |
↑数式いっぱいです。。。
しかし、初歩を抜け出し、より理解したい人向けの本としては、いい本だと思います。