日別アーカイブ: 2012年10月29日

リサーチにおけるコンテクスト~1)データそのものの背景理解

『市場調査クリニック』でのインタビュー再掲、2回目はリサーチにおけるコンテクスト、とくにデータそのものの背景を理解することの大切さについてです。
これは、いわゆるアンケートなどの従来のリサーチデータに限らず、ビッグデータやソーシャルリスニングにおいても、考えなければならないテーマです。
(初出:『市場調査クリニック』2012年6月 に加筆修正)

*************************************************************************************

改めて回答者の背景を理解しなければいけない理由

前回、「リサーチの基本はコミュニケーション」という話の中で、「回答者の背景を理解しないといけない」ということを、コンテクストという言葉を使いながらお話ししました。けれど、この「回答者の背景理解」には2つの側面があることを、まずは理解しておいてほしいと思います。

ひとつは、純粋にリサーチに関わることで、「得られたデータの背景を理解しよう」ということです。統計調査の理論に則れば、第一段階として「母集団規定」を行うことが重要で、この母集団をリサーチ目的に沿って正しく設定し、正しい方法でデータを集めれば、母集団の写像としてのデータが集まるということになっています。しかし、調査環境が大きく変化したことで、この理論は破綻していると思います。過去に母集団フレームとしていた住民基本台帳などにアクセスすることが難しくなっている、プライバシーや防犯意識の高まりで回収率が落ちている、そしてそれぞれのリサーチ会社などが構築したパネルを調査対象としたネット調査にシフトしているということだけをとっても、破綻は明らかだと思います。なので、集めたデータが設定した母集団を反映したものだと決め付けること自体が危険で、集めたデータが、そもそもどのような人が回答したものだったのか、ということをあらためて確認することが求められると考えています。これが、ひとつめの「回答者の背景理解」です。

もう一つは、ブランド論や広告論で最近よく聞かれるようになったコンテクストです。生活の背景にある文脈そのものを理解し、その文脈に沿ってコミュニケーションをすることの重要性が言われています。インサイトという言葉にも通じると思うのですが、生活者そのものの理解であり、消費や生活の背景にある文脈や、社会的・文化的な背景、ネットワークなどを理解するという意味での「回答者の背景理解」です。

一般的に、消費者の“背景”と言った際に語られるのは後者の方ですが、今回はまず前者のリサーチにおける回答者の背景理解=「データそのものの背景理解」について話したいと思います。

リサーチとデータの背景

ちょっと昔話をします。ネットリサーチが普及し始めた頃の話です。たまたま、ネット調査と訪問面接調査で、同じ時期に、同じ調査をやることになりました。それは女性向けファッションブランドの認知度調査で、設定した母集団の属性・条件は当然一緒です。しかし、集めたデータを集計してみたら、ネット調査では訪問面接調査に比べ、10~20ポイント前後も高い認知率を示すブランドが現れました。

これは何故かと考えると、いくつかの仮説が考えられます。まだネット調査がそんなに普及していなかった頃なので、ネット調査の回答者は新しい事好きな、好奇心の高い人達が集まっているのではないか。それに、訪問面接調査に回答してくれる人は、夜の早い時間、もしくは土日に行けば会える人、つまり外出頻度が少ない人になる可能性が高い。一方でネット調査は、時間にとらわれずに回答できるので、夜遅く仕事から帰ってきてから、あるいは土日に遊びから帰ってからネットをしていたりする人たちに多いはずです。なので、調査方法によって得られる回答者の生活スタイル、ライフスタイルは違うだろう、もしかしたら訪問調査で集まるデータは、いわゆるフォロワー的な人たちを反映して、当時のネット調査の回答者はアーリーアダプター的な人たちを反映したデータかもしれないと考えました。この仮説をベースにしてデータを分析すると、なるほどと思える解釈が得られました。

これらは、あくまでも仮説でしかないですし、いまでは違う解釈ができるかもしれません。ネットリサーチのパネルがアーリーアダプターということは、もうないでしょうから。しかし、このような経験を通じて、それまで信じていた調査理論に則って集めたデータは設定した母集団を正しく反映するという考え方が、どうも違うのではないかと考えるようになりました。

それまでも、調査手法による回答者のバイアスは気になっていました。電話調査に回答してくれる人は?、路上でのリクルートに協力してくれる人は?、それに渋谷109付近を歩いている人と新宿西口を歩いている人の違いは?、などですね。
また、同じネットリサーチでも、パネル(リサーチへの協力を許諾した登録者)の違いによって回答傾向が違うこともあります。とくに政治や社会問題については、パネルによる差異が出ることが少なくないようです。以前、Yahoo!、ニコニコ動画、雑誌のホームページへの登録者をベースとしたパネル、それぞれで同じテーマで行った調査結果を比べたものがあったと記憶していますが、これが見事に違う結果になっていました、年代を揃えたとしてもです。

このように、きちんと設計して集めたデータでも、実際に集まった回答者の背景を確認することは、データを分析する前提として不可欠な過程になっていると思います。

ビッグデータとデータの背景

データの背景を考えるという課題は、狭義のリサーチのみではなく、ビックデータの話(ここでは、ソーシャルリスニングもビッグデータとして話をします)にも関連していると言えます。ビッグデータは、集まってくるデータなのだし、サンプリングという過程を経ないデータなのだから関係ないだろう、と思われるかもしれませんが、そうではありません。

有名な例え話として、こんな話があります。第二次世界大戦のころ、ある国で飛行機の損失が問題になっていました。撃墜されて帰還できない飛行機が、あまりに多いというのです。そこで、実際に帰還した飛行機を調べてみると、多くの帰還機が集中して被弾している箇所があったというのです。そこで、軍のお偉いさんは「だったら、その被弾している部位を強化すればいいじゃないか」ということを言ったそうです。さて、この話、どう思いますか?

少し考えれば、この判断は明らかに間違いだということがわかります。帰還できているのだから、その部位は多少被弾しても問題はないわけで、逆に多くの帰還機が被弾していない箇所こそ強化する必要があるかもしれないのです。ただ、帰還できなかった飛行機のデータはないので、これはあくまでも仮説になります。

この例は、たとえばコールセンターに集まる声にもあてはまるかもしれません。わざわざコールセンターに意見を言ってくれる人は、どのような人なのか。その製品の愛用者や、その製品カテゴリーでのヘビーユーザーかもしれません。このような背景を考えずに、センターに集まる声、とくに具体的な声だけを重視して製品改良などを行うと、いつも使う人には便利になっても、初めて使う人には不親切な製品になってしまうという可能性もあるかもしれません。

もうひとつ例をあげます。このブログ(マーケティングリサーチの寺子屋)のアクセス解析をすると、上位には「マーケティングリサーチ」や「エスノグラフィ」、「MROC」が並びます。では、ブログのアクセスをもっと増やすには、マーケティングリサーチという言葉をできるだけ使いながら、エスノグラフィやMROCをテーマとしたエントリーをもっと増やせばいいのでしょうか?

ここで、検索エンジン全体を元データとしているGoogleインサイトで過去1年のデータを見ると(2012年6月時点)、最近は「マーケティングリサーチ」よりも「ビッグデータ」で検索されている頻度が高く、世の中全般では「マーケティングリサーチ」よりも「ビッグデータ」の方に興味が向いているということが言えそうです。つまり、ブログのアクセスを増やすためには、とくに新規の読者を獲得するためには「ビッグデータ」が本当は重要なキーワードである可能性が高いのですが、自分のブログでのアクセス解析だけをしていても「ビッグデータ」というキーワードには決してたどり着けないのです。なぜなら、これまで私のブログでは「ビッグデータ」について、ほとんど触れていないからです。

たとえば自社カードでの購買履歴でも同様のことが言えそうです。お客様は、自社だけで買物をしていればいいのですが、そういうわけではないでしょう。つまり、自社カードのデータには含まれない購買履歴が存在するはずなのです。自社カードのデータには決して表れることのない、お客様の買物行動があるということは認識をした上で分析する必要があると思います。

このように、ビッグデータとして集まったデータの性格付け、背景の理解はとても重要で、そこを理解しない分析はありえない、といっても過言ではないでしょう。自社のビッグデータを有効活用しようとなった際に、いま手元に有るデータで基本的に分析をしようという欲求が高くなり、それがデータの全てであるかのような錯覚に陥りがちです。なにせ、集めたのではなく、“集まった” データ “すべて” なのですから。
つまり、自社に集まっているビックデータが、そもそもどういう前提のデータかを理解しなければ、どんなにデータ量があっても正しい理解ができない恐れがあるということです。どんなに沢山のデータがあったとしても、集まっているデータ自体がどういう性格のものであるか、きちんと理解することが不可欠だと言えますし、手元に集まったデータだけで分析目的が達成できるのかの吟味が必要です。

データ分析に潜む罠

このような話をすると、「何をあたり前な」という顔をする方が少なくありません。けれど、実際のワークを行なう上で、ほんとうに回答者の背景を確認しているかというと、どうなのでしょうか。サンプリング理論への固定観念、「ビッグなデータ」という錯覚、そして、自分はこんなことはわかっているという前提、このような事柄が呪縛となって、きちんとしたデータの確認をせずに分析を行い、データのもつ罠に嵌っていることがあるかもしれません。

そしてやっかいなのは、この罠は明らかになりにくいという点にあります。表面上の集計結果に誤りはないのですから。結果として、知らず知らずのうちに、本来分析対象とすべき対象とは異なる、あるいは偏りのある特定の性質を持った集団のデータを元に分析を行ない、それを一般化しているかもしれないのです。

もしくは、確認といっても多くの場合、デモグラフィック属性による確認に終わっている気がします。性別や年代、未既婚、職業、居住地などの分布の確認です。しかし、先ほど例にあげた、訪問面接調査とネット調査によるブランド認知率の違いは、デモグラフィック属性による違いではありませんでした。いずれも「首都圏在住・20代・女性・未婚・社会人」なのに、結果が異なったのです。このように、単純にデモグラフィック属性のみで集まったデータの性格付けをしているだけでは十分ではありません。差がでるのは、ライフステージかもしれないし、ライフスタイルかもしれないし、価値観かもしれないし、購買行動かもしれないし、該当商品やサービスへの関与度かもしれないし・・・。考えられる要素は、限りなくあります。

消費者の背景理解を十分に行う為のポイント

では、どうすればいいのか。リサーチの基本に戻ってしまいますが、3点考えられます。

  • リサーチテーマに影響を与える要因にはどんなものがあるのか、どんな回答者の性格付けを理解するとデータ分析の助けになるのか、分析の誤りを防ぐことができるのかを、あらかじめ考えておき、設問やデータベース設計に加えておく。
  • サーベイの場合は、後からさまざまなクロス集計が可能なように、サンプルサイズを大きくする(リサーチ単価も安くなっていますので・・・)。
  • ビッグデータの場合は、分析の目的に適合するデータなのかの検討を必ず行う。

そして「回答者の背景理解」は、定量調査ばかりではなく、当然、定性調査でも必要です。むしろ、定性調査でこそ重要だといえるかもしれません。実際に、ベテランのモデレーターさんほど、インタビューの参加者や対象者がどんな人なのかを理解する時間を長くとるようです。最近では、この時間を無駄な時間というように考えるクライアントさんもいるようですが、ベテランのモデレーターさんは30分や1時間くらい時間をかけることもあります。そして、それをベースに発言を理解する。定性調査のレポートは、発言者の文脈、背景をちゃんと理解した上で、個々の発言を理解するから、意味のある解釈が出来るのだと思います。

今日の話は、「釈迦に説法」だったかもしれません。しかし、あえて議論をしておきたいテーマでした。もちろん、リサーチ設計の段階で、集めたいデータと集まったデータに齟齬がないように設定することが重要なのは言うまでもないことです。しかし、いまのリサーチ環境ではこの点を完全にコントロールすることは難しいでしょう。このような状況なのですから、集めた、あるいは集まったデータは、どんな人が回答したデータなのか、どんな背景で集められたデータなのか、このデータに含まれないのはどのような条件なのかなど、分析の前に必ず確認する、考えることが重要なのです。

************************************************************************************

次回は、『市場調査クリニック』からの再掲の最後、リサーチにおけるコンテクストの2つめのテーマである、「回答者自体の生活を理解する」についてです。