【シリーズ】マーケティングの意思決定とデータ第3回：マーケティングの意思決定とKPI

”単純な”ABテストの結果にもとづく意思決定

前回、トップページのメインバナーに、2種類の異なるデザインのものを用意して、ランダムに表示する、という下図のような単純なABテストを題材に、データに基づく意思決定についてお話しました。

そして、データを用いた論理的な意思決定の必要条件として、

①　問題の構造をきちんと理解すること
②　数値の大小だけでなく、数値の背後にある実体を見ること

という2つを挙げ、①について説明させていただきました。そこで、このABテストの問題の構造をユーザー目線できちんと理解したならば、下の表1のようなデータから意思決定してはならず、表2のようなデータを用意しなければならない、というお話をしました。

同時に、この表2の数値の大小だけで意思決定することは、先程の条件の「②数値の大小だけでなく、数値の背後にある実体をみること」という観点から賛同できないというお話もしました。今回は、この2つ目の条件について説明していきます。

論理的な意思決定の必要条件②　数値の背後にある実体をみる

本題に入る前に、少し頭の体操をしてみましょう。1万円のある商品を、2名が購入するときの意思決定についての問題です。

　この商品は、2つの店舗で購入できるものとします。それぞれの店舗では、内容の異なるキャンペーンでこの商品を取り扱っていました。

　2名の意思決定者は、どちらの店舗で購入するかを意思決定し、以下のような結果となりました。

　　意思決定者①：店舗Aを選択し、定価（1万円）で商品を購入した

　　意思決定者②：店舗Bを選択し、半額（5千円）で商品を購入した

　この結果をみたとき、みなさんは、どちらの意思決定を支持しますか？

　おそらく、判断材料がこの結果だけであるならば、意思決定者①を支持するのは難しいでしょう。しかし、それぞれの店舗のキャンペーンの内容が以下のようだったと知ったら、どうですか？

店舗A：              購入時に、10人に1人が当たるくじを引き、当たればタダ、外れれば定価で購入することになる

店舗B：              購入時に、10人に1人が当たるくじを引き、当たれば半額、外れれば定価で購入することになる

　今度は逆に、意思決定者②（店舗Bを選択した）を支持するのが難しくなるはずです。今回はたまたま、意思決定者①がくじに外れ、②がくじに当たったので、結果としては②が大きく得をしたわけですが、何度も同じ意思決定を繰り返せば、①の方が得をする可能性は高いはずだからです。

　ビジネスでの意思決定は、この例ほど単純ではないですが、同じように不確実性を含んでいます。そのようなときに、結果だけをみて、その結果を生み出した実体（現実）を考えないのは、運だけに任せてしまっているのと同じになってしまい、得られる結果の再現性の高い意思決定はできないのです。

数値の背後にある実体をみる step1: 「なぜ？」を考える

さて、前回から検討している前述のABテストでは、デザインBバナーのほうがクリック率は高い反面、コンバージョン率が低くなっています。このような結果の背後にある実体とはなんでしょうか？

　このような数値から実体をみようとするときのコツとしては、まず、「なぜ」を考えることです。

　なぜ、そのようなことが起こったのかを追求して、その根本にある事実を突き詰めるというのは、自動車メーカーのトヨタの品質管理手法のひとつとして有名ですが、私はそれが、このような数値の解釈にも役立つと考えています。

　では、なぜデザインBバナーでは、Aに比べて、コンバージョン率が低くなったのでしょうか。

　今回のテストでは、バナーからの遷移先は同じなので、そこでの顧客体験は同様でしょう。では、デザインBは、遷移先コンテンツとの相性があまりに悪いために、コンバージョン率がAより低くなったのでしょうか。あるいは逆に、デザインAが、遷移先コンテンツとの相性が非常に良くて、コンバージョン率が高かったのでしょうか？

　もちろん、そのような理由でこの結果になった可能性もあります。しかし、常識的に考えて、バナーのデザインひとつで、瞬時にユーザーの態度変容を起こせるような可能性は、高くないでしょう。

　そうであるならば、もうひとつの可能性として、デザインBバナーは、元々コンバージョンする可能性の低いユーザーがクリックしたために、コンバージョン率がAより低くなった、ということが考えられます。

　では、「なぜ」デザインBバナーでは、元々コンバージョンする可能性の低いユーザーが、Aよりもクリックしやすかったのでしょうか。

　単純には、誤クリックを誘発した、という理由も考えられます。遷移先のコンテンツに興味のないユーザーも、ついついクリックしてしまうような、魅惑的なデザインというのは、確かにあるかもしれません。

　しかし、他にも理由は考えられます。例えば、デザインBバナーの方が、Aバナーに比べて、新規ユーザーがクリックしやすかった、という理由です。新規ユーザーは、既存ユーザーよりもコンバージョン率が低くなるのが自然ですから、そのような場合には、当然デザインBバナーのほうがクリック率は低くなると考えられます。

数値の背後にある実体をみる step2: 別の側面から数値を確認する

このように、このABテストの結果が生じる理由を考えていくと、恐らくほとんどの場合、ユーザーについての仮説が導かれるはずです。なぜなら、これらの数値を生み出している実体は、サイトに来訪したユーザーだからです。
　そして当然、その仮説を検証する過程は、数値の背後にある実体を推察する過程に他なりません。
　では、先程の「新規ユーザーは、デザインAバナーに比べてBをクリックしやすかったのではないか」という仮説を、早速検証してみましょう。表2のように、ユーザー全体で数値をみるのではなく、ユーザーを新規／既存というセグメントに分けてみてみます。結果は表3の通りでした。

仮説の通り、デザインBバナーでは、新規ユーザーのクリック率が、Aの2倍以上になっています。その代わりに、別経路での遷移率は低くなっていますが、遷移率の合計はAを上回っています。

　コンバージョン率は若干低くなっているものの、新規顧客にとっては、デザインBバナーが、遷移先コンテンツへの導線として、大変良く機能したものと考えられます。となれば、今度は、「なぜ」新規顧客にとってデザインBバナーが導線として好まれたのか、というのを考えることで、この結果を生み出したユーザーの実体に更に迫ることが可能でしょう。 　もちろん、既存ユーザーについても、同様の過程を経て実体に迫る必要がありますが、ここでは詳細を省くとしても、表3をみる限り、既存ユーザーにとっては、デザインBバナーでAに比べ、導線としての機能が劣ったものと考えられます。

まとめ：データに基づく論理的な意思決定とKPI

このように数値の確認を進めれば、前回例示したような、表1の結果から、デザインBバナーを採用する、とか、表2の結果からデザインAバナーを採用するというような短絡的な意思決定には容易に賛同できないという私の意見がご理解いただけるのではないでしょうか。

　今回の例で言えば、恐らく、新規ユーザーにはデザインBバナーを、既存ユーザーにはデザインAバナーを導線として表示するのが、ユーザー体験の向上に貢献しそうですし、ひいては、KGIであるサイトのコンバージョン数の増加にも繋がりそうです。

　このように、「なぜ」を考えて仮説を導き、それを検証するために別の側面から数値を確認することは、数値の背後にある実体を推察し、論理的な意思決定を行うために、必須の過程なのです。

　前回から2回に渡り、データに基づく論理的な意思決定についてお話してきました。ここでお話させていただいた、論理的な意思決定の必要条件である、

①　問題の構造をきちんと理解すること

②　数値の大小だけでなく、数値の背後にある実体をみること

　という2つは、最低限のものであり、必要条件ではあるものの、十分条件ではありません。そういう点では、まだ語り足りないところもありますが、その要諦を少しでもご理解、役立てていただければ幸いです。 　次回、連載第四回からは、消費者を理解するためのデータの利用方法についてお話をする予定です。施策のPDCAを循環させる上で、データはどのように活用されるのか、という、マーケティングの現場で役立てていただけるようなものにしたいと考えていますので、ご期待ください。

【シリーズ】マーケティングの意思決定とデータ

第1回：マーケティングとDX
第2回：マーケティングの意思決定とKPI
第3回：マーケティングの意思決定とKPI
第4回：消費者理解のためのデータ活用
第5回：データとビジネス機会の関係
第6回：数式の果たす役割
第7回：意思決定とデータ
第8回：データによる結果と確率の推定

この記事の続きはこちら
【シリーズ】マーケティングの意思決定とデータ第4回：消費者理解のためのデータ活用