マーケティング領域での意思決定とデータとの関わりを論じる本シリーズ。第4回である今回は、データサイエンスのプロセスを、消費者理解の観点から考察してみます。

第3回の記事はこちらからお読みいただけます。

単純なABテストでの意思決定とマーケティングのPDCA

消費者理解のためのデータサイエンスについて考えるに当たり、今回も、トップページのメインバナーに、2種類の異なるデザインのものを用意して、ランダムに表示する、という下図のような単純なABテストを題材にします。

このようなABテストで、下表1のような数値だけをもとに、テスト期間後の表示バナーをどちらにするかを決めるのは、とても論理的な意思決定とは言えないというのは第2～3回を読んでいただければ、お分かりになるかと思います。
問題の構造をきちんと捉えれば、少なくとも表2のような数値をみなければいけませんし、それらの数値の背後にある実体を推察して、論理的な意思決定をするためには、表3のようにユーザーをセグメントするなど、「なぜ」そのような結果になったのかに迫るためのデータ分析が必要となります。

表示バナー	クリック率	クリックユーザーのCVR
デザインA	4.5%	6.5％
デザインB	5.4％	6.3％

表示バナー	クリック率	別経路での遷移率	遷移率合計	対象コンテンツからのCVR	別経路でのCVR
デザインA	4.5%	20.5%	25.0%	7.2%	1.2%
デザインB	5.4%	18.5%	23.9%	6.5%	1.1%

ユーザーセグメント	表示バナー	クリック率	別経路での遷移率	遷移率合計	対象コンテンツからのCVR	別経路でのCVR
新規	デザインA	3.4％	6.2％	9.6％	2.5％	0.9％
	デザインB	7.7％	3.0％	10.7%	2.4％	0.8％
既存	デザインA	5.0％	27.5％	32.6％	7.9％	1.3％
	デザインB	4.2％	26.8％	31.0％	7.3％	1.3％

さて今、このABテストを行ったマーケターが、表3の結果を見てテスト期間後、新規ユーザーにはデザインBバナーを、既存ユーザーにはデザインAバナーを導線として表示するという意思決定をしたとしましょう。

このような意思決定は、十分に論理的といって良いでしょう。しかし、データを活用したマーケティングのPDCAサイクルの実行、という観点からすれば、まったく満足のいくものではないと私は考えます。

意思決定はどのように評価されるか

前回、私は、結果だけをもとに意思決定を評価するのは、運に任せているのと同じことだと、簡単なくじ引きによる販促の例でお話しました。どんな意思決定も、どのような意図で行われたものかを鑑みなければ、評価することはできないのです。そう考えると、今回のようなABテストに基づく意思決定でも、何のためのABテストかを鑑みて評価するべきでしょう。

では、このABテストは何のために行われたのでしょうか？

「そんなの、KPIの改善、ひいてはKGIの改善のために決まっているでしょう」と思われるかもしれません。しかし私は、そのような考えはあまりに短絡的すぎると考えます。

何のためのABテストか

ドラッカーの話を持ち出すまでもなく、マーケティングの出発点が消費者（特に顧客）の理解であることは明らかでしょう。であるならば、このようなABテストも、マーケティングの一環として行われるわけですから、第一には消費者理解のために行われていると考えるべきです。

そもそも、どのようなマーケティング施策も直接KPIやKGIを変化させることはできません。必ず、消費者／顧客の態度変容を通してそれらを変化させるのです。「マーケティング施策はKPI・KGIを改善させるために行われる」というのは、そのような事実を無視した、短絡的な企業目線の考えでしょう。

「施策」のPDCAと「顧客理解」のPDCA

そう考えると、表3の結果を見てテスト期間後、新規ユーザーにはデザインBバナーを、既存ユーザーにはデザインAバナーを導線として表示するという意思決定をすることが、マーケティングのPDCAの観点からして、まったく満足のいくものではないということがご理解いただけると思います。

では、このようなPDCAを本来の姿に戻すためには、どうしたら良いのでしょうか。 方法は単純です。論理的には、PDCAを顧客理解のためのもの、とすれば良いわけです。より具体的には、以下のような変更でしょうか。

フェーズ	施策のPDCA	顧客理解のPDCA
Plan	以下の計画 ・どのような施策をするか ・施策によるKPI・KGIの変化をどう測定するか	以下の計画 ・顧客についてどのような仮説を検証するか ・どのような施策であればその仮説が検証できるか
Do	実験計画に基づく施策の実行	実験計画に基づく施策の実行
Check	施策によってKPI・KGIはどう変化したのか、の検証	顧客についての仮説の検証
Act	KPI・KGIをより大きく改善するための施策の改善	顧客についての仮説の修正／深化

しかし、それを実践しようと思うと、これまでのやり方に慣れていればいるほど、難しく感じられるかもしれません。実際、このような話を現場にすると、「そもそも顧客についての仮説が浮かばない」というようなこともよく耳にします。

簡単な顧客についての仮説から始める

しかし、少なくともABテストをしているからには、顧客についての仮説が全くないというのはあり得ません。例えば、図1のABテストを行った際に、表示したバナーが図2のように、主にコピー部分を変えたものだったとしましょう。

ここには明らかに顧客についての仮説があります。それは、「どちらかのコピーの方が、顧客により好まれる（「価値あり」とされる）」というものです。顧客についての仮説というと、鋭い洞察のようなものを考えてしまうかもしれませんが、出発点はこのくらい簡単なもので十分だと考えます。

CheckとActは、顧客についての仮説が軸になる

これで、PDCAの出発点である、検証すべき顧客についての仮説が定まりました。では、これに対してCheckとActでは、どのようなことが行われるべきでしょうか。

実は、前回・前々回でお話した論理的な意思決定のためのデータの活用方法は、取りも直さず、顧客理解のためのPDCAのCheckの方法なのです。

「どちらかのコピーの方が、顧客により好まれる（価値ありとされる）」という仮説を検証するのであれば、見るべき数値は、前掲の表1のような、企業（施策）目線のものではないというのは明らかです。

ここでは、きちんと顧客目線でデータを分析し、表3のように、新規顧客にはBバナーが、既存顧客にはAバナーが、それぞれ好まれたという結果が得られたとしましょう。

すると、「どちらかのコピーの方が、顧客により好まれる」という仮説は、あながち間違いではなさそうだと考えられるでしょう。これが、Actの第一歩です。

当然ながら、今回の結果を受けて、仮説は発展します。「新規顧客には、No.1訴求が、既存顧客には機能訴求がより好まれる」あるいは、もっと発展させるなら、「新規顧客には、人気No.1というような、他のユーザーの評価が有用な情報である」という仮説もあり得るかもしれません。

このような仮説の深化発展こそ（ときには修正も必要になりますが）、本当のActであると私は思います。KPI・KGIの数値の違いから、それらの大きい方のバナーを選ぶというActと比較してみて下さい。どちらがマーケティングの本懐に迫っているでしょうか？

2周目のPlanに表れる大きな違い

このようなActの違いは、2周目のPlanに大きな違いを生み出します。

KPI・KGIだけに捕らわれたABテストでは、次のPlanは、今回の勝者により勝るバナー（コピー）を探す、いわゆるチャンピオン探索になりがちです。もちろん、そのような細かい施策のPDCAが効果を発揮することもあります。

実際、10年ほど前に、どのサイトもすべからく不便だった頃には、ページの特定のエリアの使い勝手が良いだけで、そのサイト全体の顧客体験の評価が高くなる、というようなこともあったでしょう。

しかし、ほとんどのサイトがある程度の使い勝手を実現している現在、ある特定のエリアの利便性を追求することが、サイト全体の顧客体験に与える影響はいかほどでしょうか。

それよりも、「新規顧客には、人気No.1というような、他のユーザーの評価が有用な情報である」というような発展させた仮説に従って、今回のABテストを行ったメインバナーエリア以外も含めた仮説検証施策をPlanする方が、2周目のPDCAの出発点として、より効果的ではないでしょうか。

例えば、新規ユーザー向けに、新規顧客の口コミを集めたコンテンツを作って試してみたり、新規顧客の多いメディアの広告の訴求を他のユーザーからの評価を押し出したものに変えてみるというようなことは、容易に考えつきます。

まとめ：消費者理解のためのデータ活用

たかがABテスト、されどABテスト。表4に示した2つのABテストは、「Do」のフェーズでは、同じようなことをするのです（今回の例のように全く同じこともあります）。

しかし、そこから次の行動を意思決定する、つまり2周目のPlanを導くCheckとActのフェーズで行われることは、全く異なります。みなさんは、この記事を読まれて、その違いをどう感じられたでしょうか。もし、顧客理解のためのPDCAの方に改めて有用性を感じていただけたなら、筆者としては嬉しい限りです。 次回、連載第5回は、ようやくABテストを離れます。データからビジネス機会を見つけるコツのようなものをお話できればと考えています。次回も、マーケティングの現場で役立てていただけるような記事にしたいと考えていますので、ぜひご期待ください。

▼シリーズ：マーケティングの意思決定とデータ

第1回：マーケティングとDX
第2回：マーケティングの意思決定とKPI
第3回：マーケティングの意思決定とKPI
第4回：消費者理解のためのデータ活用