【シリーズ】マーケティングの意思決定とデータ第2回：マーケティングの意思決定とKPI

”単純な”ABテストの結果にもとづく意思決定

非常に単純な、「ABテストにまつわる意思決定」について考えてみます。

今、下図にあるように、トップページのメインバナーに、2種類の異なるデザインのものを用意して、ランダムに表示するテストを行ったとしましょう。どちらも、クリックした際の遷移先は同じコンテンツです。

1週間ほどテストを行い、それぞれのバナーのインプレッション数が50,000を超えた時点で、バナーのクリック率（以下、CTR）と、クリックしたユーザーのコンバージョン率（以下、CVR）を確認したところ、以下のようになったとしましょう。

そしてこの結果から今後、「メインバナーとしてデザインBを表示」することにしたとします。これほど単純なABテストを行う機会はあまりないかもしれませんが、同様の意思決定は、マーケティングの現場でよく行われているように感じます。

皆さんは、この意思決定をどのように評価しますか？
少なくとも私は、このような意思決定に賛同できません。

その理由として、私は「論理的な意思決定の必要条件」を、

①　問題の構造をきちんと理解すること
②　数値の大小だけでなく、数値の背後にある実体を見ること

と考えるからです。

以下は、まず①についてご説明します。

論理的な意思決定の必要条件①　問題の構造を理解して行われている

問題の構造をきちんと把握する step1: KGIとのつながりで施策を考える

先程の意思決定について、私が賛同しかねる理由の1つ目は、「問題の構造をきちんと理解せずに意思決定を行っている」ように見えるからです。

バナーのCTRとCVRとは、確かに本件のKPIでしょう。
しかし、当然ながらKPIは、KGIとの関わりの中で考察されなければなりません。
KGIをどのように設定するかということも、議論されるべき重要な課題ですが、例えば本件でいえば、サイト全体のCV数をKGIとすることができるでしょう。

そうしたとき、本件に係る問題の構造は、どのようになるでしょうか。
まず、先程の意思決定で無意識に想定した問題の構造は、以下のようなものになるでしょう。

このような構造は、今回のABテストを受けた意思決定を行う上で、十分なものでしょうか。確かに、ABテストを実施したマーケターにとっては、今回のABテストは、このような導線でのユーザーの行動を意図したものであり、この構造の中に興味の対象がもれなく含まれているかもしれません。
しかしそれは、完全に「マーケターの目線」であり、「ユーザーの目線」での問題の構造は、これとは全く異なります。

問題の構造をきちんと把握する step2: ユーザー目線で問題を眺める

今回例として挙げたサイト全体のCV数というKGIに限らず、マーケティングに関わるKGIは、そのほとんどが「ユーザーの行動によって変化する」ものになるかと思います。
そうであるならばマーケターは、どのような施策を評価するにしても、まずユーザー目線で捉える必要があるでしょう。

本件に関する問題の構造を「ユーザー目線」で捉えるなら、少なくとも下図のように考えるべきです。なぜなら、ユーザーは、メインバナー以外からでもそのコンテンツに遷移できるはずですし、別のコンテンツを経由してCVすることもあるはずだからです。

当然、ユーザーの行動は多様ですので、もっと複雑に問題の構造を考えることもできます。しかし、データを用いた意思決定を行う際には、問題の構造は必要最小限に留めるべきでしょう。なぜなら、「問題の構造を複雑にすればするほど、分析と分析結果との複雑さも増し、結果についての考察が難しくなる」からです。

問題の構造をきちんと把握する step3: みるべき数値をみる

図3は、サイト全体のCVを、今回のABテストとの関わりの中で、 最も単純に構造化したものになっています。こうして見ると、先程の意思決定に利用した表1にある数値が、如何に断片的な情報しか与えていないかが分かるでしょう。
最も単純な問題の構造を想定しただけでも、今回のABテストを受けた意思決定を行うには、下図のような数値を確認しなければならないことは明白です。

改めて、数値を確認した結果、下表のようになったとします。
先程、表1を用いて意思決定したときと同様、デザインBを今後も採用すべきでしょうか？

当然ながら、表1と同様、バナーのCTRは「デザインBの方が高く」なっています。しかし、別経路での遷移率が低くなっているため、トップページから対象コンテンツに遷移するユーザーの割合の合計は、「デザインBで低く」なっています。

その上、対象コンテンツからのCVRも、「デザインBで低く」なっているのです。もしかすると、デザインBはユーザーのクリックは誘発するものの、それは、「本来対象コンテンツに興味のないユーザーによるものが主であった」ため、このようなことが起こったのかもしれません。

そう考えると、今後の表示バナーとして「デザインBを採用」するという意思決定は、素直に受け入れることが難しいでしょう。では逆に、「デザインAを採用」するという意思決定はどうですか？

私はそれにも簡単には賛同できません。

なぜなら、前述した論理的な意思決定の必要条件である、

①　問題の構造をきちんと理解すること
②　数値の大小だけでなく、数値の背後にある実体を見ること

②が満たされていないからです。

私のような、データサイエンスに携わる者が、そのようなことを言うのには違和感を覚えられるかもしれませんが、意思決定が論理的であるためには、数値の大小だけをみるのではなく、その「数値の背後にある実体」をみなければいけません。次回は、「論理的な意思決定の必要条件②　数値の大小だけでなく、数値の背後にある実体を見ること」について議論してみたいと思います。楽しみにしていただけると幸いです。

【シリーズ】マーケティングの意思決定とデータ

第1回：マーケティングとDX
第2回：マーケティングの意思決定とKPI
第3回：マーケティングの意思決定とKPI
第4回：消費者理解のためのデータ活用
第5回：データとビジネス機会の関係
第6回：数式の果たす役割
第7回：意思決定とデータ
第8回：データによる結果と確率の推定