シリーズ:マーケティングの意思決定とデータ
第2回:マーケティングの意思決定とKPI

マーケティング領域での意思決定とデータとの関わりを論じる本シリーズ。

第2回からは「意思決定とKPIとの関わり」について、データ活用の側面から考察してみます。

第1回の記事はこちらからお読みいただけます。

”単純な”ABテストの結果にもとづく意思決定

非常に単純な、「ABテストにまつわる意思決定」について考えてみます。

今、下図にあるように、トップページのメインバナーに、2種類の異なるデザインのものを用意して、ランダムに表示するテストを行ったとしましょう。どちらも、クリックした際の遷移先は同じコンテンツです。

図1. 単純なABテストのイメージ

1週間ほどテストを行い、それぞれのバナーのインプレッション数が50,000を超えた時点で、バナーのクリック率(以下、CTR)と、クリックしたユーザーのコンバージョン率(以下、CVR)を確認したところ、以下のようになったとしましょう。

表示バナークリック率クリックユーザーのCVR
デザインA4.5%6.5%
デザインB5.4%6.3%
表1. ABテストの結果

そしてこの結果から今後、「メインバナーとしてデザインBを表示」することにしたとします。これほど単純なABテストを行う機会はあまりないかもしれませんが、同様の意思決定は、マーケティングの現場でよく行われているように感じます。

皆さんは、この意思決定をどのように評価しますか?
少なくとも私は、このような意思決定に賛同できません。

その理由として、私は「論理的な意思決定の必要条件」を、

① 問題の構造をきちんと理解すること
② 数値の大小だけでなく、数値の背後にある実体を見ること

と考えるからです。

以下は、まず①についてご説明します。

論理的な意思決定の必要条件① 問題の構造を理解して行われている

問題の構造をきちんと把握する step1: KGIとのつながりで施策を考える

先程の意思決定について、私が賛同しかねる理由の1つ目は、「問題の構造をきちんと理解せずに意思決定を行っている」ように見えるからです。

バナーのCTRとCVRとは、確かに本件のKPIでしょう。
しかし、当然ながらKPIは、KGIとの関わりの中で考察されなければなりません。
KGIをどのように設定するかということも、議論されるべき重要な課題ですが、例えば本件でいえば、サイト全体のCV数をKGIとすることができるでしょう。

そうしたとき、本件に係る問題の構造は、どのようになるでしょうか。
まず、先程の意思決定で無意識に想定した問題の構造は、以下のようなものになるでしょう。

図2. 単純なABテスト後の意思決定で想定された問題の構造

このような構造は、今回のABテストを受けた意思決定を行う上で、十分なものでしょうか。確かに、ABテストを実施したマーケターにとっては、今回のABテストは、このような導線でのユーザーの行動を意図したものであり、この構造の中に興味の対象がもれなく含まれているかもしれません。
しかしそれは、完全に「マーケターの目線」であり、「ユーザーの目線」での問題の構造は、これとは全く異なります。

問題の構造をきちんと把握する step2: ユーザー目線で問題を眺める

今回例として挙げたサイト全体のCV数というKGIに限らず、マーケティングに関わるKGIは、そのほとんどが「ユーザーの行動によって変化する」ものになるかと思います。
そうであるならばマーケターは、どのような施策を評価するにしても、まずユーザー目線で捉える必要があるでしょう。

本件に関する問題の構造を「ユーザー目線」で捉えるなら、少なくとも下図のように考えるべきです。なぜなら、ユーザーは、メインバナー以外からでもそのコンテンツに遷移できるはずですし、別のコンテンツを経由してCVすることもあるはずだからです。

図3. ユーザー目線で捉えた今回のABテストに関する問題の構造

当然、ユーザーの行動は多様ですので、もっと複雑に問題の構造を考えることもできます。しかし、データを用いた意思決定を行う際には、問題の構造は必要最小限に留めるべきでしょう。なぜなら、「問題の構造を複雑にすればするほど、分析と分析結果との複雑さも増し、結果についての考察が難しくなる」からです。

問題の構造をきちんと把握する step3: みるべき数値をみる

図3は、サイト全体のCVを、今回のABテストとの関わりの中で、 最も単純に構造化したものになっています。こうして見ると、先程の意思決定に利用した表1にある数値が、如何に断片的な情報しか与えていないかが分かるでしょう。
最も単純な問題の構造を想定しただけでも、今回のABテストを受けた意思決定を行うには、下図のような数値を確認しなければならないことは明白です。

図4. 今回のABテストで確認すべき数値のイメージ

改めて、数値を確認した結果、下表のようになったとします。
先程、表1を用いて意思決定したときと同様、デザインBを今後も採用すべきでしょうか?

表示バナークリック率別経路での遷移率遷移率合計対象コンテンツからのCVR別経路でのCVR
デザインA4.5%20.5%25.0%7.2%1.2%
デザインB5.4%18.5%23.9%6.5%1.1%
表2. ABテストの結果

当然ながら、表1と同様、バナーのCTRは「デザインBの方が高く」なっています。しかし、別経路での遷移率が低くなっているため、トップページから対象コンテンツに遷移するユーザーの割合の合計は、「デザインBで低く」なっています。

その上、対象コンテンツからのCVRも、「デザインBで低く」なっているのです。もしかすると、デザインBはユーザーのクリックは誘発するものの、それは、「本来対象コンテンツに興味のないユーザーによるものが主であった」ため、このようなことが起こったのかもしれません。

そう考えると、今後の表示バナーとして「デザインBを採用」するという意思決定は、素直に受け入れることが難しいでしょう。では逆に、「デザインAを採用」するという意思決定はどうですか?

私はそれにも簡単には賛同できません。

なぜなら、前述した論理的な意思決定の必要条件である、

① 問題の構造をきちんと理解すること
② 数値の大小だけでなく、数値の背後にある実体を見ること

②が満たされていないからです。

私のような、データサイエンスに携わる者が、そのようなことを言うのには違和感を覚えられるかもしれませんが、意思決定が論理的であるためには、数値の大小だけをみるのではなく、その「数値の背後にある実体」をみなければいけません。次回は、「論理的な意思決定の必要条件② 数値の大小だけでなく、数値の背後にある実体を見ること」について議論してみたいと思います。楽しみにしていただけると幸いです。

シリーズ:マーケティングの意思決定とデータ

第1回:マーケティングとDX
第2回:マーケティングの意思決定とKPI
第3回:マーケティングの意思決定とKPI

第4回:消費者理解のためのデータ活用

Thank you for reading.

この記事を
評価する

WRITER執筆者プロフィール

株式会社電通クロスブレイン

取締役業務執行担当
佐藤洋行

九州大学院修了(農学博士)。大学院でリモートセンシング画像解析を研究。2008年ブレインパッド入社。2014~17年、Qubitalデータサイエンス取締役(兼任)。プロジェクトマネージャー、データサイエンティストとして幅広いプロジェクトに携わる。2016~19年多摩大学経営学部経営情報学科准教授兼任、後に客員教授。現在はブレインパッドより出向し、株式会社電通クロスブレイン取締役執行役員担当。著書『データサイエンティスト養成読本』(共著、技術評論社)、『AI時代の意思決定とデータサイエンス』(単著、多摩大学出版会)。
※電通クロスブレインについて詳細はこちらをご覧ください。 (https://dxb.co.jp/)

MAIL MAGAZINEメールマガジン

イベントやセミナーの開催予定、
最新特集記事の情報をお届けいたします。

TREND人気ワード・タグ

RANKING人気記事

BEST PRACTICEベストプラクティス

ブレインパッド社員が考えることから探す

業態・業種から探す

課題から探す

テクノロジーから探す

製品・サービスから探す

データ活用のプロが考える、エンジニアリング視点の記事や、新規ビジネスの創出に関する記事まで幅広い特集を配信!

業界の最先端をいく、100名を超える当社に在籍のAIおよびデータ活用スペシャリストが原稿を執筆!

ベストなDXへの入り口が見つかるメディア

DOORS

BrainPad

MAIL MAGAZINEメールマガジン

登録が完了しました。

メールマガジンのご登録ありがとうございます。
最新特集記事の情報をお届けしますので、
お楽しみにお待ちください。

MAIL MAGAZINEメールマガジン

登録エラーです。