時間とリソースを無駄にしないABテストの作り方

Source

ClicktaleマーケティングVP

どんなスポーツのアスリートでも、勝つために役立つデータをモニタリング、収集する。カメラやセンサー、ウェアラブル端末を使ってカロリー摂取量やトレーニング計画、運動能力の最適化を図る。データを見てあれこれ分析を行い、最大限のメリットを引き出そうとしているのだ。オリンピック競技にはなっていないが、A/Bテストも同様に攻略することが可能だ。

最近、あるWebサイトオーナーと話をする機会があった。「常にテストする」ことを信条とする人物だ。彼は、メッセージやデザイン、レイアウト、オファー、CTAなど、常に何かをテストするようチームに指示していると話した。

「では何をテストすべきかについて、チームはどうやって認識するのですか?」と尋ねると、オーナーは少し考えてから、「分からないでしょうね」と答えたのだった。

いかに経験豊富なチームであっても、直感に頼っていては行き詰まってしまうだろう。「常に何かをテストする」のは素晴らしい信条かもしれないが、テストのためのテストは多大なるリソースの無駄遣いになりがちだ。熟慮と準備の足りないA/Bテストもまた然りである。

標準的なA/Bテストでは「コンバージョンが高いのはどちらのバージョンか?」のような問いの答えを出すことができるが、A/Bテストに高度な分析を組み合わせれば、さらに重要な収穫が得られる。「勝ったバージョンのコンバージョンの方が高かったのはなぜか?」のような問いの答えを出すためのフレームワークだ。

時間とリソースを無駄にしないABテスト

典型的なA/Bテストは、テスト中に集めたデータを分析するアルゴリズムがベースとなっている。だが、私たちClicktaleのプロジェクトでは、テスト前、テスト中、テスト後のデータを非常に重視するモデルを試し始めた。すると、戦術的なことはもちろん、興味深い結果や戦略上役立つことまで見えてきたのだ。

例えば、Wheaties.orgというサイトでは、直帰率を下げて「Buy Now」のクリック数を増やしたいとしよう。A/Bテストの出番だ。サイトのUXリーダーは、現在のサイトについて、現役アスリートバージョンと元オリンピック選手バージョンを比較するA/Bテストを行おうと考えている。

Wheaties Page Design
Wheatiesのページデザイン

しかし、もしチームが訪問者のページ内行動をモニタリングした結果、圧倒的多数の人はファーストビューより下にスクロールしておらず、ページ下部に配置されたアスリートたちに気付いてさえいないことが分かったら、どうだろうか?

そうであれば、アスリートのバリエーション間を比較するテストは時間とリソースの無駄遣いに思われる。

だが、別の観点から見れば展開も変わってくる。もしチームがセッションリプレイを確認した結果、アスリートのプロフィールを見た人の方がサイトに長い間とどまる傾向にあり、「Buy Now」のクリック率を飛躍的に高めてくれそうだと分かったら、どうだろうか? サイト訪問者のサブセットであっても、期待どおりの行動を取ってくれるサブセットだ。

ページに埋め込んだ素晴らしい体験談の影響力を期待するのであれば、アスリートのプロフィールをもっと高い位置に移すのが賢明かもしれない。あるいは、スクロールダウンを促す要素についてA/Bテストを行うことも考えられる。

私たちのWebリソースを対象にA/Bテストを行った経験、そして1,000億もの画面内行動データを追跡・収集した経験から、私たちはある事実を確認した。テストとは、効力があり、明確な目的を持ち、実行の根拠となるべきツールであるということだ。ビジネス上の判断に際して、目に見える決定的な根拠を提供できてこそ、テストは役に立つのである。

例えば、マラソン大会がいったんスタートすると他のランナーに注意を払わない選手がいるとしよう。一方で、自分のペースを取りつつ他のランナーを観察し、それに応じてペースに修正を加える選手のことを考えてみてほしい。

似たようにやれば、チームは変更やバグ修正をアジャイルに行うことができる。チームが調整を行う度に、あなたは新たなA/Bテストを始めるのだ。これなら、最初のA/Bテストが完了するのを何日も待つのではなく、速やかに顧客経験を改善することができるだろう。

UXに焦点を合わせる

ひとたびA/Bテストがスタートすると、勝者を決めるべく、コンピュータはデータに基づいたアルゴリズムを実行する。トラフィック、コンバージョン率、バリエーション数、そして少しでも改善が見られた数値などを基に判断する場合、ゴールラインに到達するまでに何日、いや何週間もかかるかもしれない。意欲的なA/Bテスターならどうするだろうか?

相応の訪問者数に達し次第、各バリエーションのセッションリプレイを見るだろう。それを基にファネルの有効性を確認し、ファネルの漏れにつながるような顧客経験の問題がないか迅速にチェックする。

エクスペリエンスに焦点を合わせよう。各ページでどのユーザ行動が最も多いのか、ユーザがなぜその行動を取るかを把握すれば、大きな力になる。途中で問題を修正するためのアクションを起こし、正しい方向性で進められるようになるのだ。

データを用いて要因を理解する

テスト後の評価では、再びデータを用いて、勝ったバリエーションがなぜターゲットオーディエンスにうまく受け入れられたのかを理解しよう。理由が分かれば、今後テストすべき要素の優先順位を付けるのに役立つ。

例えば、(コンバージョンを上げるはずの)宣伝バナーを付けたコントロールバージョンと宣伝なしのバリエーションについてテストしているとしよう。もしバリエーションの方が負ければ、プロダクトマネージャーは、宣伝に効果がないと結論付けるかもしれない。

だが、テストのヒートマップをじっくり観察すれば、新たな発見をすることもある。次の例では、コンバージョンが下がっていた理由は、バナーが「Buy Now」のCTAをファーストビューから押し出しているからだと判明した。

Example of A/B testing on mobile devices
モバイル端末版のA/Bテストの例

そうであれば、プロダクトマネージャーは次のテストとして、バナーを削除するのではなくより重要な「Buy Now」のCTAがファーストビューに入る形で比較しようと考えるかもしれない。そのような組み合わせで比べた方が、もっと適切な結果を得られる可能性が高いのだ。

これに関しては他にもたくさんの事例がある。例えば、あるクレジットカード会社のWebインサイトマネージャーが話してくれたのだが、収集したデータをヒートマップの形にすることで、A/Bテストに関してより情報に基づいた判断ができるようになったという。その会社では、「KPIを悪化させずにコンテンツパネルを削除できる」ということを示唆するデータを根拠にできたそうだ。

同じく弊社顧客のGoDaddyは、A/Bテストを行った結果、チェックアウトページのコンバージョン率を4%上げることができた。「弊社のボリュームでは、これは大変な向上です。”Round Up for Charity”(注文金額の端数を切り上げてその差額を寄付する取り組み)への寄付も3倍になりました」と、GoDaddyのEコマース・グローバルプロダクトマネジメントディレクター、Ana Grace氏は話している。しかし、テストが済めば最適化は終了というわけではない。GoDaddyは変更後も新しいページのモニタリングを続けており、テストの必要な新たな仮説が見つかることもあるという。

まとめ

私はオリンピック選手になれるような天性の運動能力には恵まれなかったが、WebリソースやモバイルアプリのA/Bテストに関しては、どのバージョンが勝者か判断する方法を心得ている。アスリートは、行動解析とビッグデータという強力な組み合わせによって、自らのリソースを最大限に活用するために必要な知識を得られる。同じことがあなたにも言えるのだ。