A / Bテストと複数バリアントテスト：そして勝者は…？
2016年のリオオリンピックでは、マヘドライスデールがわずか6分41秒で2,000メートル（1.24マイル）を漕ぎました。
しかし、彼の印象的なパフォーマンスにもかかわらず、世界記録保持者はほとんどレースに負けました。
2016年リオデジャネイロオリンピックでドライズデールの列から釘を刺すようなシングルスカルが勝利
オリンピック史上最も近いフィニッシュの1つで、ドライズデールはわずか数ミリで勝ちました。
対照的に、イギリスのMen’s Eightチームは、わずか5分29秒で同じ距離を漕ぎました。これは、ドライズデールの時間より70秒以上速くなっています。
さらに、英国人は0.5秒以上勝ちました。
gbr-mens-8-rowing-win
それは大きなマージンのようには思えないかもしれませんが、オリンピックでは、0.5秒は大きな問題です。
では、なぜ英国のチームはドライズデールよりもはるかに速かったのでしょうか。
答えは簡単です：彼らは水中により多くのオールを持っていました。
さて、この時点で、あなたは考えているかもしれません、ジェイク、これはすべてうまくいっていますが、ボートはオンラインマーケティングと何の関係がありますか？
さて、コンバージョン率の最適化（CRO）はボートによく似ていることがわかりました。
水中にあるオールが多ければ多いほど、目標を達成するまでの時間が短くなり、競争に打ち勝つ可能性が高くなります。
ニール・パテルとの協議
私の代理店があなたのウェブサイトへの大量のトラフィックをどのように促進できるかをご覧ください
SEO-大量のSEOトラフィックのロックを解除します。実際の結果をご覧ください。
コンテンツマーケティング-私たちのチームは、共有され、リンクを取得し、トラフィックを引き付ける壮大なコンテンツを作成します。
有料メディア-明確なROIを備えた効果的な有料戦略。
電話を予約する
秘密は複数のバリアントをテストすることです
何年にもわたって、CROは多くのマーケターの心の中でA/Bテストの代名詞になっているようです。
さて、これには本質的に何も悪いことはありません。 A / Bテストは、コンバージョン率の最適化の一形態です。ページがあり、パフォーマンスを向上させたいので、何かを変更して、結果が改善されるかどうかを確認します。
ただし、CROを実行する方法はA/Bテストだけではありません。
「A/Bテスト」ほどうまく機能しない可能性がありますが、十分なトラフィックがある場合は、A / B / C / D / etcテストを使用すると、意味のある結果をより迅速に生成できます。
たとえば、Optimizelyは最近、世界最高のテスト会社を定義する要因について調査および報告しました。
4つの最大の要因は何だったと思いますか？
最も収益を上げるものをテストする
すべての変更をテストする
実際の問題を解決するためのテスト
複数のバリアントを同時にテストする
＃4はあなたを驚かせますか？
どうやら、最も効果的なCROは、A / Bテストからではなく、複数のバリアントのテストから得られたものです。
基本的に、A/BテストはCROのMaheDrysdaleに似ています。それは機能し、驚くべき結果をもたらすことさえできます。
しかし、それは水中の2つのオールだけであり、8人のチームと競争する方法はありません。
これをより具体的に言えば、Optimizelyによると、A / Bテストのわずか14％でコンバージョン率が大幅に向上しています。一方、4つのバリエーションを使用したテストでは、27％の確率でコンバージョン率が向上します。
したがって、4つのバリアントをテストすると、A / Bテストを実行した場合よりも、コンバージョン率が90％向上する可能性が高くなります。ただし、CROテストの65％は、ご想像のとおり、A/Bテストです。
複数のバリアントをテストする方がうまくいく理由
基本的に、複数のバリアントテストがA / Bテストよりも優れている理由は2つあります。1）高速であり、2）同じテスト条件でより多くのバリアントをテストできることです。
複数バリアントテストが高速
もちろん、複数のバリアントテストで実行できるのと同じことを一連のA / Bテストでテストできます。これには、はるかに長い時間がかかります。
A / Bテストを実行すると、実際にはテストから1つのことしか学ぶことができません。バリアントのパフォーマンスは、元のバリアントよりも優れているか、同じか、または劣っています。
そして、それはあなたが学ぶことができるすべてです。
これで、A / Bテスト戦略に精通している場合、結果はオーディエンスについて多くのことを教えてくれ、将来のテストをよりスマートにすることができますが、それでも各テストから1つのことしか学んでいません。
一方、複数のバリアントテストを使用すると、複数のアイデアを同時に試すことができます。つまり、複数の仮説を同時にテストできます。
したがって、笑顔の女性と一緒に撮影したヒーローが不機嫌そうな男性のショットよりも優れていることを知るだけでなく、不機嫌そうな女性の画像が不機嫌そうな男性の写真よりも多くの結果をもたらすかどうか、または幸せな男性がそれらすべてを凌駕するかどうかを確認することもできます。
または、新しい見出しやCTAを笑顔の女性や不機嫌そうな男性と組み合わせて、複数の組み合わせを試すこともできます。
これらすべてのテストを同時に実行すると、長い一連のA/Bテストよりもはるかに迅速にページまたはサイトを最適化できます。
さらに、複数のバリアントを使用してテストを実行すると、1つのテストで少なくとも1つの肯定的な結果が得られる可能性が大幅に向上し、Webサイトからより多くの情報をより早く取得できるようになります。
複数バリアントテストの信頼性が向上
連続するA/Bテストの別の問題は、世界が時間とともに変化するという事実に起因します。
たとえば、eコマースを利用していて、10月に最初のA / Bテストを実行し、Noの間に2番目のテストを実行したとします。
ベンバー、あなたの結果がブラックフライデーによって歪められていないかどうかをどうやって知るのですか？
ビジネスが季節的でない場合でも、競合他社のマーケティング戦略の違い、政治的変化、その他のさまざまな変数などにより、A/Bテストの結果を直接比較することが困難になる可能性があります。
その結果、特定のA / Bテストバリアントが成功した（または失敗した）かどうかを判断するのが難しい場合があります。これは、制御できない要因や知識さえないためです。実行するテストが多いほど、結果が暗くなる可能性があります。
ただし、複数バリアントテストでは、すべてのバリアントを同じ条件でテストします。これにより、リンゴとリンゴを簡単に比較し、テストから有効で信頼できる結論を導き出すことができます。
複数のバリアントのテストは実際にはどのように見えますか？
複数のバリアントをテストすることでCROの結果がどのように改善されるかを示すために、最近クライアントの1人と経験したことを共有しましょう。
クライアントは「ローカルチャプターを検索」ページへのサイトトラフィックを取得したいと考えていたため、クライアントのフッターに「ローカルチャプターを検索」リンクを追加することにしました。そうすれば、リンクはできるだけ多くの人に見られるようになります。
理にかなっていますよね？
そこで、次のようなものをまとめました。
テスト-マルチフッターバリアント-v1
最初は、リンクをフッターに配置し、リンクが違いを生むかどうかを確認するためのテストを実行することを考えました。
しかし、その後、リンクをさらに目立たせる方法があるかどうか疑問に思い始めました。結局のところ、このページへのトラフィックを獲得することはクライアントにとって大きな問題だったので、リンクを強調することは理にかなっています。
そのことを念頭に置いて、リンクに色を追加しました。
テスト-マルチフッターバリアント-v2
さて、このアイデアは論理的に見えましたが、Disruptiveでは、本能ではなくテストを信じているため、「3つのバリアントをテストするのに十分なトラフィックがあるので、これをさらに進めましょう」と考えました。
問題は、クライアントのサイトがデザイナーの夢であり、モダンでシームレスに設計されていることでした。正直なところ、シームレスなフローを中断するページ要素を作成することはテストする価値があるという考えで、彼らを売るのに少し苦労しました。
しかし、最終的には、次のことを試すように説得しました。
テスト-マルチフッターバリアント-v3
クライアントが以前にページで試したものとは大きく異なりましたが、私たちはそのアイデアを実行してテストに含めることにしました。
数週間後、11万人の訪問者があり、勝者は次のとおりです。
テスト-複数のフッター-バリアント-結果
当然のことながら、「ローカルチャプターを検索」リンクを追加すると、すべてのバリアントでページへのアクセスが60％以上増加しました。これは素晴らしい勝利ですよね？
しかし、これが問題です。オリジナルの厳密なA/Bテストでは、リンクを追加するとトラフィックが63％増加することがわかりました。
一方、いくつかの追加のバリエーションを含めることで、同じテストで、クライアントの信念に反して、リンクがサイトエクスペリエンスを「中断」するほど、チャプターページへのトラフィックが増えることを発見できました。 。
確かに、さらにいくつかのテストで同じ結論に達した可能性がありますが、A /Bテストシリーズよりもはるかに迅速かつ確実にこれらの結果を達成しました。
複数のバリアントをテストする必要がありますか？
複数のバリエーションをテストする場合、それを使用しない本当の理由は1つだけです。それは、ボートが小さすぎることです。
手漕ぎ-失敗
考えてみてください。英国のエイトマンチーム全体がマヘドライスデールのボートに詰め込もうとした場合、彼らは前進することはできなかったでしょう。
同じ考え方がCROにも当てはまります。
複数のバリアントテストは素晴らしいですが、十分なトラフィックがない場合、テストが完了するまでに数か月から数年かかる可能性があります。
実際、多数の微妙な変更がどのように相互作用してコンバージョン率を生成するかをテストする真の多変量テストでは、月に少なくとも100,000人のユニークビジターが必要です（多変量テストの詳細については、このすばらしい記事をご覧ください） 。
一方、複数のページバリアントを同時にテストするために必要なトラフィックははるかに少なくなります。
サイトで複数のバリアントのテストにかかる時間を確認するには、このVWOにVWOの無料のサンプルサイズとテスト期間の計算機があります。時間枠があなたのビジネスにとって理にかなっているなら、それを行ってください！
結論
オリンピックのボートであろうとCROであろうと、水中にあるオールが多ければ多いほど、結果は良くなります。
CROをA/Bテストに限定したくなるかもしれませんが、複数のバリアントをテストすると、一連のA/Bテストよりも迅速かつ確実にコンバージョン率を向上させることができます。
私の2セントを聞いたことがありますが、今度はあなたの番です。
複数のバリアントテストを試しましたか？あなたの経験はどのようなものでしたか？この記事のデータのいずれかがあなたを驚かせましたか？
著者について：Jacob Baadsgaardは、PPC広告とウェブサイトの最適化を使用して販売を促進することに専念するオンラインマーケティングエージェンシーであるDisruptiveAdvertisingのCEOであり大胆不敵なリーダーです。彼の顔は彼の心と同じくらい大きく、彼は企業がオンラインの可能性を達成するのを助けるのが大好きです。 LinkedInまたはTwitterで彼とつながりましょう。
