A/Bテストを行う上で、最も陥りやすいミスは、実績値をそのまま優劣の判定基準としてしまうことです。

例えば、
コンバージョン率(CVR)が「0.8%」のクリエイティブA
コンバージョン率が「1.5%」のクリエイティブB
というテスト結果があるとします。

例:テスト結果1

種類 コンバージョン率(CVR
クリエイティブA 0.8%
クリエイティブB 1.5%

「クリエイティブBの方はCVRがAに比べて約2倍なので、
クリエイティブBが優れており、ウェブサイトに利用すべきである。」
と、実績値だけで優劣を判断するのは非常に危険です。

これは、一方が他方よりも優れた実績値を持つからと言って、将来的にも同じような優れた実績を残すとは限らないからです。
テストを行った期間・回数において、たまたまその結果になったという「偶然」の可能性があるからです。
A/Bテストでは、テスト結果が必然(今後も同じような結果になる)でなければ意味がありません。

クリエイティブの優劣を判定する検定レポート

Gyro-n ABテストでは、統計学の検定方法「カイ二乗検定」を利用して、その結果がどの程度統計的に必然なのかを計算し、この有意性の値をパーセントで表示します。
この有意性の値が、ゼロ%に近ければその結果は偶然である可能性が高く、100%に近ければ必然である可能性が高くなります。

下記のデータでは、
クリエイティブAのCVRが「2.5%」
クリエイティブBのCVRは「1.57%」となっています。
有意性は「70.97%」と表示されています。

例:テスト結果2

種類 ユーザー数 CV CVR 有意性
クリエイティブA 519 13 2.5%  
クリエイティブB 509 8 1.57% 70.97%

これは、クリエイティブBがAに対して優れている可能性(有意性があると判断できる値)は約71%ということを表します。この状態では、まだ偶然の可能性が高いと言えるため、優劣を判定できません。

有意性があると判断できる水準とは?

では実際にどれくらいの有意性があれば、信頼できるテスト結果といえるでしょうか?
一般的には95%程度で十分とされていますが、100%に近づくほど、判定基準は厳しくなります。

このテストの場合では有意性の値が95%を超えるまで、テストを続行しサンプル数を増やす必要があります。

※Gyro-n ABテストでは、「信頼度のしきい値」として、有意性の数値を自由に設定することができます。

テスト結果に有意差が出ない場合

A/Bテストを実行していて、テスト結果に有意差が現れないケースもよくあります。
この場合は、信頼度のしきい値を下げ、少し判定基準を緩めてテストを行ってみると良いでしょう。
判定基準を緩めるとテスト結果の正確さを下げることになりますが、Webサイトで行うA/Bテストでは、トレンドや時期的要素も含め実験結果が変動することもあります。
ある程度は誤差として捉え、テスト回数をこなしていくことも必要です。

また、テスト期間を延ばしサンプル数を増やしても、結果がいつまでたっても出ない場合は、テストを終了し新たに仮説を立て検証し直しましょう。

Gyro-n ABテスト 関連ページ

Gyro-n ABテスト 料金プラン

Gyro-n ABテストの料金プランです。14日間の無料トライアルが可能です!

Gyro-n ABテスト 料金プラン
自動ABテストツールならGyro-n

手間のかかるABテストのプロセスを完全自動化。検証から自動最適化まで全てツールにお任せ。

自動ABテストツールならGyro-n
ABテストとは?

A/Bテストに必要な知識、A/Bテストの概要から、効果を最大限に出すためのポイントや方法など解説します。

ABテストとは?