Let’s 統計「標準誤差」〜結果に違いはある？
Let’s統計 第１回「標準誤差」
プロモーションからのCTR・CVR、ページの直帰率・離脱率いろいろとパーセンテージを使った指標はあります。
ある試みを試したときに実験前後でパーセンテージに違いが出てきます。
例えば、LPOのCTR・CVRを見てどちらのランディングページが優れているのか？といったことは日常的に行われていると思います。
でも、何パーセント違えば結果が良かった悪かったの判定ができますか？
0.1%?1%？それとも10%?
もう一度同じことをしたときに、果たして同じ結果になるでしょうか？
正しくは「イエスではない」はずです。
ではどうすれば結果の評価ができるでしょうか？答えは統計学にあります。
統計学の「標準誤差」を使うことで、結果のパーセンテージがどれぐらいの誤差を含んでいるのかを求めることができます。
式で表すと
標準誤差=√((比率)(1-比率))/サンプルサイズ)
となります。パーセンテージ(10%など)ではなく、比率(0.1など)を使用します。
Excelでも求めることができます。
=SQRT((比率*(1-比率)/サンプルサイズ))
LPOのCVRを例にすると、それぞれの数値は以下のものを使用します。
●パーセンテージ・・・CVR
●サンプルサイズ・・・それぞれのランディングページへの訪問者数
それぞれのランディングページで標準誤差を求め、1.96を掛けます。
なぜ1.96かということを説明すると長くなるので割愛しますが、元のパーセンテージからプラスマイナス標準誤差×1.96の範囲に高い確率(95%)で収まるということが重要です。
LPOのテストで下記の結果だったとすると、
■ランディングページ１
CVR：5.23%
LP訪問者数：5395人
■ランディングページ２
CVR：3.35%
LP訪問者数：5410人
それぞれの標準誤差×1.96は
ランディングページ１の標準誤差：0.0059
ランディングページ２の標準誤差：0.0125
となります。
元の比率に対してプラスマイナス標準誤差×1.96を求めます。
ランディングページ１のCVR：4.64〜5.82%
ランディングページ２のCVR：2.10〜4.60%
２つのランディングページはそれぞれ95%の確率で上記の値をとるといえます。
平たくいうと、高い確率でランディングページ１の方がCVRが高いということです。
※母集団と標本の定義は割愛します
