A/Bテスト計算機の使い方
A/Bテスト計算機は、選択したシナリオに合った入力から、2つのコンバージョン率を比較するための統計計算を行います。計算タイプの選択欄が表示される場合は、最初にモードを選び、フォームが求める標本サイズ、率、平均、標準偏差、生データ、または表の度数を入力してください。A/Bテストでは、AとBそれぞれの訪問者数とコンバージョン数を入力します。結果はブラウザー内で更新され、主要な統計量と関連する値が表示されるため、前提を変えながら結果をすぐに比較できます。
データリストを使う計算では、数値をスペース、カンマ、セミコロン、または改行で区切って入力します。対応のある x-y データでは、1行に1組ずつ、たとえば 1, 2.5 のように入力してください。仮説検定では、結論を読む前に片側・両側などの検定方向と alpha（有意水準）を選択します。A/Bテスト計算機では計算式と代入過程も表示されるため、最終的な数値だけでなく、どのように答えが得られたかを説明したい場合にも役立ちます。
計算式と理論 - A/Bテスト計算機
A/Bテスト計算機は、次の基本式を使います。
Z = (pB - pA) / sqrt(p(1 - p)(1/nA + 1/nB))ここで pA と pB はA・Bのコンバージョン率、nA と nB は各グループの標本サイズです。p は帰無仮説のもとでA・Bを合わせて求めるプールされた比率です。この計算は、2つのコンバージョン率の差をプールした標準誤差で割る比率のZ検定に基づいています。
計算機は、標準誤差、p値、臨界値、判定など、この方法で確認することが多い主要な結果と診断値を表示します。適用される計算では、回帰の当てはめ、調整後の閾値、残差なども表示されます。代入過程では入力値が式に入るため、算数を順番に点検できます。これは統計の授業、調査メモ、結果をすばやく監査する作業で、計算の道筋を確認したいときに便利です。
前提条件は重要です。Z検定やt検定などのパラメトリック検定には、標本抽出、観測値の独立性、適切な標準偏差の入力などに関する前提があります。順位に基づく検定は正規性を仮定しないデータに比較的頑健ですが、標本が検定の設計に合っている必要があります。回帰の結果は入力したデータに当てはめたモデルを表すもので、因果関係を証明するものではありません。
A/Bテストでは、ランダムな割り付け、独立した観測、事前に決めた検定方向と有意水準、十分な標本サイズが解釈に影響します。統計的有意差があっても、実務上意味のある改善であるとは限りません。反対に、有意差が見つからない場合も、効果がまったくないことを証明するわけではありません。特に大きなデータでは小さな差でも有意になり得るため、p値だけでなく効果量、信頼区間、ビジネス上の重要性を確認してください。A/Bテスト計算機は教育・分析の補助として使い、重要な判断では専門知識と検証済みの統計ソフトで方法や前提を確認してください。
A/Bテスト計算機の活用例
A/Bテスト計算機は、統計の学習、実験結果の確認、アンケート計画、回帰分析の点検、A/Bテストの解釈に役立ちます。学生は、表示された計算式を使って教科書の答えを確認できます。アナリストは、コードを書いたり表計算を作ったりする前に、結果の妥当性をすばやく点検できます。研究者は、中間計算を明確で再現可能な形で共有できます。プロダクト担当者やマーケティング担当者は、関連する計算機を使って、必要サンプル数、誤差範囲、コンバージョン率（CVR）の改善幅、統計的有意差を、数値の前提を隠さずに解釈できます。
関連するサンプルサイズ計算では、ベースラインのコンバージョン率、想定する効果量、有意水準、検出力のバランスが重要です。必要サンプル数を小さく見積もると、実際の差を検出できない可能性があります。入力値を確認し、結果を読み、標本サイズ、alpha、信頼水準、分散、観測された効果を変えて結論がどう変わるかを比較してください。計算はローカルで行われるため、ワークフローは速く、入力データを外部に送らずに確認できます。