A/B 測試顯著性計算器

判斷您的 A/B 測試結果是否具有統計顯著性

對照組轉換數

輸入對照組中完成轉換的訪客數量

對照組訪客數

輸入對照組的總訪客數

變體組轉換數

輸入變體組中完成轉換的訪客數量

變體組訪客數

輸入變體組的總訪客數

信心水平

選擇所需的信心水平（通常為 95% 或 99%）

對照組轉換率—

變體組轉換率—

轉換率提升—

Z 分數—

P 值—

統計顯著性—

結果—

這代表什麼？ 轉換率提升顯示變體組相比對照組的性能改變幅度。P 值越小表示結果越可靠。當 P 值小於 (1 - 信心水平) 時，結果具有統計顯著性，意味著差異不是由隨機因素造成的。

什麼是 A/B 測試顯著性？

A/B 測試顯著性是指測試結果不是由隨機因素造成的概率。統計顯著性幫助營銷人員確定測試結果是否可靠，以及是否應該實施變體版本。通常使用 95% 的信心水平，這意味著我們有 95% 的把握認為觀察到的差異是真實的。

如何計算轉換率

轉換率是通過將轉換數除以總訪客數來計算的。例如，如果對照組有 245 次轉換，訪客總數為 5,000，則轉換率為 4.9%。這個指標反映了有多大比例的訪客完成了目標行動。

理解 Z 分數和 P 值

Z 分數衡量兩個轉換率之間的差異有多大，單位為標準差。P 值表示在零假設下（即兩組沒有真實差異）觀察到這樣結果的概率。P 值越小，結果越顯著。如果 P 值小於 0.05（對應 95% 信心水平），我們認為結果具有統計顯著性。

何時停止 A/B 測試

達到統計顯著性後，您應該停止測試並實施獲勝的變體。繼續測試可能導致「窺視問題」，影響結果的可靠性。同時確保測試運行足夠長的時間以收集有意義的數據。

常見的 A/B 測試錯誤

避免在達到統計顯著性之前停止測試、樣本量過小、測試時間過短或多次比較同一數據。這些錯誤會增加假陽性的風險。始終預先定義成功標準和測試時長。

優化轉換率的最佳實踐

進行 A/B 測試時，一次只改變一個元素，如標題、按鈕顏色或頁面佈局。充足的樣本量和測試時長對獲得可靠結果至關重要。定期測試並根據數據做出決策，而不是基於直覺或假設。

常見問題

什麼是統計顯著性？

統計顯著性表示測試結果不是由隨機因素造成的概率。在 A/B 測試中，95% 的信心水平意味著有 95% 的把握認為觀察到的差異是真實的，而不是偶然發生的。

多少樣本量才足夠？

樣本量取決於基準轉換率、預期效果大小和所需的信心水平。通常，樣本量越大，結果越可靠。建議每個變體至少有 100-1,000 次轉換。

P 值多少才是顯著的？

在 95% 信心水平下，P 值小於 0.05 表示結果具有統計顯著性。在 99% 信心水平下，P 值應小於 0.01。P 值越小，結果越可信。

轉換率提升是什麼意思？

轉換率提升表示變體版本相比對照版本的性能改變幅度，以百分比表示。正值表示變體更好，負值表示對照組更好。例如，提升 20% 表示轉換率增加了 20%。

我應該多久進行一次 A/B 測試？

建議持續進行 A/B 測試來優化轉換率。每個測試應至少運行 1-2 週以覆蓋不同的用戶行為模式。達到統計顯著性後停止測試，然後開始新的測試。