A/B 测试显著性计算器

判断您的 A/B 测试结果是否具有统计学意义

对照组转化数

输入对照组产生的总转化次数

对照组访客数

输入对照组的总访客数量

变体组转化数

输入变体组产生的总转化次数

变体组访客数

输入变体组的总访客数量

置信度

选择统计置信度（通常为95%或99%）

对照组转化率—

变体组转化率—

转化提升—

Z 值—

P 值—

统计显著性—

结论—

这代表什么？ 比较对照组和变体组的转化率差异。如果 P 值小于显著性水平（1 - 置信度），则结果具有统计显著性，表示变体组的表现与对照组存在显著差异。转化提升百分比显示变体相对对照组的改进程度。

什么是 A/B 测试显著性？

A/B 测试显著性是指测试结果差异不是由随机因素造成，而是真实存在的概率。通过统计学方法计算 P 值，我们可以判断两个版本之间的转化率差异是否足够大，足以信心地做出业务决策。

如何使用本计算器

输入对照组和变体组的转化数和访客数，选择所需的置信度（通常为95%），点击计算。计算器将自动分析数据，为您生成详细的统计结果，帮助您理解测试的可靠性。

关键指标解释

转化率是转化数除以访客数。转化提升表示变体组相对对照组的改进百分比。Z 值衡量两个转化率之间相差多少个标准差。P 值是获得当前或更极端结果的概率，值越小说明差异越显著。

统计显著性标准

在 95% 置信度下，P 值小于 0.05 表示结果显著；在 99% 置信度下，P 值小于 0.01。如果达到显著性标准，您可以有信心地认为变体版本确实优于（或劣于）对照版本，而不仅仅是随机波动。

样本量考虑

样本量越大，统计结果越可靠。如果样本量过小，即使存在真实差异也难以检测出来。建议在开始 A/B 测试前计算所需样本量，确保有足够的数据支持统计分析。

何时停止测试

达到统计显著性后，应立即停止测试并实施获胜方案。继续测试可能导致决策延迟和机会成本。同时要注意，显著性结果不一定等于业务价值，还需考虑提升幅度是否值得实施。

常见问题

什么是置信度？

置信度是指我们对统计结果的信心程度。95% 置信度意味着如果重复进行相同实验 100 次，有 95 次会得到相似结果。通常业务中使用 95% 或 99% 的置信度。

P 值小于多少才算显著？

在 95% 置信度下，P 值应小于 0.05；在 99% 置信度下，应小于 0.01。P 值越小，结果越显著，表示差异由随机因素造成的概率越低。

为什么需要足够的样本量？

足够的样本量确保统计结果的可靠性。样本量过小可能无法检测真实的差异，导致错误的决策。一般来说，样本量越大，统计误差越小。

转化提升为负数是什么意思？

转化提升为负数说明变体组的转化率低于对照组，表示变体表现更差。此时需要评估是否继续测试或立即停止使用该变体版本。

A/B 测试需要运行多长时间？

运行时间取决于流量大小和所需的样本量。建议至少运行一周以避免周期性波动的影响，或直到达到预计的样本量和统计显著性。