# 在线 A/B 测试假设检验计算器
凭直觉做决定是危险的；基于纯粹的数据做决定才是成功之路。假设检验计算器（A/B 测试）是分析师、营销人员和研究人员的必备工具，用于验证两个小组之间的差异是具有统计学显著性，还是仅仅是偶然的结果。 P 值 最终裁决者
本地 不上传数据
即时 内置图表
# 为什么我们要将测试分为“转化率”和“平均值”？
根据研究性质的不同，成功指标也会发生变化。我们的工具原生支持行业内最广泛使用的两种统计检验类型。比例检验（转化率）
比较两组之间的百分比或成功率。
- 适用于营销（点击次数、销售额、订阅数）
- 使用总案例数 (n) 和成功次数 (x)
- 应用双方比例 Z 检验
连续平均值检验
比较两组之间的平均数值。
- 适用于客单价、页面停留时间或临床试验
- 使用平均值 (μ) 和标准差 (σ)
- 对样本应用稳健的正态近似 (Z/T)
# 如何解读结果：P 值是您的指南
本计算器的核心是著名的 P 值。这个数字告诉您，如果原假设（假设“两组相等”）为真，获得这些观测差异的概率。| 观测 P 值 | 实际意义 | 标准决策 |
|---|---|---|
| 大于 0.05 | 相对于方差而言，差异较小。偶然因素完全可以解释这一点。 | 不拒绝原假设。没有证明存在实际改进。 |
| 小于 0.05 | 偶然因素导致如此大差异的可能性极低。存在实际效应。 | 拒绝原假设。变体 B 表现更好！ |
| 小于 0.01 | 支持变化的证据是压倒性的（99% 置信度）。 | 坚决拒绝。实验取得巨大成功。 |
小样本修正
如果您的分组处理的受试者少于 30 个，工具将显示“小样本”警告。在这些临界场景中，经典的正态近似会失去精度；我们建议使用精确的 Student t 检验或 Fisher 工具。# A/B 测试术语表
- 对照组 (A)
- 用于衡量实验效果的原始版本或基准。
- 变体 (B)
- 您期望能改善指标的新修改版本。
- 提升（相对改进）
- B 组表现相对于 A 组基准的百分比变化。
- 显著性水平 (α)
- 您愿意接受的错误阈值（通常为 5% 或 0.05）。