决策|六大环节，教你如何从0到1搭建一场A/B测试( 四 )

置信区间是一个范围，最常见的是 95% 的置信区间。如何理解呢？对于一个随机变量来说，95% 的概率包含总体均值的范围，就叫做 95% 的置信区间。也可以简单理解为总体数据有 95% 的可能性在这个范围内。
在 A/B 测试中，我们会计算两组指标的差异值，如果计算得出的差异值置信区间不含 0，那么就可以拒绝零假设，认为两组结果差异显著；反之则接受零假设，认为两组结果差异不显著。

文章插图
六、数据驱动决策运行 A/B 测试的终极目的为了提升业务指标。那么在收集试验数据到最终决策的过程中需要考虑哪些因素呢？

试验结果差异是否真实可信，是否具备统计显著性？
统计功效是否充足（通常根据是否大于 80% 来判定）？
试验放量之后会带来哪些风险，风险处理的预备方案是什么？

显著结果往往比较容易判断，可以通过增加统计功效来提升真实显著的几率。但对于一些差异不显著的试验，就需要在试验方案中做出取舍，我们需要明确决策对未来可能产生的影响，并让影响尽量控制在可预测的范围内，而非局限于根据某个单一指标来进行决策。
以上是一个完整 A/B 测试流程，后续我们将结合具体业务案例，深入探索试验各个环节，敬请期待！
补充阅读：
[1] 试验样本预估指南：https://manual.sensorsdata.cn/abtesting/latest/abtesting_SampleSize-58327106.html
作者：李世强，神策数据产品经理
本文由 @神策数据原创发布于人人都是产品经理。未经许可，禁止转载。
【决策|六大环节，教你如何从0到1搭建一场A/B测试】题图来自Unsplash，基于CC0协议。