一篇文章读懂A/B测试背后的统计学原理

A/B 测试是一种对比试验，在试验过程中，我们从总体中抽取一些样本进行数据统计，进而得出对总体参数的一个评估。我们能从试验数据中得出有效结论的科学基础是基于统计学原理。

从 A/B 测试的试验原理来看，它是统计学上假设检验(显著性检验)的一种形式。

既然涉及统计学了，我们先来了解一些基础概念，这些会对我们理解这些内容有很大帮助。

在现在的 Appadhoc 平台做测试时，我们通过对试验数据的解读来确认哪个版本的效果更好；整个过程就其实相当于在做一个对比试验，通过综合对比原始版和试验版本的样本数据，从而判断这两个版本存在差异或者相同的结论。

首先，在试验过程中存在2个假设，这两个假设的关系我们需要先搞清楚。

原假设：我们希望通过试验结果推翻的假设

备择假设：我们希望通过试验结果验证的假设

我们在做A/B测试时，利用试验样本数据判断备择假设是否成立。逻辑上运用反证法，统计上依据小概率思想。原假设和备择假设是一个完备事件组，而且相互对立。在一项假设检验中，原假设和备择假设必有一个成立，而且如果其中一个不成立则必须无条件接受另一个。

在A/B测试过程中，因为我们试验的目的是通过反证法证明测试版本和对照版本有明显的不同（提升），所以在这个场景中，原假设就是原始版本和试验版本无差异，而备择假设就是这两个版本存在差异；这也很好理解，因为我们肯定不希望做了半天测试，得到的结果是两个版本一点差异都没有吧？

现在中心思想明确了，我们的做A/B测试的试验的目的就是推翻2个版本无差异的原假设，验证他们有差异的备择假设。

既然做试验时，我们通过样本数据去验证我们的观点，那肯定会有犯错的概率，为了得到科学的试验结果，我们则需要尽可能减少这些可能导致我们队试验结果做出误判的概率。

原文转自：http://iamue.com/18769