摘要：对AB测试结果的分析可分为统计分析和业务分析两个方面

对AB测试结果的分析可分为统计分析和业务分析两个方面。

1、统计分析

统计分析，所谓的统计分析就是从统计的角度来分析是否可信。

分为三个层次：一是分析AB两个版本之间的不同程度，以统计上的显著性反映出来，然后再分析差异大小，这里用改进的效果来表示，即转化率的增加或减少的幅度；最后是差异区间，表示转化率改进的空间范围。

统计学上有意义：

统计学上的显著性也称为显著性，是指两组间态度上的差异是由制度因素而非偶然因素的影响，同时假定影响差异的其他影响因素是我们所推论的因素，但这一点也不是100%保证，所以会有一个概率值，即明显的程度。

如前所述，统计显著性的值表示以下含义：

1)超过95%：优化版本与原始版本之间存在显著的统计差异，转换率“改善”是可信的；

2)90%~95%：优化版本与原始版本之间的统计差异存在疑问，转换率的「改善」是有疑问的；

3)低于90%：优化版本与原始版本之间没有显著的统计差异，转换率的“改善”是不可信的；

改善效果：

优化后的AB测试版本比原来的版本提高了多少。计算公式为：(优化版本转换率-原始版本转换)/原始版本的转化率。

差别范围：

即优化后的AB测试版本和原始版本间转换率差异最可能分布的区间。比如：A版是原版，B版是优化版，A版是10%,B版是15%,B版是5%，两者的绝对差值是5%，而转换率的相对差值是50%。

2、业务分析

经过上述统计分析确定可信度后，需要对AB测试结果进行商业分析。由于统计分析得到的是差异性因素，在行业知识、顾客心理、用户行为习惯、偏好等方面进一步进行分析，从数据的统计中挖掘出真正产生差异的原因。