怎么对AB测试的结果做分析?
对AB测试成果的剖析可分为统计剖析和业务剖析两个方面。
1、统计剖析
统计剖析,所谓的统计剖析就是从统计的角度来剖析是否可信。
分为三个层次:一是剖析AB两个版本之间的不同水平,以统计上的明显性反应出来,然后再剖析差别大小,这里用改良的后果来表现,即转化率的增长或减少的幅度;最后是差别区间,表现转化率改良的空间规模。
统计学上有意义:
统计学上的明显性也称为明显性,是指两组间态度上的差别是由制度因素而非偶然因素的影响,同时假定影响差别的其他影响因素是我们所推论的因素,但这一点也不是100%保证,所以会有一个概率值,即显著的水平。
如前所述,统计明显性的值表现以下含义:
1)超过95%:优化版本与原始版本之间存在明显的统计差别,转换率“改良”是可信的;
2)90%~95%:优化版本与原始版本之间的统计差别存在疑问,转换率的「改良」是有疑问的;
3)低于90%:优化版本与原始版本之间没有明显的统计差别,转换率的“改良”是不可信的;
改良后果:
优化后的AB测试版本比本来的版本进步了多少。盘算公式为:(优化版本转换率-原始版本转换)/原始版本的转化率。
差异规模:
即优化后的AB测试版本和原始版本间转换率差别最可能散布的区间。比如:A版是原版,B版是优化版,A版是10%,B版是15%,B版是5%,两者的绝对差值是5%,而转换率的相对差值是50%。
2、业务剖析
经过上述统计剖析肯定可信度后,须要对AB测试成果进行商业剖析。由于统计剖析得到的是差别性因素,在行业知识、顾客心理、用户行动习惯、偏好等方面进一步进行剖析,从数据的统计中发掘出真正发生差别的原因。
特别声明:以上文章内容仅代表作者本人观点,不代表ESG跨境电商观点或立场。如有关于作品内容、版权或其它问题请于作品发表后的30日内与ESG跨境电商联系。
二维码加载中...
使用微信扫一扫登录
使用账号密码登录
平台顾问
微信扫一扫
马上联系在线顾问
小程序
ESG跨境小程序
手机入驻更便捷
返回顶部