【原创】深入浅出之A/B Test

发布于 2017年11月19日 作者 ZhouJun 分类 产品设计

当你在多个方案之间举棋不定,无法拍板哪一个更优秀的时候,你是否希望你的用户来帮你决定?

由用户来决定?没错,A/B Test可以帮你做这件事情;


小马哥曾在一场创业演讲中,讲述了微信的诞生史:微信在诞生之前,做这个产品之前,腾讯内部并没有给这个产品定一个完整的基调,而是让公司内部形成一个激烈的竞争,通过观察用户对产品的喜好程度和产品的实际完成情况决定上线结果,这是腾讯在使用A/B Test。不单只有腾讯这样互联网巨头会使用,很多时候我们都发现过这种现象,有时相同的手机App里展示的页面会和别人的不同,淘宝双十一期间利用AI设计4亿张Banner,每秒撸完8000张海报,其实这些都是在进行A/B Test。


什么是A/B Test


A/B测试,顾名思义就是方案A和方案B的比较。为同一个目标设计两个方案,或者多个方案,一部分用户使用A方案,一部分用户使用B方案。通过设定衡量标准,如“用户注册量”,每个方案设置单一变量,比较各个变量对用户使用情况的影响程度,最终衡量哪个方案更佳。

1511096656abtesting.gif

为什么要做A/B Test


很多公司在定义一个产品,特别作为一个初创公司,在探索新的产品、新的商业模式时,没有前序可供借鉴,更多是由头脑风暴,拍脑袋想出来,可行性、有效性、可持续性到底怎样?没人说得准,直接裸奔上线,完全碰运气的玩法;所以说小到一个功能点,有的说白,有的说黑,但是互联网产品真正的定义者是谁?当然是用户,你说了不算,我说了也不算,用户口碑才是硬道理,因此需要一个灰度周期,让用户决定其生死,定义其黑白。


A/B Test对产品研发的重要性不言而喻,用业内的话说就是顶级的PM也只能跑赢一半的A/B Test,像Uber,Mobike等新一代的企业,都是从第一天开始就做A/B测试来做产品迭代优化的,所以他们才会不断提升高速发展。


1511096602ab-testing-blog.png


A/B Test 应用领域


A/B Test并不是互联网实证所独享的方法论,事实上,自然界也好,或者其他领域也都是存在,存在着类似 A/B Test的事件。


1、新功能灰度发布


灰度发布是指在黑与白之间,能够平滑过渡的一种发布方式。AB Test就是一种灰度发布方式,让一部分用户继续用A,一部分用户开始用B,如果用户对B没有什么反对意见,那么逐步扩大范围,把所有用户都迁移到B上面来。灰度发布可以保证整体系统的稳定,在初始灰度的时候就可以发现、调整问题,以保证其影响度不会太大,对最终的发布负责。


1511096735a-b-testing-c.jpg

                                                                     

2、药物测试


西医首先引入了 A/B 测试的方法来验证新药的疗效。新药的验证可能是这样一个流程:挑选了100 位患者,被测试医生悄悄划分为 AB 两组,这个时候患者自己并不知道自己被分组, AB 两组患者的健康情况应该是接近一致的;A 组患者将会得到试验新药,B 组患者将会得到长的和新药几乎一模一样的旧药;如果最终 A 组患者比 B 组的疗效更好,才能证明新药的药效。

151109178297-1F32922311V10.jpg



3、生物进化


达尔文雀主要生活在太平洋东部的一个岛上,一部分生活在岛的西部,另一部分生活在岛的东部,由于生活环境的细微不同它们进化出了不同的喙,同样一种鸟,究竟哪一种喙更适合生存呢?自然界给出了A/B Test解决方案,让鸟儿自己变异,就好比是多种方案并行,让大自然进行优胜劣汰。

151109583820090528101143Zzeu4JjSt.jpg


如何做A/B Test


DOs:

1. 你需要知道在放弃之前需要进行多长时间的测试。过早或过晚放弃都是不对的。

2. 注意给相同访客呈现出相同版本,特别是一些敏感信息。(可以用cookie之类的追踪用户)。

3. 在整个测试过程中保持A/B Test的一致性,单用户在X页面见到A中测试元素,而在Y页面见到B种测试元素。

4. 做很多的A/B Test,或者说是A/B Test 变种,设置A、B、C、D等更多对照(为了达到既定的目标)。

5. 当产品有足够的访问量以及足够多的变化实现测试,需要找到最佳测试时机。

6. 工具的使用上,针对不同测试对象选择合适的测试工具。


1511096539AB-Test-Five-Whys.png

DON'Ts:

1. 不要一段时间测试A版本,一段时间测试B版本,而是应该同时进行,将参与者分散为A/B两类。

2. 不要过早地下结论,需要事先预估一个A/B测试的周期。

3. 不要令常来的访客惊讶(或困惑),如果是测试一个核心功能,最好只对新用户进行测试。

4. 不要让个人的喜好影响测试的结果,因为不一定是看起来更合理(或更漂亮)的版本会获得A/B测试的胜利,结果是什么就是什么,数据说话,保持客观。



蘑菇A/B Test实践


蘑菇作为一家ToB的初创公司,A/B Test显然不够非常完善,但已有相当多的实证案例,并且得出了一些有效数据,供公司产品演化参照,推动行业发展做出一定贡献。

案例1:模拟炒股游戏化有效性实证,A组:有游戏化内容 ,B组:无游戏化内容


1511098889微信截图_20171119213543.png


案例2:VIP提升开户绑卡转化有效性实证    A组:有VIP元素及内容,B组:无VIP


1511101204VIP介绍.png


案例3:定向号码包活动推送实证,设立A、B、C、D、E组分别对应不同的文案及素材


  15111012971511100408image.png


案例4:高校模拟炒股比赛报名页转化率实证 ,按照报名页展现形式不一样进行分组


  1511101111index.png




小结与启示


对于一家初创企业而言正面对着空前的竞争压力,好的想法与用户接受的想法有着各种不可逾越的鸿沟,在设计产品时可能会想当然的觉得这个流程不复杂,操作很简单,用户应该一上来就会用,不知不觉间就把我们思维强加给了用户,对于影响用户体验的地方,细节都不可忽视,应适度合理使用A/B Test进行产品演化。






评论(0)

暂无评论