企业或设计师使用A/B测试比较同一设计不同版本或不同策略之间的差异.对于不断被提出的假设,AB测试，是最好的方法。

随着移动互联网流量红利、人口红利的逐渐消失，越来越多的产品运营设计人员开始关注数据驱动的精细化运营方法，期望通过精细化运营在一片红海中继续获得稳定的用户增长，而A/B测试就是一种有效的精细化运营手段。

A/B测试是一种最优化技术，可以让你更清楚地看出同一设计不同版本之间的差异，从而找到与业务目标更相符的对象。”随机指派不同的人进行以下测试“A”测试和“B”测试,对数据进行挖掘分析。测试后你可以确定哪一份设计更接近你的目标。

举个例子，当越来越多的人注册体验免费在线服务时，有很多种人们不注册的原因，如注册表格是否过长？人们担心他们的隐私泄露以及产品会怎么处理他们的隐私数据？在他们注册之前想要了解价格信息？通过对界面进行细微的修改，你就可以找到这些问题的答案。然后进行A/B测试，找到提高人们的注册率的改进版本。考虑到以上问题，你便可以设计并且通过几次测试进行比较：

设计方案1:指导并使用户放心的帮助文档一考虑到这些服务条目（色调、长度、字体大小）；

设计方向2:表单元素（多少、布局、需要哪些字段）；

设计方向3:菜单按钮的不同处理和调用（页面布置、尺寸、颜色、标签）。

尽管可以通过测量出“哪一种”设计产生的效果更好，但是A/B测试不会帮助给出“为什么”。A/B测试不是通过评估客户的心愿、态度以及需求的简单定性替换，同样也不能揭示比较重大的问题，例如客户是否信任这个网站或者网址内容是否可信。”为此，A/B测试需要不断补充其他定性方法，才能帮助你更深刻地了解客户的动机以及真正的需求。

A/B 测试的作用

1.解决方案分歧：当项目利益相关者出现意见分歧，无法确定最佳方案时，通过AB测试，可以有效确定方向；

2.助力模块优化如果存在模块优化需求，但不确定最终结果一定是好的，希望先验证后推广时，AB测试能够提供定量的测试结果，为探索方向提供指导。

3.定位问题根源：针对某一具体问题，不确定问题根源在哪，通过改变哪些因素可以解决问题时，可以通过AB测试帮助明确问题根源

4.助力数据增长：结合增长思路，探索数据增长的影响因素，并通过AB测试，探索促进数据增长的最佳方式，持续迭代，不断优化

A/B 测试的流程

①确定目标：目标是用于确定变体是否比原始版本更成功的指标。可以是点击按钮的点击率、链接到产品购买的打开率、电子邮件注册的注册率等等。

②创建变体：对网站原有版本的元素进行所需的更改。可能是更改按钮的颜色，交换页面上元素的顺序，隐藏导航元素或完全自定义的内容。

③生成假设：一旦确定了目标，就可以开始生成A / B测试想法和假设，以便统计分析它们是否会优于当前版本。

④收集数据：针对指定区域的假设收集相对应的数据用于A/B test分析。

⑤运行试验：此时，网站或应用的访问者将被随机分配控件或变体。测量，计算和比较他们与每种体验的相互作用，以确定每个用户体验的表现。

⑥分析结果：实验完成后，就可以分析结果了。A / B test分析将显示两个版本之间是否存在统计性显著差异。

A/B 测试-eBay的实例研究

A/B测试可以获取不同的假设和产品发展方向。eBay在对图像大小进行的一系列测试就是一个很好的例子。

通过多次测试，eBay的研究人员普遍认为如果网页中明显的位置列出的商品数量越多，滚动或者分页的次数越少，就越能吸引买家点击进入详情页,从而提高转化率。根据这种假设，在此所列出的A/B图像大小测验就应该证明小的图像可以增加每个页面的商品数量，并因此更能吸引顾客。

但令研究人员吃惊的是，与尺寸较大的图像（测试A）相比，尺寸较小的图像（测试B）并未达到预期效果。通过深入调查和后续试验，研究人员了解到事实与他们的假设刚好相反一即使图像尺寸较大就意味着每一页上列出的商品数量会减少，但这种方式更能吸引买家。得出试验结果之后，eBay迅速做出调整，在整个网站上都换成了尺寸较大的图像。

测试方案A:大尺寸的图像测验

测试方案B:大尺寸的图像测验

不适用的情况

A/B Test 无法真实的告诉你是否有用户缺少的东西

例如：电商类产品想知道页面上是否有用户需要，但是他们还没有提供的商品。这种情况没办法用 A/B Test 来得到答案。

A/B 不适用需要很长时间才能验证的测试。

例如：某租房产品，想测试促进用户推荐页面给好友有没有效果，但是这个效果检验需要很长时间，可能是一周，可能是半年，一年。因为租房对用户来说并不是经常发生的。这种情况也不适合。

常见问题

AB测试的优缺点是什么？

▼ 优点：

科学量化策略的效果，依据数据反映真实情况，避免感觉型方案的产生。

对比不同的策略方向，找出核心问题，探索新的业务增长点。

通过AB测试，为创新方案提供数据支持和保障。

▼ 缺点：

数据采集积累，降低了策略的迭代效率。

不同策略的维护和开发，增加了开发工作量。

实验效果不显著怎么办？

实验效果不显著的原因可以分成两类：

第一类：设计策略方案不佳，方案产生的数据无明显差异。

第二类：实验的灵敏度不够高。

针对第二类具体实验设计的问题，我们可以通过以下方法进行优化

增加样本量：实验组和对照组差值及样本方差不变的情况下，样本量足够大，我们总是可以得到显著性的结果。

减少样本均值的方差：减少样本均值方差的方法有减少离群值的影响，缩减方差（CUPED）的方法。

更换指标：更换一个方差更小的指标，比如某购物平台，实验指标一开始是用户购买的平均金额，我们可以更换为用户是否购买。对同一批样本，是否购买属于0-1分布，样本的均值方差自然比用户购买的平均金额小很多。

注意事项

我们在借鉴成功案例制定我们的AB测试计划时要多考虑自身情况，并且注意以下几点：

实验组控制组数量相等

最好保持实验组和控制组方案验证时具有相同的用户比例，也就是如果实验组有5%的用户，那么控制也要选5%的用户做对照。

实验控制在同一时间段

在一些特殊时间中，用户的活跃度会暂时性增高，如果A方案的作用时间刚好是节日，方案B的作用时间非节日，那么显然这种比较对于B方案是不公平的。所以这种变量最好能够保持统一，不然会对实验结果产生影响。

不要反复用同一组用户实验

也许刚开始因为其随机性，用户行为差异很小。N 个实验过后，行为的差异可能就变得非常大了。

排除异常值

作弊用户和BUG数据，可能会让指标变得非常奇怪。需要分析这些干扰的数据并排除掉，保证数据的合理性。

常用工具介绍

介绍几个热门的工具，大家可以根据自己的需求尝试一下。

1.Evan’s Awesome A/B Tools

https://www.evanmiller.org/ab-testing/

里面有具体的操作方法和步骤，不过是英文版，大家可以试试~

2.热云数据

http://www.appadhoc.com/?apptype=wap&campaignid=c2d67611c6b82465705229b911066d65&cid=8048

3.Optimizely

Optimizely是一家美国公司，平台技术提供A /B测试工具。

https://www.optimizely.com/products/intelligence/web-experimentation/

Powered by Froala Editor