提交需求
赛事与广告咨询合作,请填写需求表单,我们会在第一时间与您联系!
A/B 测试是严谨务实的用户体验研究方法,看 Netflix 如何利用它改进产品。
几周前,我在旧金山的Yelp总部参加了一场设计师与极客们的活动Anna Blaylock和Navin Iyengar两位都是Netflix的产品设计师,他们分享了自己多年在千万级用户群中做A/B测试的经验。他们也展示了相关的产品案例,帮助与会者思考自己的设计。
下面是我关于他们演讲做的记录,其中包含我最喜欢的一些精华。
演讲的照片
我非常喜欢PPT的第一页——绝命毒师里的这张图用得很聪明,能表现实验的概念。
在科学中,假设是指一个想法或一套解释,需要通过研究和实验来验证。在设计里,一套理论或猜想同样可以被称为假设。
假设的基本概念,是没有确定结果的。它经得起检验,这些测试也可以被重现。
“A/B测试背后的总体概念,是创造一套实验,有对照组和一个或更多实验组(在Netflix中这被称作‘单元’),对他们进行区别对待。在实验中,每个用户都属于唯一的单元,其中一个单元会被设计成‘默认单元’。这个单元代表着对照组,使用体验与所有没有加入实验的Netflix用户相同。”——Netflix技术博客
Netflix的A/B测试是这样进行的:随着测试启动,它们会记录特定的重要指标。例如播放时间和留存率之类的因素。一旦测试者得出足够有意义的结论,他们就会进一步观察每组实验的效果,定义出各个版本中的优胜者。
许多像Netflix这样的公司通过实验保障用户数据。同样重要的是,投入时间和精力合理安排实验,确保数据的种类和数量足以有效地阐明他们感兴趣的问题。
你可能会注意到,Netflix首页的焦点区域似乎随着登录状态改变。它们都是Netflix复杂实验的一部分,让你观看他们的节目。
我首次登录看到的首页。
PPT中的图片:用户注销后会看到纸牌屋的页面。
我第二次登录时看到的页面。
我换了另一个账号登录看到的页面。
我换了一个“儿童”账号登录看到的页面。
我未登录时看到的页面。
A/B测试的概念,是向不同用户群呈现不同内容,收集他们的反应,通过结果来建立未来的策略。Netflix工程师Gopal Krishnan写的这篇文章里提到:“如果不在90秒内吸引一个用户的注意力,这个用户就很可能失去兴趣,去做其他的事情。这些失败的情况,往往是因为我们没有呈现正确的内容,或者我们呈现了正确的内容但没有提供足够的观赏理由。”
Netflix早在2013年做过一个实验,用来研究是否可以通过创造一些不同版本的作品,来提高某个标题的收视率。结果如下:
图片来自Netflix技术博客
Krishnan补充道:“这个信号很早提示我们,用户对于封面变化的敏感。这个信号也表明,还有更好的方式,可以通过Netflix的用户体验,帮助用户找到他们要的那一类故事。”
Netflix后来打造了一套系统,能自动根据纵横比、裁剪、润色和不同语言的同一张背景图为作品分组。他们在TV节目上也重复这个实验,用来追踪相关作品的表现。例子如下:
图片来自Netflix技术博客。两张带有标记的图片明显胜过其他版本。
图片来自Netflix技术博客。最后一张带标记的图片明显胜过其他版本。
请看两篇博客文章,可以了解更多关于Netflix的A/B测试:
A/B测试是研究用户行为的最可靠的方式。作为设计师,我们应该通过实验的角度,思考自己的项目。
PPT中的图片:你的直觉未必正确。
了解用户是设计过程中最令人兴奋的部分。设计没有成品,许多的改版和迭代可以改进设计,给用户带来尽可能好的体验。
本文最初发布在Medium。
原文链接:http://blog.invisionapp.com/how-netflix-does-ab-testing/
作者信息:Jessie Chen, UI/UX Designer
Jessie Chen currently works at ZapLabs, where she designs a CRM for real estate professionals. She enjoys gathering user feedback through user testing, and iterating on design ideas to solve usability issues. In her spare time, she shares ideas on Medium about how design impacts businesses.
Follow me on Twitter
大牛,别默默的看了,快登录帮我点评一下吧!:)
登录 立即注册