~阅读本文，约需6分钟~

A/B Testing作为为一种随机测试，
是数据科学家们和市场营销人士常用的工具。
公司可以依此提前预测
某样产品或者变化是否会带来理想的效果。
美西周四晚间特邀来自微软的Senior Data Scientist Omia 老师，带来了微软A/B Testing的产品线流程和面试干货。错过讲座的同学们也不要急，可以添加Jasper老师拿讲座录频哦。
I
一切都从假设开始。。。
一开始，产品经理PM——管新功能的头头，完成开发某一项功能后会提出假设，比如“这个设计会大大提升分享率”。
2
这里讲重点：Metrics指标
为了验证假设，PM会找数据科学家做测试。先要一起设置指标，也就是最后成绩单会显示的内容。
指标由以上两种：Tracking和Action。
举个例子，OneDrive是微软现在力推的云上共享办公系统，月活用户数量算是Tracking 指标。但是一个组织云上有多少人？有多少文件被共享？有多少人次编辑？这些就属于Action指标。
在微软，一般一次实验会有20多个指标。各项数字加减乘除，数据科学家会跟PM商量蛮长时间。有的指标和OKR不搭界，只是做reference，因为不会影响大方向。
有的指标却是Guardrail，起保卫功能。举个极端的例子，某个新功能让点击率特别漂亮，但是会影响server，让服务器经常罢工，那这样的新功能就不会推出。
3
Randomization
随机选择参与测试的用户，并分组。这一步不用人为做什么，系统自动帮你弄好。也可能需要手动就是分层采样。这里可以想象有两架飞机，Control和Treatment，分到哪个就是哪个。当Flight is On的时候，实验就开始了。
4
跳进河里前先试试水：A/A测试
A/A测试的目的是为了检验用户分组的随机性，保证两组之间没有显著差别，这样就能确保之后A/B测试时，控制组没有偏差。被选中参与测试的用户被随机分配到两个组，看到一毛一样，现行的旧功能。试验结束，如果P值类似，结论不significant，那就是说明成功，可以进行A/B测试。
如果A/A测试看下来的结果差距太大，说明随机分配这一步可能有问题。
5
测试
微软的A/B测试一般会持续一个月左右，是一个循序渐进的过程。由数据工程师建立起一系列的动作，分别跟踪两组的数据。测试过程中一直可以给新功能小做改动。范围也是逐渐扩大：先是内部20-30个人的小组可以看，再来是只有微软内部员工可以看到，第三步可能是一整个企业组织。
6
分析结论
在和数据科学家碰头之前，PM的工作也包括实时问询用户，了解人体对产品的感受。
当然，数据科学家要在试验结束后看成绩单。
它可能长这样：
看看你统计学水平的怎么样？
Delta 值越大，说明变化越显著。P值越小，越Significant，就要Reject Null Hypothesis。
这是同样要注意统计power：在variance很大的情况下，要看细微精确的变化，你的sample size够大吗？Outliers有没有剔出去？
此时PM再参与进来，是要看商业上的其他方面发生了什么，会不会对这些结论有影响。
当然还有这些结论能不能有用：开发的过程很辛苦，大家都想让自己的成果有上线，数据是其中考虑的一大因素，但也不是全部。
7

面试会问什么？
E.g.
  • Randomization 随机性出问题你会怎么办？怎么Stratify？
  • Network effect 是什么？
  • Novelty/Primacy effect分别是什么？
  • 碰到上述interference你会怎么解决？
  • 明明变化很大，但是为什么share rate 没有改变？月活量没有改变？（tracking指标）
  • 月活在全球降低了，为什么？怎么用Simpson悖论分析？
  • 测试用户分组怎么分可以出效果？
怎么回应？
  • MELE Principal
  • User Segment

美西时间双十一晚:
Uoffer大促直播即将上线！
专业职业规划导师现场连线——
手把手简历指导！
解析校园到职场的发展案例！
分享北美大厂秋招面经！
全年最低价！
双十一限时特价课程礼包
下单就有超值福利！
神秘大奖坐镇！
抽奖不停
众多高端豪礼仅在直播间！
求职干货+高端豪礼=超值福利两不误！
扫码添加Jasper老师报名！
直播福利群就等你来！
往期精彩讲座回看
左右滑动查看更多
赶快扫码添加Jasper老师，全程回看以上来自一线大厂导师的精彩讲座！
部分学员 Offer
参考来源：
图片来源于网络
版权声明：
本文由Uoffer独家采编，未经授权禁止转载及任何形式的转化。Uoffer除发布原创求职干货文章资料之外，致力于分享优秀职业发展相关文章。如涉及版权问题，敬请原作者原谅，并Email联系[email protected]进行处理。Uoffer诚挚欢迎各方的品牌推广以及战略合作，如有意向请发邮件至[email protected]详谈
继续阅读
阅读原文
关键词
双十一
指标
B测试
数据科学家
新功能