A/B Test是数据分析师和数据科学家日常工作的重要组成部分，因此在面试中，也会进行专门的考察。我们会用2篇文章来介绍下在面试中最常被考到的一些问题以及可能的解法。

 

为了确定实验的持续时间，我们需要计算实验的样本量。这里需要三个参数，分别是：

这里推荐一个网站，可以非常快捷的计算出实验所需样本量

 

同时，样本量也可以按照如下方式计算：

在面试过程中，你不需要解释你是如何得出这个公式的，但可能会被问到的是，每个参数如何计算以及每个参数如何影响样本量。例如，如果样本方差较大，我们需要更多的样本，如果要看到的delta 较大，我们需要更少的样本。

 

样本方差可以从现有数据中获得，但是我们如何估计δ，即实验组和对照组之间的差异？

实际上，我们在进行实验之前并不知道这一点，这就是我们使用最后一个参数的地方：minimal detectable effect，也即实验中可被检测出来的最小差异。例如，我们可以将收入增加 0.1% 视为最小可检测差异。实际上，这个值是由业务同学来进行讨论和决定的。

 

一旦我们知道样本量，我们可以通过将样本量除以每组中的用户数来获得运行实验的天数。如果这个数字少于一周，我们应该至少运行 7 天的实验来获得一周的完整信息，不过正常情况下都会建议运行两周，毕竟对于da来说，数据多总比不够好。

 

通常情况下，我们会把用户随机分配到实验组和对照组中，因为会天然地假设用户之间相互独立、互不影响，也即实验组和对照组之间不会互相干扰。但实际上，这种独立性假设并不会在所有场景中成立。在测试 Facebook、Linkedin 和 Twitter 等社交类产品功能或 Uber、Lyft 和 Airbnb等双边平台型产品时时，可能会发生这种情况。

 

比如对于某社交类产品，如果一个新的功能，是为了增加用户的投稿率，在把用户随机分配到实验组和对照组后，假设实验组比对照组投稿率高1%就认为功能可以上线，并且我们也真的观测到了1%的提升，那么最终，这个功能的真实收益其实要大于1%。原因就是用户的行为可能会受到自己社交圈中人们的影响，用户往往会跟随自己社交圈中的同伴一起使用某个功能，也就是说试验组的影响溢出到了对照组，那么对照组和实验组之间的差异，就会低估功能的真实效果。这就是我们平常所说的network effect。

 

而对于平台型产品（例如 Uber、Lyft、ebay 和 Airbnb这些双边市场），实验组和对照组之间共享资源，这意味着实验组和对照组将竞争相同的资源。例如，如果我们有一种新产品在实验组组中吸引了更多的司机，那么对照组中的司机就会减少。因此，最终实验组与对照组之间的效果差异，其实高估了真实的效果。

既然我们知道了为什么实验组和对照组之间的干扰会导致实验结果有问题，那么紧接着的问题一定是：如何设计实验来防止这种情况？其实不论什么方法，核心都是尽可能随机的隔离实验组和对照组之间的用户。下面列出了一些常用办法，都各有局限，还是需要结合实际的场景选择最合适的方法。