面试中最常问到的问题或在实际的工作中产品经理或者工程师最常问数据负责人的问题就是，当你的AB testing跑完，有一堆数据摆在你面前的时候，应该如何正确的解读这个数据？当然不是仅仅看两个组的差别这么简单。

在收集数据的过程当中经常会有一些“噪音”，这是我们第一个需要排查的事情，确保了数据的可行性，我们才有可能进行下一步的分析。

比如说整体上控制组比对照组/实验组的效果要好，是不是说我们的实验就失败了呢？并不一定，这个时候我们可以分不同的层次来看，比如说用户的年龄、性别、所在区域，和我们产品建立关系的时间，用户在实验之前使用的频率等等，我们称之为不同的dimension（维度），在不同的维度上，控制组和对照组的表现可能完全不同。

单纯的一个指标的好坏不一定具有完全的代表性，我们这个时候可以看一下它上层的漏斗或者下层的漏斗表现如何，来进一步具体的分析用户的痛点和转化的效率。

分解分析比较适合于一些可拆分的衡量指标，比如说社交媒体当中他们特别在乎的一个衡量指标就是日活量或月活量，当我们发现我们平台或产品的日活量较上个月或较去年的同类水平下降了10%的时候，就需要关注是否出现了问题。分解分析就是一个能较快速的找到原因的办法，我们可以进一步将日活量拆成不同的部分来分析，例如新用户和老用户两个部分，日活量的下降是我们拉新力度，也就是新用户的增长不够快，还是因为我们的客户留存变差了呢？

当我们在设计AB testing的时候我们可以完美的控制一些confounding variables,也就是说我们在设计的时候可以保证控制组和对照组在其他的性质上非常相似，他们唯一的区别就是有没有这个新的功能。

但是，我们所有能看到或能使用这个新功能的用户当中，并不是所有人都会使用这个功能，也就是我们可以控制用户看到或者看不到这个功能，但是我们无法控制用户使用或不使用这个功能，因为这是一个个人选择的问题，也就是我们说的选择性偏差。因为这一问题的存在，因此我们不能保证使用这个功能的人和不使用这个功能的人，在其他性质上都非常相似。

比如说我们想看看使用某一个功能是否能带来利润的增加，我们发现使用这个功能的人，为平台带来的利润非常的低，那是不是说这个功能抑制了利润的增加呢？不是的，正是因为他们的花费少，他们才想要使用这个功能，所以但看目前的数据，“使用功能”和“低利润”之间的因果关系是不成立的。我们应当用其他模型来验证两者之间的因果关系。

综上，AB testing 的解读绝不只是看板看数据这么简单，以上都是在AB testing 中常见的分析手段，希望对你有帮助！