业务|从工业化到智能化,未来AB实验的终局( 二 )


迭代方向探索这个问题,往往要基于DA对原实验负向的归因。
从本质上来说,实验归因问题,是要找到策略变量与结果变量之间缺失的因果链条。
即,我们通过实验已知实验策略A导致关键指标Y正向或负向的变化,希望知晓其影响路径,比如找到中间变量B或C,有A=>B, B=>C, C=>Y。
而负向实验迭代的问题,则是已知实验策略A导致关键指标Y负向,希望找到其变体A’,能使Y正向。
目前解这类问题的一种自然思路是先尝试归因,理解清楚可被更直接操控的中间变量B或C后,通过调整策略为A’,来影响B或C,最终使得Y正向。
于是,我们可以把归因视为迭代的基础。
对于统计不显著的实验,是否推全要case-by-case具体分析。
但依据经验法则:如果该feature增加了产品复杂度,提高了用户认知成本,一般不建议推全(Occam’s Razor: 如无必要,勿增实体)。
否则各种不显著实验推全,产品会变得越来越复杂。
实验归因问题往往比较困难,有两个难点,都与实验分析的单点模式有关。
1)实验归因是个构造性问题,需要构造出中间变量
那用什么方法来构造呢?目前DA侧在进行归因时,更多是通过维度下探来进行定位,但严格来说定位不是归因,未必能归结到原因。
下探时也时常缺乏好的分析框架作为指导,采用诸如用户画像之类的常用维度,实际可能与问题关系不大,我把这种方法称之为旁(yuan)敲(mu)侧(qiu)击(yu)法。
还有的采用遍历穷举法,将常用维度全都下探一遍,如果能找到相关的则是万幸,找不到那对于业务方也算有了交代,之后的迭代方向就交给业务自己去拍脑袋吧。
实际上,要解决归因问题,需对业务机制有深入理解,本质上构造出整个因果关系链相当于建立了一个业务模型。
这除了需要对业务具备基本认知,还需对相关实验进行研究与归纳,从中抽象出业务模型。
2)实验归因常常是个欠定问题
所谓欠定是说,实验结果之所以表现为这样,原因可能是B1,也可能是B2或C3。
单个实验蕴含的信息可能不充分,不能唯一确定出是哪个原因。
实际上,归因问题常常需要一个归纳-演绎的迭代过程(如下图),需要有新的数据输入才能更好判断。
这可能需要设计新的实验,或通过更多相关实验的研究,才能有“唯一”指向性,更严谨地得到结论。
业务|从工业化到智能化,未来AB实验的终局

因此,归因问题不是仅靠逻辑推理就能解决的,而需要分析师经过大量实践,刻意练习与思考。
这首先需要我们有更中心化的知识沉淀与挖掘,摆脱单点模式,将大量实验的结果信息整合起来,才能有big picture,从中获得洞察,有更大的自信来判断究竟是怎么回事,并保障分析师解读的可靠性与一致性(consistency)。
由此可见,工业时代,我们对于实验平台的理解,往往停留在工程系统上,更多将其理解为一个功能性与评估/验证性的工具,因此未能很好降低业务成本,从根本上提高业务发展的效率。
提效的关键问题在于预判与归因。
我们如何能在实验前就较好预判实验成功的概率,从一开始就排除掉一些大概率负向实验?
同时,当负向发生时又如何更有效地找到迭代路径?
这些问题,需要智能时代来解决。
二、智能时代的A/B实验:网络协同下预判与归因双重引擎1. 智能时代实验平台的设计目标智能时代的实验平台具有一个硬币的两面。