业务|从工业化到智能化,未来AB实验的终局( 二 )
迭代方向探索这个问题,往往要基于DA对原实验负向的归因。
从本质上来说,实验归因问题,是要找到策略变量与结果变量之间缺失的因果链条。
即,我们通过实验已知实验策略A导致关键指标Y正向或负向的变化,希望知晓其影响路径,比如找到中间变量B或C,有A=>B, B=>C, C=>Y。
而负向实验迭代的问题,则是已知实验策略A导致关键指标Y负向,希望找到其变体A’,能使Y正向。
目前解这类问题的一种自然思路是先尝试归因,理解清楚可被更直接操控的中间变量B或C后,通过调整策略为A’,来影响B或C,最终使得Y正向。
于是,我们可以把归因视为迭代的基础。
对于统计不显著的实验,是否推全要case-by-case具体分析。
但依据经验法则:如果该feature增加了产品复杂度,提高了用户认知成本,一般不建议推全(Occam’s Razor: 如无必要,勿增实体)。
否则各种不显著实验推全,产品会变得越来越复杂。
实验归因问题往往比较困难,有两个难点,都与实验分析的单点模式有关。
1)实验归因是个构造性问题,需要构造出中间变量
那用什么方法来构造呢?目前DA侧在进行归因时,更多是通过维度下探来进行定位,但严格来说定位不是归因,未必能归结到原因。
下探时也时常缺乏好的分析框架作为指导,采用诸如用户画像之类的常用维度,实际可能与问题关系不大,我把这种方法称之为旁(yuan)敲(mu)侧(qiu)击(yu)法。
还有的采用遍历穷举法,将常用维度全都下探一遍,如果能找到相关的则是万幸,找不到那对于业务方也算有了交代,之后的迭代方向就交给业务自己去拍脑袋吧。
实际上,要解决归因问题,需对业务机制有深入理解,本质上构造出整个因果关系链相当于建立了一个业务模型。
这除了需要对业务具备基本认知,还需对相关实验进行研究与归纳,从中抽象出业务模型。
2)实验归因常常是个欠定问题
所谓欠定是说,实验结果之所以表现为这样,原因可能是B1,也可能是B2或C3。
单个实验蕴含的信息可能不充分,不能唯一确定出是哪个原因。
实际上,归因问题常常需要一个归纳-演绎的迭代过程(如下图),需要有新的数据输入才能更好判断。
这可能需要设计新的实验,或通过更多相关实验的研究,才能有“唯一”指向性,更严谨地得到结论。
因此,归因问题不是仅靠逻辑推理就能解决的,而需要分析师经过大量实践,刻意练习与思考。
这首先需要我们有更中心化的知识沉淀与挖掘,摆脱单点模式,将大量实验的结果信息整合起来,才能有big picture,从中获得洞察,有更大的自信来判断究竟是怎么回事,并保障分析师解读的可靠性与一致性(consistency)。
由此可见,工业时代,我们对于实验平台的理解,往往停留在工程系统上,更多将其理解为一个功能性与评估/验证性的工具,因此未能很好降低业务成本,从根本上提高业务发展的效率。
提效的关键问题在于预判与归因。
我们如何能在实验前就较好预判实验成功的概率,从一开始就排除掉一些大概率负向实验?
同时,当负向发生时又如何更有效地找到迭代路径?
这些问题,需要智能时代来解决。
二、智能时代的A/B实验:网络协同下预判与归因双重引擎1. 智能时代实验平台的设计目标智能时代的实验平台具有一个硬币的两面。
- 一面是工程视角下的实验平台,即进行实验的基础设施,包括流量分配,数据评估等等,主要由工程团队来负责;
- 章子怡扎减龄丸子头,短裙露美腿不像生过娃,从影20年笑容依旧甜
- 三星|从“不想买”到“抢着买”,骁龙8+无线充电+IP68防水,下跌600元
- 男子带家传木盒来鉴宝,盒子从没打开过,专家:稳住,两个好消息
- 世界上最孤独的“手”,他握住一棵树长达50年,却从来没有松过手
- 互联互通|哪些无人机适合新手使用?从普宙O2到大疆Mini 3 Pro,一文读懂
- 路由器|WiFi信号增强从简到易,软硬兼施后效果明显
- 关于时间的12件事,比如为什么从三月份起要把你的钟表拨快些?
- 全面屏|一台没上市的金立手机,从中看到了时代的眼泪
- 隔离|异步任务处理系统,如何解决业务长耗时、高并发难题?
- 索尼|从4999元跌至3299元,8GB+256GB旗舰,不要利润了
