业务|从工业化到智能化,未来AB实验的终局( 三 )
那么预判与归因这两个问题又该如何解决呢?
从强化学习的EE框架来看,工业时代实验平台上,每个实验都是单点实验,只有Explore(探索),没有Exploit(利用)。
智能时代则将更多利用实验之间的网络协同来进行Exploit,我认为有两个潜在的方向:
表层是数据驱动的方法,目前阶段最主要是利用实验策略的相似性进行迁移学习。
底层则从第一性原理出发,假设我们可以抽象出一些普适的,有业务意义的关键概念,如用户体验等心理变量,建立分析框架,同时结合实验数据等各类型数据,进行分析与度量,从而预判实验的正负向,并在同时解决归因问题。
2. 表层策略:迁移学习迁移学习是机器学习的一个子领域,可以最大限度地利用有标注领域的知识,来辅助目标领域的知识获取和学习。
比如,国际象棋和中国象棋比较相近,有部分棋子相同、走法相近,计算机学会了国际象棋,运用迁移学习的方法,只用观摩较少的棋局,就可以学会中国象棋。
迁移学习的核心在于,找到源领域和目标领域之间的相似性,并加以合理利用。
这里的源领域和目标领域,可以认为分别对应于我们已有的实验,和正准备进行的实验。
例如短视频巨头快手,目前已有不少产品,国内有主App、极速版。
字节作为App工厂,产品就更数不胜数。另一方面,同一产品内的不同产品模块,也常有共性,比如短视频App的不同Feed间,这些都提供了相似性。
就使用场景的不同,这里的迁移学习又可分为两类:
1)归纳式迁移学习(inductive transfer learning)
在这种学习方法中,两个实验对每个个体产生的效果可以不同(源Task与目标Task可以不同)。
因为不同,就要求在目标领域中必须有一些已标注的数据,才能进行学习。
实践中,上面提到有一些新App用户量较小,做实验常有不置信的问题。这一问题历史上曾经尝试过一些方差缩减(variance reduction)方法,但实际对方差的降幅有限,不能根本上解决问题。
更可行的思路应该是结合更大的数据集(核心App相似实验的数据),进行多任务学习。
具体需结合实际场景,尝试基于实例的学习算法、基于超参数的学习算法等,这里不再赘述。
2)转导式迁移学习(transductivetransfer learning)
在这种学习方法中,需假设两个实验对每个个体产生的效果相同。
但在不少情况下,这个假设还是过于强了,比如动图实验在发现页与关注页的表现就不一样。
实践中,我们需要研发一些方法来判断该假设是否合理。
由此可知,迁移学习目前对于我们的场景仍有较大局限性。
- 首先该方法要求此前已有相似实验,才能进行迁移,适用场景相对小;
- 其次,归纳式迁移学习需要当前实验已有样本,这可以解决小样本实验的置信问题,但不能事先进行预测。而转导式迁移学习在不少场景下假设过强,实践中,也需要研发方法来判断假设是否合理;
- 最后,迁移不能解决归因问题,不能直接带来认知。
但我们还需要研发更好的方案,作为实验决策系统的主战场。
3. 底层策略:业务结构模型在给出预判问题的解决方案前,让我们先回顾一下,产品经理是如何做类似决策的?
【 业务|从工业化到智能化,未来AB实验的终局】
- 章子怡扎减龄丸子头,短裙露美腿不像生过娃,从影20年笑容依旧甜
- 三星|从“不想买”到“抢着买”,骁龙8+无线充电+IP68防水,下跌600元
- 男子带家传木盒来鉴宝,盒子从没打开过,专家:稳住,两个好消息
- 世界上最孤独的“手”,他握住一棵树长达50年,却从来没有松过手
- 互联互通|哪些无人机适合新手使用?从普宙O2到大疆Mini 3 Pro,一文读懂
- 路由器|WiFi信号增强从简到易,软硬兼施后效果明显
- 关于时间的12件事,比如为什么从三月份起要把你的钟表拨快些?
- 全面屏|一台没上市的金立手机,从中看到了时代的眼泪
- 隔离|异步任务处理系统,如何解决业务长耗时、高并发难题?
- 索尼|从4999元跌至3299元,8GB+256GB旗舰,不要利润了
