业务|从工业化到智能化,未来AB实验的终局( 三 )

  • 另一面则是业务视角下的实验平台,是通过实验来最优化业务发展整体效率的工具。
  • 因此需要配备预判与归因两大智能引擎,以及DA/DS的介入。
    那么预判与归因这两个问题又该如何解决呢?
    从强化学习的EE框架来看,工业时代实验平台上,每个实验都是单点实验,只有Explore(探索),没有Exploit(利用)。
    智能时代则将更多利用实验之间的网络协同来进行Exploit,我认为有两个潜在的方向:
    表层是数据驱动的方法,目前阶段最主要是利用实验策略的相似性进行迁移学习。
    底层则从第一性原理出发,假设我们可以抽象出一些普适的,有业务意义的关键概念,如用户体验等心理变量,建立分析框架,同时结合实验数据等各类型数据,进行分析与度量,从而预判实验的正负向,并在同时解决归因问题。
    2. 表层策略:迁移学习迁移学习是机器学习的一个子领域,可以最大限度地利用有标注领域的知识,来辅助目标领域的知识获取和学习。
    比如,国际象棋和中国象棋比较相近,有部分棋子相同、走法相近,计算机学会了国际象棋,运用迁移学习的方法,只用观摩较少的棋局,就可以学会中国象棋。
    迁移学习的核心在于,找到源领域和目标领域之间的相似性,并加以合理利用。
    这里的源领域和目标领域,可以认为分别对应于我们已有的实验,和正准备进行的实验。
    例如短视频巨头快手,目前已有不少产品,国内有主App、极速版。
    字节作为App工厂,产品就更数不胜数。另一方面,同一产品内的不同产品模块,也常有共性,比如短视频App的不同Feed间,这些都提供了相似性。
    就使用场景的不同,这里的迁移学习又可分为两类:
    1)归纳式迁移学习(inductive transfer learning)
    在这种学习方法中,两个实验对每个个体产生的效果可以不同(源Task与目标Task可以不同)。
    因为不同,就要求在目标领域中必须有一些已标注的数据,才能进行学习。
    实践中,上面提到有一些新App用户量较小,做实验常有不置信的问题。这一问题历史上曾经尝试过一些方差缩减(variance reduction)方法,但实际对方差的降幅有限,不能根本上解决问题。
    更可行的思路应该是结合更大的数据集(核心App相似实验的数据),进行多任务学习。
    具体需结合实际场景,尝试基于实例的学习算法、基于超参数的学习算法等,这里不再赘述。
    2)转导式迁移学习(transductivetransfer learning)
    在这种学习方法中,需假设两个实验对每个个体产生的效果相同。
    但在不少情况下,这个假设还是过于强了,比如动图实验在发现页与关注页的表现就不一样。
    实践中,我们需要研发一些方法来判断该假设是否合理。
    由此可知,迁移学习目前对于我们的场景仍有较大局限性。
    • 首先该方法要求此前已有相似实验,才能进行迁移,适用场景相对小;
    • 其次,归纳式迁移学习需要当前实验已有样本,这可以解决小样本实验的置信问题,但不能事先进行预测。而转导式迁移学习在不少场景下假设过强,实践中,也需要研发方法来判断假设是否合理;
    • 最后,迁移不能解决归因问题,不能直接带来认知。
    因此,笔者认为迁移学习可以在恰当场景下作为预测系统的重要补充,在有相似实验的场景下,预测或能更准确。
    但我们还需要研发更好的方案,作为实验决策系统的主战场。
    3. 底层策略:业务结构模型在给出预判问题的解决方案前,让我们先回顾一下,产品经理是如何做类似决策的?
    【 业务|从工业化到智能化,未来AB实验的终局】