拼多多|互联网产品如何设计低成本高收益的对照实验？( 二 )

文章插图
果不其然，这意味着要干这事儿，除了包含设计成本、研发成本和维护成本之外，还有一开始添加优惠券框带来的负向营收。
不过笔者发现，这个例子还有更多可琢磨的地方：

优惠券到底会不会刺激人消费？
答案是肯定的。给了优惠券，不用白不用啊。实际是激发了用户损失厌恶的心理。
画门法证明了「在付款页面添加优惠券输入框」带来的负向影响，那么优惠券还能怎么用？
当前的主流电商平台，统统没有在付款界面增加任何跳转其他页面的可能性，拼多多甚至把购物车都去掉了。
他们把优惠券本体前置到了选购的流程中。淘宝在付款之前帮用户领券，拼多多则用拼单的方式代替了优惠券。

文章插图

画门法并没有证明「邮件送优惠券无法提升营收」，怎么在不干扰其他用户的情况下，用邮件优惠券刺激用户消费呢？
其实邮件送优惠券的古老手段依旧存在，但有两点不同：

（1）给一小部分用户分发，只为刺激忠诚用户的消费，且不会产生大规模的优惠券焦虑；
（2）在用户主页兑换，绝不干扰付款流程。
画门法在精益创业中也有广泛的应用，当你想在大学生中做一门露营烧烤的生意时，不妨先把门画出来——做一张简单的宣传单或意向表，看看有多少人报名。用丰满的事实，反向为商业谈判获得优势。
二、反证法张小龙说过，微信永远把响应速度作为最重要的用户体验来对待。
当然了，产品速度是越快越好。但提高十分之一秒的性能，到底有多重要？用户真的能感知到吗？
【拼多多|互联网产品如何设计低成本高收益的对照实验？】要知道改进性能并不是个小活儿。我们既无法为一个肉眼无法感知的提升，专门组一个团队全力优化。也很难在所有团队工作半年后，单独拆出提速工作带来的真正效果。
必应和谷歌反其道而行之：想计算性能提升能带来多少收益，成本太高。那我用反证法——通过主动减速实验，计算性能下降会导致营收下降多少，再来反推，行不行？
这里需要用到一个关键假设，那就是局部线性近似：即该指标（如营收）对性能的变化图线，在当前值附近可以很好地被线性拟合。下图展示的就是一个常见的性能和关键指标之间的关系曲线。

文章插图
支撑这个假设，有两点原因：

经验之谈：如果是秒级别的变动，用户是可以体验到的，往往对于关键指标是断崖式下降。但毫秒级别的实验，用户感知不明显，就可以用线性近似。
抽样验证：必应曾做过一个100毫秒和一个250毫秒的减速实验，而250毫秒实验中数个关键指标的差值，刚好大约是100毫秒实验的2.5倍左右（已考虑置信区间）。这也验证了线性关系的假设。

通过局部线性近似，大厂也得出相应的结论：

对2017年的必应而言，每提高十分之一秒的速度，可以带来一千八百万美元的年度营收的增长
在亚马逊，一个100毫秒的减速实验降低了1%的销售量。

除了减速实验之外，我还想提及一个内容平台相关的「砍内容实验」。思路也是用砍掉一部分某分类内容带来的损失，来预估增加相应内容带来的收益。
实验的基本假设是：这类内容是没有达到饱和的。如果实验组砍掉100篇内容带来了50%的数据损失，那么增加100篇该分类内容就可以带来5%的数据提升。
但和减速实验一样，要注意量级过大的减速和减量会导致非线性的跌幅，大刀阔斧的减量带来的数据结论是不可靠的。