抖音里一个不安分的狗头，点燃了火山引擎智能特效？

文章图片
一场技术意外，打开互动特效的大门
文丨刘鉴
如果你经常刷抖音的话，一定对漫画脸、奶瓶、凡尔赛公主这些特效道具不会感到陌生。
据抖音特效数据报告统计，现在每5个投稿视频里，就有1个使用了特效。 2021年上半年，有超过8000万名用户首次使用了抖音特效。
光锥智能小编“入坑”的第一款特效就是让人变身漫画主角的“漫画脸” ，这也是抖音官方第一款重点孵化的特效道具。至今使用人次超过1600万。不过，这却并不是抖音的第一个爆款。抖音官方的第一个爆款特效，要从一场意外说起。
一场意外，打开互动特效的大门
抖音的特效团队是在2017年组建成立的，同年利用自研技术制作了一款名为“神烦狗doge”的贴纸。由于当时的技术还不够稳定，使用者脸部稍微受到遮挡，就会出现特效定位不到脸部的问题。但要说会玩，那还是用户会玩。利用这个技术问题，把狗头贴纸甩到朋友脸上的“甩狗头” ，成为当时最火的视频玩法。也成为了抖音互动特效的开山之作。

文章图片
随着技术越来越成熟，抖音特效也逐渐从2D贴纸走向3D ，走向AR 。 2018年刚刚推出的抖音特效平台，功能还仅限于美颜、滤镜、人脸检测。人脸检测通过106个点定位，可以识别闭眼、张嘴、摇头、点头、挑眉、嘟嘴6种动作。但随着AI深度学习技术的快速发展，基于火山引擎的CV、CG技术大幅提升。火山引擎平台数据显示，目前的算法不仅在人脸检测上增加了280个关键点，能识别性别、年龄。还可以检测识别45种手势，来支持手势互动。以及骨骼检测，可识别全身18个关键点，支持多人检测、半身、背身、侧身等复杂场景。据火山引擎介绍，这些点位检测在用户端完成，点位既无法还原用户相貌，检测数据也不会上传服务器。
但技术精进的同时，如何降低成本也是一个问题。火山引擎特效技术专家杨辉，他用《西游记》和《复仇者联盟》举例。《西游记》的抠像虽然像是纸片人，但操作简单，还便宜。《复仇者联盟》用AI来把演员的面部表情还原到“灭霸”脸上，看着就和真的一样。但这样的技术需要耗费大量的成本和时间。特效占到总制作成本的60％，一秒钟的特效就需要专业机器渲染50天。

文章图片
针对这样的情况， “模板”成为了火山引擎的解决路径。这是一个已经在“剪映”上成功印证过的解决方案。将复杂的技术制作成可套用修改的模板，极大的简化了技术门槛。并通过高性能机器学习训练平台、端上算法的压缩量化、高性能异构推理引擎等技术，在保证特效质量的同时，大幅降低工程量。
不过，即便如此，据光锥智能了解，想要生产一个2D特效也需要1天，一个3D特效需要5天左右。在2021年上半年，抖音平均每天上线100＋个新款特效。这么庞大的业务量，只靠官方设计团队可太难了。
实际上，我们看到的抖音特效分为两种：一种是抖音官方特效，一种是特效师原创。
特效师和特效工具
从事影视后期工作11年的游洋（抖音名：YOVFX），曾参加过《琅琊榜2》，《知否》等影视项目的后期制作。通过火山引擎的特效开放平台， YOVFX成为了一名特效师。
火山引擎的开放，相当于为外部设计师提供了一个便捷的生产工具。外部设计师可以通过火山引擎的生态来变现，同时也为特效生产提高了效率。