su一文读懂虚拟人:她会梦见电子羊吗?( 三 )


这也是在电影中实现的第一个照片级真实数字主角(the first photoreal digital main character in a film——Paul Debevec)。
su一文读懂虚拟人:她会梦见电子羊吗?

皮特本人与使用面部合成技术后的形象
关键技术支撑,来自南加州大学教授Paul Debevec自2000年启动的light stage光场摄影项目研究。
这属于 photogrammetry 范畴,使用单个场景拍摄的多张不同角度照片来重建3D空间中的 CG 模型。回忆下《黑客帝国》中的子弹时间特效,现场有多台摄像机,用不同角度的影像重建出可360°旋转的场景。
light stage正是通过构造相机阵列,以多角度、高精度照片,既还原拍摄人物的三维结构,也获取面部的反射信息,从而能在不同环境光下重构人脸模型光效。
light stage在不断迭代中解决了技术和工程难点,包括高精度皮肤纹理合成、光照与环境随时统一、更准确快速的采集过程。
su一文读懂虚拟人:她会梦见电子羊吗?

light stage5,《本杰明巴顿奇事》《蜘蛛侠3》《阿凡达》等均使用过
以下是Paul Debevec团队在SIGGRAPH 2008发布的Digital Emily,你能分辨出哪一个是真人,哪一个是虚拟人吗?
su一文读懂虚拟人:她会梦见电子羊吗?

左边是虚拟人
来自影视的照相建模、高精度3D扫描、面部和动作捕捉相关技术,已经应用到游戏的实时渲染领域,为表现力带来飞跃。如何进一步满足虚拟人实时交互的需求呢,比如,让演员的表情与虚拟人达成“神同步”?多个技术团队展开了探索。
五、从形似到有神:AI助力多样化人物驱动为了让虚拟人和我们自然地交流互动,腾讯NExT Studios与AI Lab在虚拟人Siren(演员实时表情动作驱动)-Siren AI(语音文字驱动)-Matt AI(更真实情感表达)项目历程中,逐步探索“秀外慧中”的全方位能力。
2017年启动的虚拟人 Siren项目,目标正是Crossingthe boundary:

  • 跨越影视和实时渲染边界,制作可实时交互的数字人物;
  • 在高保真角色基础上,进一步增加高精度的实时动作捕捉与渲染。
2018 年 5 月, Siren 惊艳亮相,激起了人们对虚拟人技术的无限畅想。
Siren的特性是实时表情动作驱动,涉及多方向的技术突破,在多国企业协同合作下完成:
  • 美国的Epic发起和协调项目,以Unreal引擎整合模型、贴图、动作等数据资源;
  • 塞尔维亚的3Lateral制作高精度人物模型,同时建立绑定,为演员和虚拟人的同步搭建转换桥梁;
  • 英国的Cubic Motion,负责实时的表情捕捉;
  • NExT作为项目所有者,提供基于Unreal引擎的高质量的人物渲染,也积极参与研发的全过程。
su一文读懂虚拟人:她会梦见电子羊吗?

Siren 亮相2018年 GDC,演员是姜冰洁小姐姐
技术的进步为Siren赋予了逼真的3D形象,我们能否进而为她赋予精致的“灵魂”呢?
2018 年下半年的 Siren AI 项目,旨在让虚拟人不止步于“提线木偶”,将智能音箱、语音助手与人自主交互的能力赋予Siren,让她独立做到能听、会说。
这涉及多个AI研究和工程领域,包括语音识别(ASR)、自然语言处理(NLP),语音合成(TTS),语音驱动面部动画(ADFA)。难点集中在最后一步,核心是利用AI训练出语音/文字和面部模型肌肉控制间的对应关系,然后进入渲染引擎、驱动虚拟人。
su一文读懂虚拟人:她会梦见电子羊吗?

原理展示
2019年,NExT自主制作了男性虚拟人Matt,自主完成一整套高保真虚拟人的研发流程,并结合腾讯AI Lab能力,探索语音自驱动且能表达情绪的虚拟人技术,将语音、情感、生动的面部表情紧密关联起来。相关研究在 2019 年的 SIGGRAPH 顶级会议上展示。