su一文读懂虚拟人:她会梦见电子羊吗?( 四 )


为此,团队建立了一套精确的面部动捕流程,以不同情感下的动作捕捉,来训练语音驱动模型,最终构造了一个长约20个小时、13339条语句的,包含语音、面部运动和身体运动的多模态训练数据集。
在Siren AI 基础上,增加情感维度数据,让Matt拥有微笑、蹙眉等微表情,多了更自然的“人情味”。
su一文读懂虚拟人:她会梦见电子羊吗?

Matt的官方靓照
六、从PGC到UGC:工具化支持高效创作从0开始制作虚拟人,需要较长周期,耗费较高成本。例如Siren项目从启动采集到能够自然地活动,就用了接近半年时间。
在积累了一定数量人脸数据和素材的基础上,更高效的工具应运而生,既满足游戏制作流程中艺术家创造多样化角色的需求,也让普通人能够便捷生成属于自己的虚拟形象。
较为有代表性的是腾讯NExT Studios的xFaceBuilder?与Epic的Metahuman Creator。
xFaceBuilder?是一套面向专业开发者的全流程管线,能够敏捷生产适用多种终端设备的数字人脸。
平台基于自建的高保真人脸库xFaceDepot,提供影视级人脸建模、绑定、动画生产管线。
针对手机、PC、主机等不同的平台和美术需求,提供了灵活的配置方式,已支持腾讯游戏的多款研发中游戏内容。
平台还结合AI Lab技术,支持单张/多张照片AI捏脸。绑定好的模型可通过三种方式动起来:大型项目、复杂动作使用Dynamixyz光学动捕。
如果需求不复杂,甚至可以直接打开最新款iPhone后置摄像头,基于Apple ARKit的轻量级面部动捕,以及更轻量级的语音驱动面部动画生成。
su一文读懂虚拟人:她会梦见电子羊吗?

NExT Studios和新华社联合打造的数字采访人员小诤
近期,AI Lab的相关研究又取得了进一步的进展:仅需一段手机自拍视频,就能在 30 秒内合成一个高拟真度的 3D 虚拟人。
视频输入到 AI 模型后,只需 30 秒处理时间就能生成一个高拟真度的虚拟人,不仅脸型和五官形状非常贴合,而且具有毛孔、唇纹、毛发级别的细节。再借助虚幻 4 引擎等基于物理的渲染引擎(PBR),可以得到真实感很强的虚拟人。
相关研究发表在了计算机图形学顶级期刊ACM Transactions on Graphics。
su一文读懂虚拟人:她会梦见电子羊吗?

自拍快速生成虚拟人的流程及效果
2021年初Epic公布的Metahuman Creator工具,让零基础用户也能“捏人成功”。产品基于预先制作的高品质人脸素材库,允许用户以自动混合、手动调节的方式快速生成虚拟人。
Siren项目后,Epic收购了3Lateral公司,得到多年积累的大量真人扫描高精度数字资产。
主要特性首先是高效的模版混合技术,可以融合多张基础脸后快速得到一个全新面孔,且栩栩如生,拥有细腻的微表情动画;二是云端渲染,使用者无须拥有高端显卡,本地操作通过网络传输到云端,渲染后传回视频流,使制作过程做到轻量、优质、便捷。
但这种方式也有局限性,利用已有人脸数据意味着无法随心所欲地创造角色。因此,工具定位在零基础操作、高品质、快生产,小团队可以直接生成自己的作品主角,大幅提升美术效果、节约创作成本;大公司则可以批量制作3A级游戏中的NPC。
su一文读懂虚拟人:她会梦见电子羊吗?

Metahuman Creator制作界面
七、虚拟人可以做什么?虚拟主播的风靡,证明风格化的虚拟角色在商业层面充满可能性。那高保真风格的虚拟人又适用于怎样的场景呢?
真实系虚拟偶像尽管当下二次元风格的虚拟主播更为主流,但真实系偶像的潜力同样不可小觑。当虚拟人的制作精度、动作自然度跨越恐怖谷,自然也有望跨入优质偶像的行列,并有更广的应用场景。