单张人像生成视频！中国团队提出最新3D人脸视频生成模型，实现SOTA

新智元报道
来源：IEEE
编辑：好困
【新智元导读】稀疏人脸特征点生成的人脸图像视频通常会遇到图像质量损失、图像失真、身份改变，以及表情不匹配等问题。为此作者使用重建出的三维人脸动态信息来指导人脸视频的生成。结果显示， FaceAnime从单张静止人脸图像生成的视频比其它方法效果更好。
如何用一张人脸可以生成一段有趣的视频？

当然不是指这种直接贴个人头就算了的粗糙gif
人脸视频的生成通常会利用人脸图像的稀疏特征点（landmarks）结合生成对抗网络（GAN）。
不过，这种由稀疏人脸特征点生成的人脸图像视频通常会遇到很多问题。
比如图像质量损失、图像失真、身份改变，以及表情不匹配等问题。
因此，为了解决这些问题，本文作者使用重建出的三维人脸动态信息来指导人脸视频的生成。

论文地址：https://ieeexplore.ieee.org/abstract/document/9439899
arXiv版本：https://arxiv.org/pdf/2105.14678.pdf
三维人脸动态中，人的面部表情和动作更加细腻，可以作为有力的先验知识指导生成高度逼真的人脸视频。
文中，作者设计了一套三维动态预测和人脸视频生成模型(FaceAnime)来预测单张人脸图像的3D动态序列。
通过稀疏纹理映射算法进一步渲染3D动态序列的皮肤细节，最后利用条件生成对抗网络引导人脸视频的生成。
实验结果显示， FaceAnime能从单张静止的人脸图像生成高保真度、身份不变性的人脸视频，比其它方法效果更好。
背景和贡献
当前的人脸视频生成方法普遍采用人脸的稀疏特征点(landmarks)来引导图片或视频的生成。
然而作者认为使用稀疏的二维特征点引导人脸图像/视频生成有明显的不足：
稀疏人脸特征点不能很好地表示人脸图像的几何形状，容易导致人脸整体形状和面部结构细节的缺失，进而导致合成图像的失真和质量损失；
稀疏的二维特征点不携带源人脸图像的任何内容信息，这可能会导致生成的图像过拟合于只包含训练集的人脸图像中；
在视频生成过程中应保留人脸身份信息，但稀疏的2D特征点没有身份信息，容易导致合成结果的身份变化。
因此，文章针对这些方面做出了以下贡献：
不同于广泛使用2D稀疏人脸landmarks进行图像/视频的引导生成，文章主要探索包含人脸丰富信息的3D动态信息的人脸视频生成任务；
设计了一个三维动态预测网络(3DDynamicPrediction ， 3DDP)来预测时空连续的3D动态序列；
提出了一个稀疏纹理映射算法来渲染预测的3D动态序列，并将其作为先验信息引导人脸图像/视频的生成；
文章使用随机和可控的两种方式进行视频的生成任务，验证提出方法的有效性。
方法描述
本文提出的FaceAnime包含一个3D动态预测网络（3DDynamicPrediction,3DDP）和一个先验引导的人脸生成网络（Prior-GuidedFaceGeneration,PGFG）。
首先，方法基于三维形变模型（3DMorphableModels,3DMM）对单张人脸图像进行三维重建， 3DDP网络随后预测该图像未来的3D动态序列，之后将动态序列进行稀疏纹理映射渲染，最后使用PGFG网络完成相应的人脸生成。

FaceAnime的整体框架图， 3DDP网络部分