单张人像生成视频！中国团队提出最新3D人脸视频生成模型，实现SOTA( 三 )

而3Dvertexloss定义为：

其中v1+that和v1+t分别为预测得到的系数和标准系数对应的人脸三维顶点信息。则整体的损失函数可以表述为：

先验引导的人脸生成:基于提出的稀疏纹理映射， source人脸图像被用于渲染预测的3Ddynamics 。在这里，稀疏纹理作为引导人脸生成的先验信息。
文中提到的网络PGFG（Prior-GuidedFaceGenerationNetwork）主要由条件GANp网络来组成。
PGFG网络的结构：
PGFG生成器G有三个输入，分别是source人脸Is ， Is对应的纹理先验ps和pt目标的纹理先验。
在这里，作者并没有直接使用目标的纹理先验pt作为先验引导，而是使用了先验残差来引导人脸生成，在特征空间可以获得运动残差：E(pt)-E(ps) 。由此可得最终人脸为：
为了进一步利用不同空间位置的特征信息，编码器和解码器均由Denseblocks组成。
判别器有两个输入，即目标人脸图像的纹理先验分别和生成人脸、目标人脸结合的输入[pt,Ithat] ， [pt,It] 。
损失函数：
网络PGFG由三个损失函数进行监督，分别为图像像素间的损失Limg ，对抗损失Ladv和身份信息损失Lid 。

需要注意的是，在身份信息损失中， R为预训练的人脸识别模型。网络整体的损失函数为：

结果和分析
作者分别对人脸视频重定向、视频预测以及目标驱动的视频预测三个任务做了相应的大量实验。
人脸视频重定向：
在这个任务中，作者分别对人脸表情的重定向以及头部讲话重定向两个子任务进行了实验。
实验表明，所提出的FaceAnime模型可以很好的将source人脸图像中的表情和动作重定向到目标图像上，生成相对应的姿态和讲话表情。