基于3D视频重建虚实场景交互，Meta提出3D mask volume

查看引用/信息源请点击：映维网
输入视频来自静态的双目摄像头，并且新视图大多是从输入视频中推断出来
（映维网2021年11月04日）视图合成的最新进展显示了从图像创建沉浸式虚拟体验的出色结果。尽管如此，为了重建与虚拟场景的忠实交互，我们非常需要结合时间信息的能力。
在名为《Deep3DMaskVolumeforViewSynthesisofDynamicScenes》的论文中，已改名为Meta的Facebook和加利福尼亚大学研究了一种特定的设置，其中输入视频来自静态的双目摄像头，并且新视图大多是从输入视频中推断出来。团队相信，随着双摄像头和多摄像头智能手机越来越受欢迎，这种情况将非常有用，而且可能会对3D电话会议、监控或虚拟现实头显带来非常有趣的影响。另外，研究人员可以从静态摄像头装置中获取数据集。

尽管可以在每个单独的视频帧应用最先进的图像视图合成算法，但结果缺乏时间一致性，并且经常显示闪烁伪影。问题主要来自于看不见的遮挡区域，因为算法在每帧基础上预测它们。由此产生的估计在整个时间维度上不一致，并且在视频中显示时会导致某些区域变得不稳定。
在研究中，团队通过利用跨时间的静态背景信息来解决外推视图时的时间不一致性。为此，研究人员采用了一个3Dmaskvolume ，它允许在3D空间（而不是2Dmask）中进行操作，以推断场景中的移动对象，并在整个视频中重复使用静态背景观察。
团队首先通过MPI网络将瞬时和背景输入提升为两组多平面图像（MPI）。然后，扭曲同一组输入图像以创建时间平面扫描volume ，从而提供有关场景三维结构的信息。 mask网络将这个volume转换为3Dmaskvolume ，使得能够在两组MPI之间混合。最后，混合MPIvolume可以渲染具有最小闪烁瑕疵的新视图。
由于GPU内存的限制，团队选择了两步训练方案来训练网络。首先在RealEstate10K数据集上训练MPI网络，然后在自己的视频数据集上只训练mask网络。这种训练方案可以使内存使用保持在合理的范围内，并且速度足够快。 MPI生成网络是通过预测一个新的视图并应用渲染损失L作为监控来训练。本阶段训练800K步。
在前一个预训练阶段之后，团队冻结MPI网络的权重，并使用lossL仅训练mask网络。所述网络从10个视图中随机选取2个视图作为输入，然后在每一步从其余视图中随机选择一个目标camera位置。团队从96个场景中选择86个作为训练数据集，并将图像重新缩放到640×360 。第二阶段为100K步的训练。训练管道在PyTorch中实施，在单个RTX2080TiGPU上训练大约需要5天。分辨率为640×360时，使用完整管道推断Mo大约需要1.75秒，而渲染需要另外0.28秒。请注意，渲染管道在PyTorch中实现，无需进一步优化。在实践中，使用OpenGL或其他光栅化器可以大大加快速度。
为了训练这个网络，团队同时引入了一个新的多视图视频数据集来解决公共可用数据的不足。研究人员构建了一个由10个动作摄像头组成的定制摄像装置，并使用静态装置捕捉高质量的120FPS视频。所述数据集包含96个不同户外环境和人类交互的动态场景。实验证明，所述方法能够在仅使用两个输入视图的情况下生成时间稳定的结果。

对于比较，团队从数据集中选择了7个看不见的视频，并将它们细分为14个片段，重点关注场景中的显式运动。结果显示，团队的渲染损失依然提供了时间上最稳定的结果，而其他两个损失则为了更好的解释性而牺牲了时间一致性。