基于3D视频重建虚实场景交互，Meta提出3D mask volume( 二 )

当然，团队提出的数据集和算法存在一定的局限性：首先，摄像头限制为拍摄时保持静止。这主要是由于同步和姿态估计的限制。尽管可以使用基于软件的方法实现良好的同步，但仍然会存在几毫秒的错误。当摄影装备处于运动状态时，错误可能会被放大，并导致对camera姿势的错误估计。摄像头在不同时间的姿态同时需要更多的计算，这可能会导致系统中累积错误。所述问题可以通过校准其中一个摄像头的camera轨迹并利用刚性假设推断其他camera轨迹来解决。
另一个限制是，团队需要对静态背景进行估计。这很容易通过应用中值滤波器实现。尽管它适用于大多数场景，但这种方法有时并不可靠。不过，业内有更先进的方法可以在未来使用。
总的来说，团队讨论了立体输入视频动态场景的视图合成。主要的挑战是，渲染结果容易出现时间伪影，如无序区域中的闪烁。为了解决这个问题，团队引入了一种新的3Dmaskvolume扩展，用从时间帧获取的背景信息小心地替换无序区域。另外，团队还介绍了一个高质量的多视图视频数据集，其中包含96个以120FPS拍摄的各种人类交互场景和室外环境。在未来的研究中，研究人员希望扩大数据集以考虑动态摄像头运动，并在更大的基线操作。团队相信，动态场景的视频视图合成是沉浸式应用的下一个前沿领域，而本次研究在这方面迈出了关键的一步。

研究贡献可以总结为：
1.一个由96个动态场景组成的多视图视频数据集
【基于3D视频重建虚实场景交互，Meta提出3D mask volume】2.一种新颖的3Dmaskvolume ，其能够在3D中从静态背景分割动态对象，并产生更高质量和时间稳定的结果。
相关论文：
Deep3DMaskVolumeforViewSynthesisofDynamicScenes
https://paper.nweon.com/11364
高质量的视频数据集对于基于学习的新型视点视频合成算法至关重要。理想的数据集将包含多种场景，在多个同步视图中捕获。在这项研究中，团队介绍了一种新的多视图视频数据集，并讨论了现有数据集与所述数据集相比的局限性。
团队的目标是在给定立体视频输入的情况下合成时间一致的新视图视频。所以，研究人员在多平面图像的前期研究基础上构建了算法，并提出了一种新的maskvolume结构，以充分利用时间背景信息和分层表示。