Facebook展示反向透视VR头显，允许看到头显用户的眼部表情( 二 )

与任何早期的研究原型一样，这种硬件依然存在非常大的局限性：第一，视角不能太大；第二，原型只能显示距离物理屏幕表面几厘米以内的清晰焦点对象。对话需要面对面进行，这自然限制了反向透视视角。
当然，人脸离实际屏幕表面只有几厘米，这非常适合当前的情况，而如果虚拟现实头显继续缩小尺寸，采用全息光学元件等方法，效果会进一步提升。
2.打造研究原型
FRL的研究人员在早期的探索中使用了RiftS 。随着概念的演进，团队开始用HalfDome2进行迭代，以构建今年在SIGGRAPH展示的研究原型。机械研究工程师乔尔·赫格兰（JoelHegland）用最基础的裸架提供了一个大约50毫米厚的VR头显，以作为最新反向透视演示的基础。然后，光学科学家布赖恩·惠尔赖特（BrianWheelwright）设计了一个装载到头显前端的微透镜阵列。

最终的头显包含两个彼此镜像的显示盒。它们具有一个LCD面板和用于基础VR显示的透镜。一圈红外LED照亮由裸架覆盖的人脸。在透镜和屏幕之间搭载一面只反射红外光的镜子，这样红外摄像头就可以几乎正面地观察眼睛。在不可见的红外波段进行所述操作可以避免眼睛成像系统分散用户对VR显示器本身的注意力。然后，裸架的前端包括另一个带有微透镜阵列的LCD 。
3.在3D中成像双眼和面容
由光场显示器成像交错的3D图像本身就是一个重大挑战。对于这个研究原型，松田及其团队选择使用一对立体摄像头来生成面容的表面模型，然后将眼睛视图投影到所述表面。尽管产生的投影眼睛和面容并不逼真，但这只是为日后发展铺平道路的短期解决方案。
FRL的CodecAvatars研究指明了下一代的成像方案。 CodecAvatars是人脸、表情、声音和身体的真实表示。通过深度学习，它可以由VR头显实采集的一组紧凑测量数据中驱动。所述虚拟化身对于反向透视应该更为有效，允许实现一个统一的人脸表现系统。
如下所示，这是FRL匹兹堡实验室的一个CodecAvatar研究，由反向透视头显原型运行。与使用当前立体摄像头方法拍摄的图像相比，相关图像及其随时间的运动看起来要逼真得多。这表明，所述系统在与远程临场感系统协同工作时可以提供进一步的改进。
显示CodexAvatar面容构建的反向透视原型
4.通向社交共在感的道路
完全沉浸式VR和AR眼镜是两种根本不同的技术。从长远来看，这两种技术可能最终会为不同场景中的不同用户提供服务。在特定情况下，人们需要AR眼镜的透明光学系统；在其他情况下，用户更喜欢VR的沉浸感。在迈克尔·亚伯拉什的指导下， FacebookRealityLabsResearch在探索新技术概念方面采用了广撒网的策略，以便在这两种显示架构中向前推进。充分探索这一领域将确保实验室掌握未来AR/VR设备的所有可能性和局限性，并最终以一种支持大多数人机交互的方式来将所述发现付诸实践。
反向透视是这类研究的代表：一个来自实验室的想法是如何推动VR头显实用性的向前发展。在今年下半年，团队将对所述显示系统研究进行更为全面的介绍，并展示从变焦、全息光学、眼动追踪、失真校正到反向透等是如何协作，并通过虚拟现实版的视觉图灵测试。
团队表示：“最终，这些创新和更多的创新将共同创造出紧凑、轻便、全天可佩戴的虚拟现实头显，并将高质量的虚拟图像与高质量的真实图像混合在一起。这样，不管对方是在地球的另一边还是站在旁边，你都可以和世界上的任何人共在一起。实现这一目标是我们FacebookRealityLabsResearch的目标。 ”