Facebook展示反向透视VR头显，允许看到头显用户的眼部表情

查看引用/信息源请点击：映维网
实现社交共在感是FacebookRealityLabsResearch的目标
（映维网2021年08月03日）随着AR和VR设备开始成为我们工作和娱乐方式的重要组成一环，我们如何在真实世界和虚拟世界之间保持无缝的社交联系呢？换句话说， AR/VR体验之外和之内的人们如何在一个共享空间中保持“社交共在感”呢？
FacebookRealityLabsResearch（FRL）在在SIGGRAPH大会就VR头显的共在感提出了一个新概念：“反向透视虚拟现实（ReversePassthroughVR）” 。简单来说，反向透视这个实验性研究演示允许外界看到头显用户的眼睛。这与Quest如今通过PasstThrough+和实验性PasstThroughAPI可以实现的功能形成对比，后者是利用外置摄像头帮助头显用户轻松看到周遭物理环境。

多年来， Oculus在实现透视功能方面已经取得了长足的进步。这项实验性的反向透视研究由研究科学松田内森（NathanMatsuda）提出。有一次，他在办公室里体验启用Passthrough功能的Quest头显，并思考如何提高混合现实在社交和职业环境中无缝性。利用透视，他可以清楚地看到周围的同事，但对方却看不到自己的表情变化。所以每次在对话时，别人都会说无法进行眼神交流有多么奇怪。所以，松田提出了一个问题：如果能看到对方的眼睛会如何？这会给社交带来什么变化吗？
当松田在2019年第一次向FRL首席科学家迈克尔·亚伯拉什（MichaelAbrash）演示反向透视时，亚伯拉什对这项研究的实用性并不信服。在演示中，松田佩戴了一个前端配备了显示屏的定制RiftS头显。然后，游戏引擎可以粗略渲染松田的浮动面容3D图像，并利用眼动追踪摄像头发出的信号来重新生成眼睛注视。
亚伯拉什回忆道：“我的第一反应是，这是一个愚蠢的想法，最多只能算是新奇玩意。但我不会告诉研究人员应该怎么做，因为如果没有尝试新概念的自由，你就无法获得创新。这是好事，因为现在这显然是一个非常具有前景的独特想法。 ”

在首次演示过去两年后， 3D显示技术和研究原型有了显著的进展，拥有了专门构建的光学、电子、软件和一系列支持技术，能够帮助设备捕获和绘制逼真的3D人脸。这一进展十分具有前景，但研究依然只是实验性质：存在一系列的线缆，远不是一体式设备，而且眼睛和面容渲染不够逼真。然而，这是一个以FRL核心的自由探索理念为精神设计的研究原型。尽管研究离实际的产品路线图尚十分遥远，但它确实提供了关于反向透视如何应用到未来协作空间的一瞥。
左边：没有启用外置显示器的头显原型；中间：采用2D显示器的头显原型；右边：采用FRL团队的3D显示器的头显原型
【Facebook展示反向透视VR头显，允许看到头显用户的眼部表情】1.反向透视
反向透视的关键要素是外置3D显示器。你可以简单地在头显前端放置一块2D显示器，并在上面显示用户面容的平面投影。但对于这种解决方案，实际人脸到头显前端的任何偏移都会产生不和谐、不自然的视觉感知，并严重影响真正的眼神交流。随着研究原型的发展， 3D显示器显然是一个正确的方向，因为它可以将用户的眼睛和面容渲染到正确的空间位置。随着第三方相对于3D显示器移动时，这能够保持相关眼神面容的对齐。
显示3D图像存在多种已确立的方法。在这项研究中， FRL团队采用了微透镜阵列光场显示器，因为它非常薄，结构简单，并且基于现有的消费者LCD技术。这种显示器采用一个微型透镜网格，由不同的LCD像素向不同的方向发射光线。这样，当第三方从不同的方向看向显示器时，其可以看到不同的图像。图像的透视角度会自然变化，所以房间中的所有人都可以看到光场显示，看到其位置的正确透视图。