面部追踪是VR/AR系统的下一个热点。|美国专利商标局公布magicleap可穿戴设备面部模型

面部追踪是VR/AR系统的下一个热点。为了实现真正的具现感，精确传达用户的表情非常重要。显然，各家厂商都已经就这一方面布局发力。
美国专利商标局日前公布了一份MagicLeap于2021年3月提交的专利申请，其主要描述了可穿戴设备的面部模型捕捉。

名为“Facemodelcapturebyawearabledevice”的发明主要描述了用于为头显用户生成面部模型的系统和方法。
头显可以包括一个或多个眼动摄像头，所述眼动摄像头配置成成像用户的面部。可以使用立体视觉技术、单目视觉技术或组合来分析由眼动摄像头获得的图像，以生成用户的面部模型。
为了为虚拟化身提供真实的具现感，可穿戴设备可以基于用户的面部表情提供化虚拟化身图像。虚拟化身图像可以基于可穿戴设备的一个或多个成像系统获取的图像来构建。

【面部追踪是VR/AR系统的下一个热点。|美国专利商标局公布magicleap可穿戴设备面部模型】大多数可穿戴系统一般是在用户穿戴头显的状态下对面部成像，但这时可能没有足够大的视场来成像用户的整个面部。针对这种情况， MagicLeap指出可以在用户穿戴或取下可穿戴设备的过程中获取用户面部的图像。
在一个实施例中，有利地，可穿戴设备可以在用户穿戴或取下设备时使用朝内的成像系统来获得用户的面部图像。在同一个实施例中，主要用于追踪眼睛的朝内成像摄像头可以用作成像人脸的面部追踪摄像头。
另外，可穿戴设备的可以通过检测开始或停止触发器（例如，可以基于可穿戴设备获取的图像或基于可穿戴设备的移动）来自动开始和停止对用户的面部成像。有利地，通过在用户穿戴或取下设备的过程中自动获取图像，用户不需要执行附加动作就可允许可穿戴设备生成面部模型。
另外，当用户穿戴好可穿戴设备后，亦即可穿戴设备靠在用户面部时，系统可以停止成像，然后朝内的成像系统可以自动开始执行追踪用户眼睛的主要功能。

图像可以包括静止图像、照片、动画、来自视频或视频的单个帧。可穿戴设备可基于由成像系统获取的图像构建用户面部的3D模型。例如，可穿戴设备可以具有两个眼动摄像头，每个眼动摄像头配置成对用户面部的区域进行视频拍摄。对于视频的每一帧，可穿戴设备可以合成由两个摄像头获取的图像以生成3D面部模型。附加地或可选地，可穿戴设备可以分别合成由每个眼动摄像头获取的图像，并且将合成的图像组合用于每个眼动摄像头，从而生成3D面部模型。