微软专利使用IMU数据更新MR叠加图像，最小化动显延迟影响( 二 )

文章图片
图12示出了另一个滞后示例，其中边界元素显示在滞后位置1205 ，而位置1205不反映图11的移动1110 。相比之下，期望的解决方案（最新）1210显示了位于正确位置1215的边界元素。

文章图片
图13示出了将边界元素从最初的滞后位置（错误位置）1300移位（如移位1305所示）到正确位置1310 。为了执行所述移位，实施例可以利用IMU数据1315 ，包括来自与系统摄像头和外部摄像头相关联的IMU数据。
通常，与基于IMU数据处理数据相比，获取图像数据并处理所述图像数据需要相对较长的时间。基于这一理解，在生成原始系统摄像头图像和外部摄像头图像之后，实施例可以获取更新的IMU数据，并选择性地将边界元素移动到新位置。
移动边界元素使得实施例能够显示系统摄像头和外部摄像头之间的更新位置关系，而无需获取新的图像内容来确定更新的位置。因此，实施例能够动态地移动边界元素，以反映自最初生成系统摄像头图像和外部摄像头图像以来发生的任何移动。

文章图片

文章图片
图14A和14B示出了上述方法。
方法1400包括使用系统摄像头来生成周遭环境的系统摄像头图像的动作1405 。与动作1405并行，方法1400包括使外部摄像头来生成环境的外部摄像头图像的动作1410 。值得注意的是，系统摄像头的视场与外部摄像头的视场重叠。结果，包括在外部摄像头图像中的内容同样包括在系统摄像头图像之中。
然后，动作1415将外部摄像头图像的至少一部分内容叠加并对齐在系统摄像头图像的相应内容之上，从而生成叠加图像（例如图10的叠加图像1010）。
方法1400同时包括从系统IMU获取系统摄像头IMU数据的动作1420 。与动作1420并行，方法1400包括从外部摄像头IMU获取外部摄像头IMU数据的动作1425 。
基于系统IMU数据和外部IMU数据，方法1400包括确定自系统摄像头和外部摄像头相对于彼此移动的移动量的动作1430 。
在1435 ，基于确定的移动量，将边界元素移动到叠加图像中新位置。因此，移动的边界元素反映了自系统摄像头图像和外部摄像头图像生成以来，系统摄像头视场和外部摄像头视场之间的更新位置关系。

文章图片
图15示出了代表方法动作1435中描述的叠加图像修改图像1515 。这里，边界元素已移动到移动位置1520 。注意，修改后的图像1515包括从外部摄像头图像获得的像素（如外部摄像头图像像素1525），以及从系统摄像头图像获得的像素（如系统摄像头图像像素1530）。
值得注意的是，由边界元素包围的像素通常属于或从外部摄像头图像获得。在移动边界元素之前，由边界元素限定的像素包括仅从外部摄像头图像获得的像素。图15示出了叠加图像1500如何包括边界元素，以及边界元素中包括的像素如何仅从外部图像获得。
如果仅允许将从外部摄像头图像获得的像素包括在边界元素中，则生成的修改图像1515将丢失像素1535 。换句话说，由于最初仅有外部摄像头图像像素1510可用，并且由于移位导致边界元素移位到新位置，因此像素将丢失，如丢失的像素1535所示。
这种情况不可取。因此，实施例使用从系统摄像头图像获得的像素“填充”由边界元素包围的特定区域，以确保由边界元素包围的区域被完全表示而不丢失内容。图16示出了这一操作。