微软专利使用IMU数据更新MR叠加图像，最小化动显延迟影响( 三 )

文章图片
图16示出了边界元素1600现在如何包含从系统摄像头图像和外部摄像头图像两者获得的像素。为了说明，请注意边界元素1600如何边界或包含外部摄像头图像像素1605、系统摄像头图像像素1610和系统摄像头图像像素1615 。
当边界元素被移动到新位置时，外部摄像头图像像素1605是来自外部摄像头图像唯一留在边界元素1600内的像素。假设施加了约束，其中允许边界元素1600仅包含从外部摄像头图像获得的像素。如果是这种情况，则仅显示图15中所示的星形部分（即外部摄像头图像像素1525），并且加号的右侧部分将丢失，如丢失的像素1535所示。
为了避免这种情况，实施例避免实现上述约束，而是允许边界元素从外部摄像头图像以外的图像源获得像素。本质上，可以使用系统摄像头图像“填充”像素，以提供边界元素1600内的完整视图。

文章图片
图20示出了矩形外部摄像头图像2000和边界元素的原始位置2005 。图20同时示出了发生水平移动2010的场景。
作为水平移动2010的结果，实施例将边界元素移动到新位置，如移动的边界元素2015所示。由于外部摄像头图像2000的矩形尺寸，与发生垂直移动的场景相比，边界元素可以移动更大的量，并且依然包含源自外部摄像头图像2000的像素。
举例来说，只有一小部分像素（如系统摄像头图像像素2020所示）将用于填充超出移动边界元素2015的区域。在这方面，在系统摄像头图像像素开始被边界元素限定之前，可以在水平方向上进行进一步的移动。

文章图片
图21示出了用于概述操作的定时的示例时间线。在时间T.sub.0 ，实施例触发系统摄像头图像和外部摄像头图像的生成，如生成图像2100所示。在时间T.sub.1 ，实施例生成初始叠加图像，如生成叠加图像2105所示。在时间T.sub.2 ，实施例从与系统摄像头和外部摄像头相关联的IMU获取IMU数据2110 。注意，是在生成覆盖图像之后接收或获取IMU数据。
在时间T.sub.3 ，实施例通过分析IMU数据确定系统摄像头和外部摄像头之间发生了移动2115 。在一个实施例中，生成系统摄像头图像和外部摄像头图像的时间（即时间T.sub.0）到通过IMU数据确定移动量的时间（即时间T.sub.3）至少为5毫秒（ms）。有时，时间至少为10ms、15ms、20ms或20ms以上。
在时间T.sub.4 ，实施例基于IMU数据移动边界元素2120 。可选地，实施例可以将边界元素移动到当前未由IMU数据表示，但为预测位置的未来时间点2125 。换句话说，可以根据IMU数据推断或预测系统摄像头和外部摄像头将在何处、何时以及如何继续移动。
在时间T.sub.5 ，实施例显示2130具有移位边界元素的叠加图像。应注意，在时间T.sub.0和T.sub.5之间的任何时间，可能会发生系统摄像机和/或外部摄像机的移动2135 。正是由于所述移动2135 ，实施例移动边界元素，并提供关于系统摄像头相对于外部摄像头的位置的准确图示。
因此，专利描述的实施例能够动态地移动边界元素，以反映系统摄像头和外部摄像头之间的精确空间关系，从而帮助实现低运动到光子延迟的快速目标获取。相关专利：MicrosoftPatent|Lowmotiontophotonlatencyrapidtargetacquisition
名为“Lowmotiontophotonlatencyrapidtargetacquisition”的微软专利最初在2020年12月提交，并在日前由美国专利商标局公布。返回搜狐，查看更多