有钱花|专为轻薄型AR眼镜设计，Reality Labs首席科学家提出全新计算架构( 二 )

“对最低功耗、最佳要求和尽可能小的外形尺寸的要求相结合，使 XR 传感器成为图像传感器行业的新前沿， ”Abrash 说。可行性验证效果显著但商用尚需时日
他还透露， Reality Labs 已经开始为此开展工作，甚至创建了一款原型相机传感器，专门针对 AR 眼镜的低功耗、高性能需求而设计。该传感器使用一组所谓的数字像素传感器，可同时在三个不同的光照水平下捕获每个像素上的数字光值。每个像素都有自己的内存来存储数据，并且可以决定报告三个值中的哪一个（而不是将所有数据发送到另一个芯片来完成这项工作）。 Abrash 说，这不仅降低了功耗，而且还大大增加了传感器的动态范围（它能够在同一图像中捕捉昏暗和明亮的光线水平）。他分享了使用该公司的原型传感器与典型传感器相比拍摄的示例图像，以展示宽动态范围。

在左边的图像中，明亮的灯泡会洗掉图像，导致相机无法捕捉到大部分场景。另一方面，右边的图像不仅可以详细看到灯泡灯丝的极端亮度，还可以看到场景的其他部分。这种宽动态范围对于未来 AR 眼镜的传感器至关重要，这些眼镜需要在室内光线不足的条件下和晴天一样出色地工作。即使 Meta 的原型传感器具有 HDR 优势， Abrash 表示它的能效显着提高，在 30 FPS 时仅使用 5mW（他声称，仅低于典型传感器的 25%）。它也可以很好地扩展；尽管它需要更多的功率，但他说传感器每秒可以捕获高达 480 帧。
但是， Meta 想走得更远，在传感器上进行更复杂的计算。 “例如，深度神经网络的浅层部分——用于 XR 工作负载的分割和分类，例如眼动追踪和手部追踪——可以在传感器上实现。 ”但这不可能发生， Abrash 说，在更多的硬件创新之前，比如开发“真正的传感器上 ML 计算”所必需的超密集、低功耗内存。虽然该公司正在试验这些技术，但 Abrash 指出，整个行业需要团结起来才能大规模实现。具体来说，他说“[芯片制造商
开发的 MRAM 技术是开发 AR 眼镜的关键因素。 ”“在端到端系统中结合在一起，我们提出的分布式架构，以及我所描述的相关技术，有可能在功率、面积和外形方面实现巨大的改进， ”Abrash 总结道。 “必须进行必要的改进，使它们变得舒适和实用，足以成为 10 亿人日常生活的一部分。 ”