有钱花|专为轻薄型AR眼镜设计，Reality Labs首席科学家提出全新计算架构

【有钱花|专为轻薄型AR眼镜设计，Reality Labs首席科学家提出全新计算架构】

文章图片

文章图片

在去年年底的 IEDM 会议上， Meta Reality Labs 的首席科学家 Michael Abrash 阐述了该公司对当代计算架构将如何发展以使我们的科幻概念化的 AR 眼镜成为可能的分析。
虽然当今市场上有一些 AR“眼镜” ，但它们都不是真正的普通眼镜大小（甚至是笨重的眼镜）。当今最好的 AR 头戴设备——比如 HoloLens 2 和 Magic Leap 2——仍然更接近眼镜中偏重型的护目镜类，这种形态依旧存在太重而不能整天佩戴（更不用说你戴出门在公众眼中的形象了）。

如果我们要打造真正眼镜大小的 AR 眼镜，具有全天的电池续航时间和令人信服的 AR 体验所需的功能，则需要“一系列根本性的改进——在某些情况下是范式转变——在硬件和软件方面” ， Meta 的 XR 组织 Reality Labs 的首席科学家 Michael Abrash 说。
也就是说：Meta 并不相信当前的技术——或者任何人的技术——能够提供每个 AR 概念视频所设想的那些科幻眼镜。
但是，该公司认为它知道应该如何去做以将这种对AR眼镜的幻想变成现实。
Abrash在去年年底的 IEDM 2021 会议上发表讲话，提出了一种新的计算架构的案例，该架构可以满足真正眼镜大小的 AR 设备的需求。
预实现AR眼镜形态
极致低功耗是关键
重新考虑如何在这些设备上处理计算的核心原因是需要大幅降低功耗以满足电池寿命和热量要求。
“我们如何才能将 [移动计算设备的
电源效率从根本上提高 100 倍甚至 1000 倍？” 他问。 “这将需要对整个堆栈进行深入的系统级重新思考，并对硬件和软件进行端到端的协同设计。在这之前，我们要首先搞清楚现有算力的权限分配走向。 ”
为此， Abrash 绘制了一张图表，比较了低级计算操作的功耗。

如图所示，最耗能的计算操作是数据传输。这不仅意味着无线数据传输，还意味着将数据从设备内部的一个芯片传输到另一个芯片。更重要的是，图表使用对数刻度；根据图表，将数据传输到 RAM 使用的功率是基本单元的 12000 倍（在这种情况下是将两个数字相加）。综上所述，右侧的圆形图显示了 AR 必不可少的技术——SLAM 和手部跟踪——使用它们的大部分功能只是将数据移入和移出 RAM 。 “显然，对于低功耗应用（例如轻型 AR 眼镜），尽可能减少数据传输量至关重要， ”Abrash 说。为了实现这一目标，他表示将需要一种新的计算架构——而不是在集中式计算中心之间混洗大量数据——更广泛地在整个系统中分配计算操作，以最大限度地减少浪费的数据传输。软硬件协同，实现部分数据传输前预处理Abrash 说，分布式计算架构的起点可以从 AR 眼镜感知用户周围世界所需的许多摄像头开始。这将涉及在仅通过耗电数据传输通道发送最重要的数据之前对相机传感器本身进行一些初步计算。
为了使这成为可能， Abrash 表示将采用共同设计的硬件和软件，这样硬件的设计就考虑到了一种特定的算法，该算法本质上是硬连线到相机传感器本身——允许在任何数据传输之前对其做预处理，甚至可以绕开数据传输步骤直接产生反馈。