Facebook脑机接口迎新突破,但AR/VR交互却转向EMG肌电控制( 二 )

不过此前的研究是在大声讲话的人身上进行的，为了验证ProjectSteno方案在失语症患者身上的效果，科研人员为一名参与者进行了选择性外科手术，在他的脑皮层下植入了电极模块。据悉，这位患者曾经历多次中风，无法正常说话交流。
在实验过程中，该患者为科研人员提供了数十个小时的文字转写数据，后来这些数据被用于训练机器学习模型，用来识别语音意图，以及分类词语。
Facebook的脑机接口布局
在这个合作项目中， Facebook为UCSF的科研人员提供了机器学习相关的建议和反馈，以及科研资金，与此同时整个项目的实验由UCSF设计和监督。
Facebook表示：我们并不参与任何形式的数据收集，而且对于开发植入式BCI也并无兴趣。自助UCSF主要是为了帮助科研人员扩大服务器容量，加速模型测试，以及获得更多准确的实验结果。

除了ProjectSteno外， Facebook此前也曾研究基于近红外原理的大脑血氧合检测方案，以及识别组织性运动的非侵入式脑机接口方案。据悉， Facebook的穿戴式光学BCI基于近红外光技术（未来或采用LiDAR或手机摄像头），外观和体积看起来像大号的耳机。相比之下，植入式BCI方案体积更小，不过需要手术。
Facebook表示：植入式BCI方案的目标是，验证无声脑机接口能否达到100词/分钟的计算速度，并探索需要识别的神经信号类型。
ProjectSteno首次展示了结合讲话意图和语言模型的BCI ，以及BCI技术结合语言统计特征的潜力。通过预判和推断连续组合的单词来构成句子（类似于手机输入法的自动校正和自动关联功能），将可以大幅提升BCI的准确率。
AR/VR交互重点将转向EMG肌电控制

【Facebook脑机接口迎新突破,但AR/VR交互却转向EMG肌电控制】在完成ProjectSteno项目研发后， FacebookRealityLabs开始重新评估其BCI项目的整体目标。尽管FRL的长远目标依然是头戴式光学BCI技术，但FRL已决定将AR/VR交互的研发重点放在EMG腕带上，因为这种形式的神经接口进入市场的路径更快更短。
FRL科研总监SeanKeller表示：我们正在开发一种应用于全天候AR眼镜的，更加自然、直观的交互方式，这种交互方式将不影响使用者在日常生活中的行为。尽管目前对于EMG腕带的研究依然在初期阶段，但FRL相信它将成为AR眼镜的核心输入方式，未来我们还将应用在BCI上的研究经验，来加速EMG腕带技术发展。
Mugler表示：我们意识到，光学BCI研究中所采用的生物反馈和实时解码算法也可用于提升EMG腕带技术，让你可以在穿上腕带几分钟内就能实现意图读取。此外，为了提升EMG腕带的准确性，实时解码算法可通过语言的统计特征来推断使用者的输入意图。
看起来， BCI技术或许可以提升EMG腕带的文字输入能力，实现用手势快速打字的效果。
总之， Facebook在过去四年一直在寻找AR眼镜的自然输入方式，不过他们发现，短期内BCI难以成为AR的输入方式。后来在EMG腕带技术更加成熟后，看到了腕带方案的前景，并计划利用EMG来取代更复杂、成本更高的BCI 。
接下来， Facebook还将公开关于穿戴式体感设备的最新研究，这项技术将优化用户在AR/VR中的存在感，并带来更多形式的交互场景。参考：fb