任何表面触屏，无需传感器，超低成本投影虚拟显示器需一个摄像头

机器之心报道
编辑：小舟
把手机显示的内容投影到任意平面进行「触屏」操作，这事似曾相识又有点魔幻......

自从智能手机问世以来，使用触摸与数字内容进行交互变得无处不在。不过到目前为止，触摸屏主要限于袖珍设备。
近日，来自日本多所大学的研究者组成的研究团队提出了一种新的低成本方法，能够将任何表面变成触摸屏，为人们与数字世界的交互提供了新的可能性。
之前允许通过触摸操纵投影图像的工作大多依赖于特殊的输入设备、多个传感器或图像处理算法，难以处理混乱或令人困惑的视觉内容。而该研究提出的新系统只需在投影仪下方连接一个摄像头，系统从一个单一的相机图像上确定手指是否接触过屏幕表面，并且由于该方法仅捕获略高于屏幕的区域，因此该系统的投影图像具有鲁棒性，不会受到视觉干扰。

论文地址：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9495800
方法
该系统的关键是一种巧妙的光学技巧，该技巧能够确保仅检测到投影表面上方的运动。这使得系统在用户按下按钮时跟踪用户的手指，同时忽略相机视野中所有的其他内容。研究者希望这项技术可以用于在任何地方创建大型交互式显示器。

该触摸感应系统由一台投影仪、一个摄像头和一个微控制器组成，不需要任何额外的摄像头、深度传感器或光源。其中，投影仪具有双重作用：1)将图像投影到表面上；2)与相机同步仅在投影屏幕略上方成像的光源。
与其他基于相机的方法相比，该方法在隐私保护方面具有优势，因为设备仅从投影表面正上方的空间捕获光。换句话说，系统不会捕获感兴趣区域之外的隐私敏感部分，例如人脸或其他识别细节。

系统通过识别相机拍摄的场景图像中指尖的位置来识别触摸感应，研究者开发了一种方法来选择性地仅捕获投影屏幕略上方的区域。
此处有两个主要挑战需要克服：
第一个挑战是投影图像的视觉信息会干扰手部检测。特别是投影颜色在指尖皮肤上重叠，这使得从图像中提取指尖区域变得困难。此外，如果投影图像内容包括人手或显示内容中有人，则系统无法区分投影图像中的假手和触摸屏幕的真手。克服这一挑战的一种方法是使用额外的设备，例如红外摄像机或深度传感器，将真实手部区域检测为非平面物体。然而，这种额外的硬件增加了设备配置的复杂性。
第二个挑战来自基于单个固定相机的图像执行触摸检测和指尖定位。虽然多个摄像头可以对手指的3D坐标进行三角测量，但这也增加了交互设备的规模和计算复杂性。
以下图2为例，以下部分是不需要感知的：投影内容、指尖以外的手部区域、周围的风景、悬停的指尖、触摸屏幕范围外的指尖。

为了选择性地仅捕获平面及所有与其相关的光学交互，该研究借助了SlopeDisparityGating方法。

图3.(a)SlopeDisparityGating的概念图示，它允许相机捕获三维空间中的单个平面[7] 。 (b)成像选定区域。虽然投影仪在透视投影中投射出被蓝线包围的图像，但该研究的成像技术使其能够仅捕获被红线包围的区域。