学术|现实版头号玩家：科学家突破VR应用瓶颈，实现高精度视觉惯性手部运动跟踪( 二 ) 学术|VR|投稿

文章图片

图｜VIST 的系统配置和可能的应用（来源：该论文）
VIST 系统的关键创新之一是，以紧密耦合（TC）的方式融合了视觉和惯性传感器，对于视觉传感器没有检测到的物体，惯性传感器都会作辅助估计，反之亦然：而惯性传感器没有检测到的动作也会由视觉数据作一补充，TC 融合方法使得 VIST 算法在手部追踪上表现出更高的稳健性。VIST 架构的一些重要优势主要为：

与其他最先进的方法相比，由于 TC 视觉-惯性融合和自动校准，跟踪精度更高；
对闭塞、视觉复杂/变化的环境和环境照明的稳健性；
对电磁干扰和模糊的机械接触的鲁棒性，从而使得操作物体和佩戴设备成为可能；
方便实时校准/自动校准解剖学/手套运动学参数，并纳入 VIST 算法；
在可清洗方面表现出的坚固性，在手套材料成本方面的可负担性，还可以使用头戴式显示器（HMD）的摄像头和计算，重量较轻，可穿戴性强。

显著提高跟踪精度和用户便利性在手部追踪系统中，对手部的建模是一个关键步骤。在该研究中，人手被建模为分段关节骨架模型，并选择手背和在日常生活中起关键性作用的三个手指（拇指、食指和中指）作为目标跟踪段。

文章图片

图｜VIST 的建模与流程（来源：该论文）
为了获得目标跟踪段的视觉和惯性信息，研究人员设计了一个传感器手套，手套分两层：带有 7 个 IMU 的手套内层，带有 37 个视觉标记的外手套层，视觉标记具有 4 种不同颜色（红色、蓝色、绿色和黄色），手套上还有一个头戴式立体摄像机。
同时，研究人员还开发了一种基于滤波的视觉惯性手部跟踪算法，该算法主要包括对视觉信息的提取以及视觉惯性手部运动的估计，通过将 IMU 信息与提取的视觉信息和手部解剖约束融合处理，来估计手部运动。

文章图片

图 | 未使用视觉和惯性信号融合处理的方法得到的跟踪效果（有许多异常值，检测精度不稳定）

文章图片

图 | 使用视觉和惯性信号融合处理的方法得到的跟踪效果（利用 IMU 信息进行鲁棒匹配）
视觉信息的提取主要包括对原始图像中的标记检测、左右立体匹配和 IMU 辅助的对应搜索三个过程，在数据融合处理过程中使用 IMU 信息进行手部运动预测，再利用视觉信息进行校正，然后对手部作解剖约束进行校正。由于使用视觉惯性融合对关节段的运动相关状态进行实时校准和自动校准，与其他系统相比，该研究设计的 VIST 系统可以显著提高跟踪精度和用户便利性。
VIST 算法的高鲁棒性另外，研究人员也定量评估了 VIST 系统在自由运动、对象交互和佩戴指尖皮肤触觉设备（CHD）的情况下的性能和稳健性。
每个实验招募了 15 名参与者，每位参与者被指示坐在一张被 MOCAP 摄像机包围的桌子前，并复制监视器中随机显示的手部配置。