学术|现实版头号玩家：科学家突破VR应用瓶颈，实现高精度视觉惯性手部运动跟踪学术|VR|投稿

文章图片

图 | VR 触觉操作中的手部跟踪结果

文丨学术头条，作者丨XT，编审丨寇建超

近年来，虚拟手在 VR 游戏等领域得到了广泛的应用，开发者们不断探索用逼真的虚拟手实现基于手势识别的交互运动，但想要让用户充分感受真实运动的逼真感还存在许多技术难题。
当前，在虚拟/增强现实（VR/AR）领域，大多数追踪手部动作的最先进技术缺乏足够的准确性。
那些依赖于视觉检测的跟踪设备在黑暗环境中或有障碍物阻挡视线的情况下会无法工作，而那些依赖于基于速度和力计算位置的惯性测量单元（IMU）更是容易受到电磁干扰。同样，一些由软传感器组成的设备也不能总是区分出手何时在做动作、何时触摸会导致物体变形。
近日，来自韩国首尔大学、美国斯坦福大学和三星电子的科研团队，就通过紧密耦合的方式将视觉传感器和 IMU 融合，克服了这些限制并设计出了一个新的视觉惯性骨架跟踪（VIST）框架。
据论文描述，该框架由一个配备传感器的手套和头戴式摄像机组成，是一种准确、经济、便携、甚至可清洗的跟踪系统，能够结合视觉和力的测量准确跟踪人体手和手指的运动，准确跟踪一些在现实环境中受障碍物影响而难以检测的运动。
此外，研究人员也展示了这一新跟踪系统应用于 VR、假肢，户外无人机群等各个领域的潜力。
一种十分友好的人机交互人类可以很轻松地使用双手完成一些运动控制，如果可以将人体手部的灵活性复制到 VR/AR 场景中，例如通过拟人化机器手的触觉反馈来完成复杂的远程操纵任务，将显著提高人机交互（HRI）应用的效率、直观性和丰富性。
实时交互性是指用户对模拟环境中物体的可操作程度和从环境得到反馈的自然程度。交互性的产生，主要借助于 VR 系统中的特殊硬件设备（如数据手套、力反馈装置等），使用户能以自然的方式产生与在真实世界中一样的感觉。VR 系统比较强调人与虚拟世界进行自然的交互，交互性的另一个方面主要表现了交互的实时性。
在 VR/AR 和人机交互的用户体验中，对手部（包括手指）的追踪是一项关键技术。目前用于解决手部追踪问题的方法主要有以下 3 种：

基于视觉的手部追踪。使用相机来追踪没有标记的手部运动，同时利用大型图像数据集训练的机器学习技术，但该方法存在无法规避遮挡的问题；
【学术|现实版头号玩家：科学家突破VR应用瓶颈，实现高精度视觉惯性手部运动跟踪】基于惯性测量单元（IMU）/罗盘的可穿戴手部追踪。通常使用的传感器包括六轴 IMU（即加速度计和陀螺仪）和罗盘（即磁力计）。这种方法从根本上说容易受到磁场变化或干扰的影响，受铁磁性物体或电子设备干扰严重；
软性可穿戴手部追踪。使用一些软性传感器，检测每个传感器变形产生的信号，将传感器包裹在手的周围，用额外的手部姿势传感器来估计手的配置。这种方法无法区分运动引起的变形和接触引起的变形，使其不适合于用户需要处理物体/工具或佩戴触觉设备的应用。

此外，纯磁跟踪器、外骨骼跟踪等方法均存在一定的技术和应用局限性。

为此，研究人员提出了一个视觉惯性骨架跟踪（VIST）系统及其相应算法，用于准确、稳健、经济实惠的手部跟踪，克服了这些手部追踪方法的技术局限。