人机交互实现智能关键一步 人机交互

人机交互(人机交互实现智能化的关键步骤)
随着智能硬件和移动计算的快速发展,物联网已经广泛应用于许多领域 , 如车载自组织网络(VANET)、边缘计算、智能家居或智能设备交互和控制等 。智能家居系统控制照明、室温、娱乐设施和电器,如智能空调谐器、冰箱和电视 。如何控制它们或者以一种自然的方式与它们进行交互已经成为一个公开的问题,这关系到用户的体验 。
目前智能家居场景的人机交互主要有三种解决方案 。第一种是结合手机触发控制 , 比如在手机上安装相关app控制家电 。这种交互只是把手机当遥控器,延长控制距离 。二是利用语音识别将人类语言转化为机器指令 , 提供人机交互体验 。但在一些特殊的安静场景下,语音识别并不适用,或者有语言障碍的人无法使用该功能 。最后一种方法是使用基于摄像机或非基于摄像机的运动识别 。基于摄像头的动作识别是一种相对成熟的方式,但隐私泄露的风险极大地限制了它的应用 。非基于摄像头的运动识别使用从商用MEMS传感器(如加速度计、陀螺仪和磁传感器)收集的多个传感信号来帮助智能设备理解用户的行为意图 。
近年来,随着科技的发展,智能设备层出不穷 。智能手机、智能手环、智能手表、智能眼镜等一系列智能设备开始进入人们的生活 。
文中提到的智能手表 , 提前嵌入了MEMS以外的各种传感器,使用了RFID相关技术 。手腕姿态由手表内置传感器识别,手指识别主要由柔性机械传感器实现,可用于检测肌腱的运动和手腕形状的变化 。
智能手表是常见的可穿戴设备 , 通常配有陀螺仪、加速度计、磁力计等MEMS传感器 。这些传感器可以收集大量与手腕和手臂运动相关的数据 。这种交互方式成本低,使用方便,适用范围广 。然而,这种解决方案面临许多困难 。首先,低精度和高噪声是智能手表中MEMS传感器的共同特征 。这对动作识别的准确性非常不利 。其次,智能手表内置的MEMS传感器数量有限,通常不到三个,一个用户佩戴多个智能手表显然不现实 。最后,腕表佩戴者的手臂动作复杂多样 。即使用各种方法校准传感器 , 用各种算法对数据去噪 , 运动识别的解空还是很大的 。因此,仅使用有限数量的精度较差的内置MEMS传感器,很难在相对较大的空时间内准确识别出结果 。
这种解决方案的主要思想是通过智能手表记录用户与设备之间的最新交互,然后猜测目标的位置和轨迹 。该方法主要包括两个步骤:手臂姿态估计和轨迹识别 。
基于摄像头的交互式动作识别
一种常用的基于摄像头的商业体感交互解决方案可能是Kinect系统 , 它使用红外投影仪和探测器来避免光照变化或复杂背景的影响,捕捉3D 空房间中的深度信息,如体感游戏和智能控制 。虽然基于摄像头的解决方案可以准确捕捉动作和交互意图,但它们面临着光照变化、复杂背景和部分遮挡物体的挑战,并且额外的红外传感器会导致成本过高 。
研究人员使用射频信号和内置的MEMS传感器来推断用户的运动和位置 。苹果公司推出了Apple Watch,它利用肌肉活动的感应来实现人机交互 。但由于不挖掘历史信息轨迹和限制臂长 , 无法实现与多个智能家电的复杂交互 。
随着智能手表的应用越来越多 , 我们通过内置MEMS传感器 , 提出了基于可穿戴设备的智能家居人机交互解决方案 。
使用智能手表进行动作识别 。
通过对人体手臂骨骼的数学建模,将智能手表中MEMS传感器采集的数据转换成与手臂运动密切相关的DOF数据 。向量机(SVM)的分类模型可以通过训练手臂的自由度数据 , 对特定人机交互场景下的动作进行分类识别 。然后将识别结果应用于智能家居的交互控制 。智能手表是采集数据、运行识别算法、发出交互控制指令的主体 。
虽然智能家居的人机交互控制需求有很多种,但最广泛的类型可以分为三类 。第一种是开和关 。所有的智能家居产品都需要这样的交互 。二是定量加减法 。比如控制智能空温控的升降,控制智能电视音量的升降 。第三类是方向控制 。比如控制智能窗帘靠左太近,控制智能电视的菜单光标向右移动,控制smart 空调炸等等 。对于这三种人机交互,当智能手表识别出相应的动作 , 就可以进行智能家居的交互控制 。
首先,通过数学建模构建手腕姿态和手臂自由度到手臂骨骼的映射关系 。根据人体生理结构,手臂的运动是由肩、肘、腕关节、下臂和上臂这两个连接器决定的 。三个关节和两个连接器有一定的运动范围(旋转或位移) 。为了描述手臂的运动范围,我们需要使用自由度(DOF)的概念 。智能手表一般戴在前臂上,我们可以忽略手的独立运动 。

推荐阅读